Het huidige ''kasteel Stoutenburg'' is een herenhuis, dat in 1888 werd gebouwd als opvolger van een hele reeks eerdere vestingen.
Het eerste Kasteel van Stoutenburg werd in 1252 opgericht door Willem van Amersfoort. Het diende de grens tussen de graaf van Gelre en de bisschop van Utrecht te beschermen.
Er is echter nooit een garnizoen in gevestigd geweest. De naam betekent "Trotse burcht".
De religieuze orde van de Minderbroeders Franciscanen kocht in 1948 het verwaarloosde huis en maakten er een klooster van. De minderbroeders franciscanen verlieten eind 1990 het gebouw om plaats te maken voor de communiteit van het Franciscaans Milieuproject, oftewel het 'Milieuklooster'. Die communiteit is er nog steeds en heeft ook een eigen aanbod rond spiritualiteit en natuurverbondenheid.
Er door het hele jaar heen leuke activiteiten georganiseerd.