Här stod brukets sista herrgård som kallades Slottet tidigare. Den pampiga och slottsliknande byggnaden med sina hela tre våningar stod klar år 1866. Herrgården var 25 x 11 meter stor och stenarna i marken markerar byggnadens hörn.
Totalt hade herrgården 36 rum fördelade på 700 kvadratmeter. Bottenvåningen tillhörde tjänstefolket och här fanns bland annat kök och kontor.
Paradvåningen låg en trappa upp. Den användes dels som bostad för ägarfamiljen von Schinkel, dels som mottagning- och festlokal. På tredje våningen övernattade gästerna.
Bygget pågick under fyra år men fullföljdes aldrig och Slottet blev inte vinterbonat. Det finns olika teorier och rykten om varför det blev så. Var det osämja i familjen? Ville svärdottern inte flytta till Axmar bruk? Eller tog pengarna slut? Idag vet ingen säkert orsaken till varför bygget avstannade.
Den väl ansedde arkitekten, Johan Fredrik Åbom, som hade uppdraget att rita huset, var måttligt nöjd och kallade det hela för ett fuskbygge.
Brukets lönsamhet blev allt sämre mot slutet av 1800-talet. Det berodde framför allt på att svensk järnindustri mötte större konkurrens, bland annat från hyttorna i Storbritannien. År 1890 valde familjen von Schinkel att flytta och sälja bruket till skogsbolaget Bergvik Ala AB och efter det stod huset mest tomt.
Vid andra världskrigets slut användes Slottet som flyktingläger. I början av 1945 anlände de första flyktingarna
och i slutet av året stängdes lägret. Hit kom såväl utarmade flyktingar från ett krigshärjat Europa som högt uppsatta tjänstemän från den tyska ambassaden i Stockholm.
Det var ofta en spänd stämning i Slottets salar med så många människor med olika bakgrund samlade på samma ställe. Efter året som flyktingläger
fick Slottet stå och förfalla fram till 1970, då ägaren lät riva byggnaden.