Die Schlossanlage wurde Mitte des 12. Jahrhunderts von den Edlen aus Emersacker erbaut und im Schmalkaldischen Krieg 1546 von den Kaiserlichen erstürmt und zerstört. Im Jahr 1613 ging das Schloss in den Besitz der Fugger über, die einen Neubau errichteten. Erhalten sind bis heute noch die Rundtürme mit Zwiebelhauben und die Dreiflügelanlage der Nebengebäude. Das Saalgebäude wurde im Kern im 18. Jahrhundert erstellt und anfangs des 20. Jahrhunderts bauten es die Fugger`schen Stiftungen grundlegend um. In der ersten Hälfte des 19. Jahrhunderts ist das Hauptgebäude, in dem das Bräuhaus untergebracht war, abgebrochen und im Jahre 1847 neu erbaut worden. 1957 stellte die Stiftungsbrauerei Emersacker den Betrieb ein. Dieses Baudenkmal unterstreicht heute noch auf eindrucksvoller Weise die damalige Machtposition der Fugger im Holzwinkel. Heute sind dort Teile des Rathauses untergebracht.
