De äldsta delarna av Bryggargården är från 1854, då Adam Viktor Wulff här grundade ett bryggeri, "Bayerska Bryggeriet". Platsen kallades Pårlebovreten och området runtomkring var då obebyggt. Bryggeribyggnaden hade delvis korsvirkeskonstruktion. "Westerås Bryggeri Bolag" bildades 1860 och tillverkningen bestod liksom tidigare av bayerskt och svenskt öl. Bolaget övertogs så småningom av den rike och inflytesrike grosshandlaren Per Olof Flodin, och hans söner drev bryggeriet vidare. En utbyggnad i sydväst tillkom runt 1887. Viktor Wulff lämnade Västerås redan 1861 och flyttade till Finland, där han senare var verksam som bryggmästare och handelsman i Lovisa och Borgå. Han dog 1895 i Godby på Åland.
Precis söder om Bryggargården uppfördes 1897 en storslagen bryggerianläggning i tegel, "Nya bryggeriet", av det konkurrerande "Nya Bryggeri-Aktiebolaget i Vesterås". Själva Bryggargården, som kallades "Gamla bryggeriet", moderniserades i början av 1900-talet. 1915 skedde en större reparation och 1923 byggdes Bryggargården om efter Erik Hahrs ritningar. Bland annat fick utbyggnaden i väster med det valmade tegeltaket sin övre träpanel.
Efter att de sista flaskorna sålts 1949 har Bryggargården inrymt olika verksamheter. Till en början användes lokalerna av ASEA:s industriskola, men senare har där varit bland annat ungdomsgård, konsertlokal, teater, biograf och kontor.