När det gamla rådhuset revs 1835 flyttade stadens dåvarande polis- och brandvakt istället sina lokaler till en byggnad i bredvid Zimmermanska huset, ”Rosa huset” vid Bondtorget. Vaktkontoret, det så kallade Corps-de-gardet, låg inne i gränden som fortfarande idag heter Polisgränd, mellan torget och Badhusgatan. Huset är byggt av timmer i två våningar, endast bottenvåningen tillhörde vaktkontoret. Färgsättningen av den brädfodrade fasaden i ljusgult är från 1973. Ungefär vid samma tid byttes taket till svart plåttak, innan dess hade taket varit täckt av tegel. Entrédörren och ett fönster bytte även plats under dessa ändringsarbeten.
Förutom rum för vaktpersonalen fanns inne i vaktkontoret även arrest och häkte. En rund fönsterglugg, polisarrestens enda ljusinsläpp, kan ännu ses i fasaden ut mot Polisgränd. Förr fanns även gluggar åt innergården, men dessa är nu ersatta av vanliga fönster. Ytterligare en fönsterglugg som fanns åt Polisgränd är igensatt.
Förhållandena i vaktkontoret var inte det allra bästa, varken för personalen eller de intagna. Enligt en beskrivning av lokalerna så var de i väldigt dåligt skick. Ytterdörrarna från gränden ledde rakt in i expeditionslokalen, som låg i ständigt halvmörker och var smutsig och illaluktande. Häkteslokalerna innanför, dit man tog in häktade och berusade personer, var riktigt dåliga rum. Redan på 1870-talet pratade man om att bygga nytt. Ritningar till en ombyggnation fanns färdiga 1878, men genomfördes aldrig.
Ett nytt arrestrum, som numera är rivet, byggdes till 1891 på innergården. Efter många års utredande bestämdes äntligen 1897 att polis- och brandkåren skulle få nya lokaler som passade verksamheten bättre. Flytten tvärs över Stora torget till den nya kombinerade polis- och brandstationen, ritad av arkitekten Erik Hahr, gjordes den 30 oktober 1899.
Under 1900-talet har bland annat en tapetserarverkstad och en hantverksbutik med det passande namnet "Finkan" hållit till i det gamla polisvaktkontoret.