Vid 1840/41 års riksdag beslutades om en förändring av fångvården i Sverige. Nybyggda fängelser ordnade efter det så kallade cellsystemet, där varje fånge hade eget rum, skulle ersätta de gamla gemensamma fängelselokalerna. I Västerås fanns häktet tidigare i slottet, bland annat i källarvåningen. Carl Fredrik Hjelm, arkitekt hos fångvårdsstyrelsen, fick i uppdrag att göra ritningarna till det nya fängelset i Västerås.
Platsen som valdes för fängelset var en naturskön skogsbacke intill Mälaren, sydväst om slottet, och byggnationen startade 1854. Tre år senare stod till slut den putsade, T-formade byggnaden av sten i tre våningar och med plåttak färdig. Till utseendet påminner fängelset i Västerås om många av de andra samtida fängelserna, vars arkitektur var tänkt att inge respekt och som därför utgick från byggnadsstilen hos fästningar och andra militära anläggningar. Men det nya fängelset upplevdes säkert ändå som mer humant än de gamla slitna lokalerna i slottet.
Den 28 maj 1857 flyttade fångarna in i länsfängelset. I 66 av 71 celler hade fångarna tillgång till dagsljus genom långsmala gluggar i yttermurarna, medan fem celler var utan dagsljus. De små cellgluggarna utvidgades under 1910- och 30-talet till normalstora fönster. Utöver celler rymde fängelset även administrationslokaler och bostad för fängelsedirektören. Wilhelm Schedin var direktör i sammanlagt nästan 30 år och bodde på fängelset tillsammans med sin familj.
Fler kända förbrytare har suttit fängslade i Västerås. En av dem var den notoriske bedragaren Per Emil Keijser, som bland annat häktades 1913 efter att ha framträtt som en finsk handelsman och försökt sälja trävirke som han inte ägde. Även Johan Filip Nordlund var fängslad här efter sitt massmord på ångaren Prins Carl. Han blev den siste i Sverige att avrättas med handbila, en slags yxa, vilket skedde den 10 december 1900 på fängelsegården.
Efter drygt 140 år som fängelse lämnade den siste fången anstalten 1998. Huvudbyggnaden och två sidobyggnader, ursprungligen nyttjade som vedbod respektive tvättstuga, byggdes 2002 om till ett flerbostadshus med plats för 22 lägenheter.