Promulgado em 1890, o Código Penal da República mudava muito o tratamento aos detentos: eram abolidas as punições corporais para dar lugar à ressocialização do criminoso.
Em 1905 foi autorizada a construção da Penitenciária do Estado, que se tornaria um modelo do novo método. A inauguração ocorreu em1920, com dois pavilhões.
Os presos realizavam ginástica no pátio, recebiam aulas de música e desempenhavam tarefas como fabricar vassouras. Depois, surgiram a Casa de Detenção (1956), a Penitenciária Feminina (1973) e o Centro de Observação Criminológica (1983); juntos, eles formaram o que ficou conhecido como o Complexo Penitenciário do Carandiru.
A Casa de Detenção chegou a abrigar 8.000 presos. Em 2 de outubro de 1992, 111 deles morreram em invasão da PM para conter uma rebelião. Está previsto para esta semana o início do julgamento dos policiais que participaram da operação. Três pavilhões foram implodidos em 2002 e, no ano seguinte, o terreno passou a abrigar o Parque da Juventude.