Fundado pelos Visconti em 1300 chamava-se Castello di Porta Giovia, situado imediatamente fora das muralhas medievais. Após a sua destruição parcial durante a "República Áurea" (1447-1450), foi Francesco Sforza que o reconstruiu para fazer deste sua casa. O castelo continuou a sofrer vários trabalhos de remodelação e ampliação aquando de cada mudança de regime: primeiro o Mouro até 1499, depois, mais tarde, sob o domínio espanhol, em meados de 1500, até aos franceses em 1800. Mas o aspeto atual do castelo deve-se ao mais importante dos trabalhos de recuperação: o de Luca Beltrami, entre o período oitocentista e o novecentista, que reinventou a fortaleza com importantes incorporações e alterações.