Дворец или замок Висконти находится в самом центре Лоди, примерно в 100 м севернее собора, на площади piazza Broletto.
В старину город Лоди был защищён городской стеной. Сначала в стене было всего трое ворот. На южной стороне были расположены Кремонские и Павийские ворота, дорога от Королевских ворот вела к Милану. Вблизи Королевских ворот Фридрих Барбаросса повелел построить крепость (12 век). В конце 13 века замок был перестроен Напо делла Торре. Современный же облик здания, в основном, восходит к работам, предпринятым в 1355-70 годах. В то время хозяином замка был Барнабо Висконти. При нём замок был расширен, построены 4 башни и глубокие подземные тюрьмы. Как показали недавние исследования, под замком также существует целая сеть подземных переходов, увы, частично засыпанных. Некоторые из них имеют два уровня и столь широки, что по ним мог бы проехать всадник. По этим тайным подземным ходам можно было выйти за городские стены, многие ходы были связаны с подвалами старинных домов в центре города. Позднее Филиппо Мария Висконти укрепил внутренний равелин, построив за стеной укрепления (1416). При Франческо Сфорца, в 1456 году, продолжались работы по укреплению сооружения, была также добавлена круглая в плане башня (северный угол). Эта башня, возведённая инженером Серафино Гавацци, стала одним из символов Лоди. В 1906 году она, кстати, была превращена в резервуар для городского водопровода.