Замок Висконти стоит на площади piazza Castello, приблизительно в 850 м на северо-восток от Соборной площади, недалеко от базилики святого Петра в Золотом небе.
Замок начали строить по приказу Джан Галеаццо II Висконти в 1360 году. К 1365 году сооружение, казавшееся огромным на фоне маленькой Павии, население которой тогда едва достигало 20 000 человек, было достроено. На добрый десяток километров от замка до картезианского монастыря простирался парк, точнее, охотничьи угодья. Часть этой зелёной зоны сохранилась, сейчас это – парк Вернавола. Кстати, многие местные жители верят, что замок соединялся с обителью подземным ходом.
Прекрасные бифоры замка время пощадило, они сохранили свой изначальный вид. Зубцы стен были отреставрированы. Также были добавлены крыши над стенами и башнями для защиты сооружения от дождя. Из четырёх башен сохранилось две. Левая башня называется Библиотечной. Когда-то в ней работал, разбирая старинные манускрипты, великий итальянский поэт Франческо Петрарка (1304 - 1374). Правая башня носит имя Башни реликвий. В ней была капелла, где хранились священные реликвии. В одной из разрушенных башен размещалась тюрьма, в другой, Башне зеркал, - покои с зеркалами, где прибывшие в замок дамы могли привести себя в порядок прежде, чем предстать перед повелителем. В атриуме замка можно видеть гранитные ядра – снаряды, которые французы метали в замок из катапульт в битве 1525 года. Внутренний двор выполнен из кирпича и отделан камнем. В нижней части двора открывается портик. Выше расположена галерея с изящными квадрифорами в венецианском стиле.
Сейчас в замке Висконти размещается пинакотека Маласпина, носящая имя основателя музея – маркиза Луиджи Маласпины (1754 - 1835). В музее есть археологическая секция, составленная из находок, сделанных во время аграрных и строительных работ, и из переданных музею частных собраний. Базой египетского отдела музея послужила коллекция, приобретённая маркизом. Среди экспонатов музея есть также артефакты раннехристианской, готской и лангобардской эпох. В музее собраны произведения искусства Средневековья, а также картины (до 20 века), работы из гипса и дерева. Среди картин музейного собрания следует отметить: «Богоматерь с младенцем во славе со святыми Франциском и Кларой (1390 - 1395, Джентиле да Фабриано), «Богоматерь с младенцем» (1450 - 1460, Джентиле Беллини), «Святое семейство» (16 век, Корреджо) и др. Также в музее хранится деревянная модель собора Павии (конец 15 века).