Коллегиум Борромео расположен на площади, названной в его честь (piazza Collegio Borromeo), приблизительно в 1 км к юго-востоку от Соборной площади.
Коллегиум был заложен по инициативе кардинала Карло Борромео (1538 - 1584) в 1561 году. Карло Борромео сам когда-то изучал право в Павии. Он задумал построить коллегиум, где могли бы жить во время учёбы в университете Павии талантливые, но бедные студенты. Проект коллегиума был выполнен архитектором Пеллегрино Тибальди. Фасад прекрасного дворца выходил на реку Тичино. Здание было окружено парком и ботаническим садом. Уже современники архитектора почтительно называли здание «дворцом Науки». Хотя коллегиум уже в 1580 году принял первых студентов, строительные работы продолжались до 19 века. Южное крыло было возведено в 1820 году архитектором Поллаком после того, как была снесена стоявшая рядом с коллегиумом романская базилика святого Иоанна.
Фасад коллегиума исполнен торжественности. В центре фасада открывается портал. Здание построено вокруг внутреннего двора со сдвоенными гранитными колоннами. Парадная лестница с верхней галереей ведёт в Зал фресок. На фресках свода изображены деяния основателя коллегиума – святого Карло Борромео (в 1602 году он был объявлен блаженным, а в 1610 году – канонизирован). Фрески принадлежат кисти Чезаре Неббии (1603 - 1604). На левой стене тем же художником изображена «Чума в Милане во времена святого Карло». Ещё на одной стене - «Увенчание святого Карло Борромео кардинальской шапкой», выполненное Федерико Дзуккари. Каждое крыло здания имеет своё название в зависимости от того, куда оно выходит: «Площадь» (западное крыло), «Сад» (южное крыло), «Переулок» (северное крыло, выходящее на via Cardinale Luigi Tosi), «Рикини» (восточное крыло, смотрящее на сад 17 века с фонтаном, распланированный архитектором Рикини). В восточном крыле находятся комнаты для гостей и парадные залы: Белый зал, Зал фресок. Комнаты студентов также разделены по этажам: цокольный этаж, бельэтаж, второй этаж («Рай») и мансарда («Гиперурания» - от платоновского «место под небесами»). До сих пор старинный коллегиум принимает под свою крышу студентов Университета Павии.