Дворец Берби находится примерно в 100 м к югу от Кафедрального собора Альби. Название дворца происходит от искаженного окситанского слова «Бисбиа», которое означает епископство.
Строительство крепости началось в первой половине 13 века по инициативе епископа Дюрана де Бокэра (1228 - 1254). В тот момент здание ограничивалось феодальным залом (ему соответствует латинский термин «аула») и двухэтажной башней святого Михаила, где размещались церковный трибунал и тюрьма. Преемники де Бокэра продолжили возводить вокруг крепости оборонительные укрепления, превратив ее в настоящую цитадель: разрозненные постройки были соединены между собой, а высокие стены должны были защитить епископов от народных волнений.
В 15 веке крепость была расширена: появились новые жилые помещения, а в донжоне была возведена винтовая лестница. В 17 веке крепость утратила свое оборонительное значение и превратилась в обычную дворцовую резиденцию. В этот период были созданы галереи, террасы, салоны и библиотека. Рядом с обновленным дворцом был разбит парк во французском стиле и сделана терраса, с которой открывался вид на реку. Дозорная галерея, расположенная на крепостной стене, стала местом для прогулок. В 18 веке появился вход в крепость со стороны города.
В годы Французской революции дворец перешел в собственность государства, а в 1807 году Наполеон передал его под юрисдикцию департамента Тарн. Лишь в 1823 году, когда был восстановлен альбийский диоцез, дворец вновь стал резиденцией епископа.
После ратификации в 1905 году закона об отделении Церкви от государства дворец перестал быть епископской резиденцией и перешел в собственность города. В 1922 году в здании дворца разместился музей уроженца Альби – художника Анри де Тулуз-Лотрека.
В ходе реставрационных работ, предпринятых во дворце в начале 21 века, в одном из залов донжона Тур Мань был обнаружен прекрасный плиточный пол 13 века, покрывающий поверхность около 130 квадратных метров. Предполагается, что этот зал станет доступен для туристов.