Так называемый рыцарский дом находится на холме Тоомпеа недалеко от церкви святой Марии (Toomkirik). Туристические автобусы обычно паркуются у подножия холма, откуда до Рыцарского Дома можно дойти пешком примерно за три минуты. Художественный музей находится на полпути к обзорной площадке, с которой открывается вид на Старый Город и полуостров Копли. Всего за семь минут до рыцарского дома можно добраться от Городской площади или от площади Свободы, минуя улицу Нигулисте и церковь Святого Николая и поднявшись по ступенькам на вершину холма.
До начала 20-го века на холме Тооомпеа располагалась резиденция дворянства. Городское рыцарство — это группа дворян, объединившихся по принципу купеческой гильдии. После того, как два рыцарских дома были уничтожены огнем, а оставшийся третий дом был слишком, было построено новое двухэтажное здание в стиле Реннесанс по проекту архитектора Георга Винтерхальтера в 1845-1848 годах. Это была одна из первых построек подобного рода в Таллинне. Интерьер выполненный в стиле эклектика в практически неизменном состоянии дошел до наших дней.
