Раньше на том месте, где находится Замковая башня, располагался старинный замок, который был построен по приказу правителя Карла IV. Замок с 1358 года использовался как охотничье угодье, весь двор выезжал сюда для того, чтобы устроить пышный праздник. Случилось так, что в 1604 году замок сгорел, и после этого на его месте построили башню, сохранившуюся до наших дней.
Замковая башня (Карловы Вары) раньше также служила местом, из галереи которого трубачи извещали о прибытии в город важных гостей. Резиденция Карла IV была выстроена в готическом стиле, башня в отличие от самого замка построена в стиле барокко. Строение украшает маленькая резная башенка, которая прекрасно сочетается с террасами ресторанчиков, расположенных ниже рядом с основным зданием.
