Замок Балвени находится в миле к северу от Даффтауна в местечке Глен Фиддич. Основателем замка считается Уильям Комин – 5ый граф Бухана. Он был одним из четырёх сыновей Ричарда Комина, юстициария графства Лотиан. На службе у короля Шотландии Вильгельма I, Уильям нажил себе немалое состояние и множество вельможных титулов, таких как юстициарий Шотландии и наместник Морея. Между 1199 и 1200 годами он был послом в Англии, где от имени короля Вильгельма I, вёл переговоры с новым королём Иоанном. Между 1209 -1212 годами (точно неизвестно), он женился на графине Бухана леди Маргарет. У ее отца Фергюса 4-го графа Бухана не было наследников по мужской линии, что гарантировало передачу титула мужу его дочери. Унаследовав графство Уильям стал Лордом Балвени и приступил к постройке нового замка в своих обретённых владениях.
Во время правления Роберта Брюса клан Коминов потерял замок, который стал принадлежать клану Дугласов. Король Яков II, низложивший Дугласов, передал Балвени одному из своих родственников, и он становится собственностью дома Стюартов. В 1550 году Джоном Стюартом в структуру замка был включён изящный дом эпохи Возрождения. В 1562 году в замке гостила королева Мария Шотландская. К сожалению, замок Балвени не смог выдержать испытание временем и становился всё менее приспособленным для комфортного проживания. Когда в 1720 году Стюарты неподалеку выстроили новую усадьбу, замок был покинут и начал приходить в запустение. Последним вельможей, проживавшим в замке, был 1-ый граф Файфа Уильям Дафф.
