Сад академии художествожеств расположен в квартале, занятым к 1750м годам Морской аптекой и домом Головкина. В 1758 году в доме Головкина начали заниматься ученики Академии, в саду практиковались будущие художники. В 1764–1788 годах велось строительство здания Академии художеств, при котором был разбит сад.
Устройство сада началось в 1768 году главным садовым мастером Х. Эклебеном. В 1776 году здесь был вырыт пруд для купания.
В 1844 году К.А. Тоном была разработана схема регулярного Академического сада. А.П. Брюллов в 1847 году предоставил новый план, по которому и дошла до настоящего времени планировка сада. Здесь были проложены дорожки, установлена ограда, а в 1847 году на перекрёстке центральных аллей появилась гранитная колонна. Этот монумент являлся запасной колонной для интерьера Казанского собора. Колонну высекли на тот случай, если что-то произойдёт с другими. Ничего непредвиденного не произошло, и архитектор собора А. Воронихин передал колонну Академии художеств. В 1807 году она была установлена в круглом дворе Академии, в 1817 году была заменена гипсовой моделью памятника Минину и Пожарскому. В 1847 году колонне нашёл применение А.П. Брюллов, установив её в саду Академии.
Первоначально по проекту Воронихина колонна венчалась шаром. После её установки в саду А.П. Лялиным шар был заменён на символ искусств — лиру. Римско-ионическую гранитную капитель заменили бронзовой.
С севера сад ограничивают три академических корпуса. Средний — здание рисовальных классов. Со стороны 3-й линии по проекту А.П. Брюллова был построен профессорский флигель, со стороны 4-й линии — литейный корпус, построенный Андрияном Захаровым. Именно в этом литейном корпусе были отлиты памятник Крылову в Летнем саду, кони Клодта для Аничкова моста, памятники Кутузову и Барклаю-де-Толли у Казанского собора. С восточной стороны сада в 1862–1864 годах по проекту Ф.И. Эппингера построен дом № 2/А по 3-й линии. Здесь работают мастерские, в которых были созданы мозаики для Исаакиевского собора.
В 1890 году по проекту В.А. Кенеля была сооружена металлическая садовая ограда с воротами. В 1897 году в юго-западном углу сада построена Батальная мастерская, где создавались этюды с натурщиков верхом на конях.
