В 1794 г. под руководством де Волана здесь начали строить здание военного госпиталя. Однако, возведенное лишь наполовину, оно было разобрано в 1800 г. Нынешнее здание в стиле английской готики построено Ф.В.Гонсиоровским в 1852 г. для польского шляхтича З.Бржозовского. О семье Бржзововских, владевших замком до 1910 г., почти ничего неизвестно. Затем здание переходит к другому польскому аристократу — графу И.Шенбеку. Однако он не живёт в нём, а сдаёт в аренду персидскому шаху М.Али, бежавшему в Одессу от революции в Иране вместе со своим гаремом.
В советское время во дворце находился Дом народного творчества. После распада СССР дворец ветшал, пока его не взял в аренду банк. Однако стоимость аренды оказалась высокой даже для банка. Сейчас там находится нефтяная компания.
