Sarayın planlarını çizen Mimar N ikoğos Balyan
l858'de ölmüştü. Sarayın inşaatı Mimar Serkis Balyan ve
Agop Balyan tarafından 1863'ün ilk günlerinde başlatıldığında,
sahildeki Mevlevi dergahı yıktırılmış ve evliya mezarlarının
üstüne temel atılmıştı ! Sultan Abdülaziz, bir rivayete
göre bu sarayda, cinayetimsi bir intiharla, büyük
acılar