Sarayburnu yönünde deniz kenarında bugün artık mevcut bulunmayan başka köşkler vardı. Bunlardan tam Boğaz'a bakan köşkün kapısının iki yanında toplar asılıydı ki saray adını bu toplardan alır.
"Toplu Kapı" olarak anılan bu yapının yerine Sultan 3. Ahmed zamanında inşa edilen ahşap köşke "TOPKAPI" adı verilmiş, sonraki zamanlarda bu isim bütün saray için kullanılmaya başlanmıştır.