Deyimde geçen "kavak" kelimesinin kavak ağacıyla bir ilgisi yoktur.
İstanbul'un kuzeyinde iki semt vardır: Anadolu Kavağı ve Rumeli Kavağı.
Bu iki semt Karadeniz ile Boğaz arasında bir geçiş noktasında olduğu için çok rüzgar alır. Deyimdeki kavak yelleri ifadesi de bu Kavaklar'dan gelmektedir.