Adınla Çağır Beni, 17 yaşında bir İtalyan genç olan Elio ile 24 yaşında bir Amerikalı profesör olan Oliver'ın arasındaki aşkı anlatıyor.
Roman, Elio'nun gözünden anlatılıyor. Elio, müzik ve edebiyatla ilgilenen, zeki ve meraklı bir gençtir. Oliver ise yakışıklı, karizmatik ve zeki bir profesördür. Elio ve Oliver, bir yaz boyunca birlikte vakit geçirmeye başlarlar ve kısa sürede birbirlerine aşık olurlar.
Roman, Elio ve Oliver'ın ilişkisinin gelişmesini takip ediyor. Elio, Oliver'a karşı hislerini ilk başta kabul etmekte zorlanır. Ancak, zamanla Oliver'a karşı duyduğu aşkı kabul eder. Oliver ise Elio'ya karşı hislerini kabul etmekte daha isteksizdir. Oliver, kendi cinsel yönelimini keşfetmekte zorlanır.