Hadi'den sonra Abbasî halifeliğine Harun Reşid geçmişti. Imam Kâzım'ın en çetin mücadelesi onunla olmuştur.
Rivayet edildiğine göre Harun Reşid, İmam Kâzım'a bir kere. sinde şöyle bir teklifte bulundu:
- Fedek'i al. Onu sana iade edeyim.
İmam Kâzım ise bu teklife şöyle cevap verdi:
- Fedek'i ancak tespit edilen sınırları ile alırım.
- Sınırlarını teyit et.
- Eğer bunu yaparsam, onu bana iade etmezsin.
- Deden Peygamber'in hakkı için bunu mutlaka yapar, onu sana mutlaka iade ederim.
İmam Kâzım, Harun'dan bu sözü alınca Fedek'in sınırlarını şöyle tayin etti:
- Birinci sınır Aden'den başlar. İkinci sınır Semerkând'dır; üçüncü sınır İfrikiye'dir. Dördüncüsü Ermenistan deniz sahilleri, ona bağlı adalardır.
İmam Kâzım'ın tüm halifeliğin sınırlarını saydığını duyunca Harun'un rengi değişti, yüz hatları kasıldı ve olduğu gibi kaldı. Kendini toparlayınca,
- Bize bir şey kalmadı; gel bari tahtına otur, dedi.
İmam Kâzım'ın Harun'a cevabı ise şöyle oldu:
-Ama ben size, eğer sınırları tayin edersem onu bana geri vermezsiniz, demiştim.