Hayatı Kunduracı olan Ahment Yücel'le Nuriye Münevver Hanım'ın oğludur. İlköğrenimini Elbistan Gazi Paşa İlkokulu'nda tamamladıktan sonra 1945'te İstanbul'a gelmiştir. 1953'te Galatasaray Lisesi'ni, 1960'da da İÜEF Fransız Dili ve Edebiyatı Bölümü'nü bitirdi.
Fakülteyi bitirdikten sonra, İstanbul'da kalmayı tercih etti ve 1969'da doktorluk, 1972'de doçentlik, 1978'de de profesörlük ünvanlarını aldı. 2000 yılında emekliliğe ayrıldı.
Tahsin Yücel, çalışmalarına öykücülükle başladı. İlk öyküsü olan ¨Dert Çok, Hemdert Yok!¨, bir derlemede (Yeni Hikâyeler 1950) yayımlandı. Daha sonraları Varlık, Seçilmiş Hikâyeler, Yeryüzü, Beraber ve Mavi gibi dergilerde öyküleri yayımlanmaya devam etti. Bu dönemlerde; kullandığı yalın dil, kullandığı modern sözcükler, Anadolu insanına yaklaşımındaki tutarlılık ve anlatımındaki ustalık dikkat çekti. Behçet Necatigil gibi isimlerden yorumlar aldı.
Uçan Daireler, Haney Yaşamalı ve Düşlerin Ölümü adlı öykü kitaplarını yayımlayarak kariyerine devam eden Yücel, bu kitaplarda kendi geçmişinden bazı öğeler kullandı. Bunları ele alırken oldukça karamsardı; ancak daha sonraları bunu dönemin akımlarından etkilenerek yaptığını belirtmiştir. Bu kitaplarla daha çok tanınmaya başladı.
1970'li yıllara gelindiğinde, öncelikle "Yaşadıktan Sonra" ve "Dönüşüm" kitaplarıyla, daha sonra da "Vatandaş ve Ben" ve "Öteki" kitaplarıyla tarzında bir değişiklik gözlemlendi; daha derin kişilikler yaratıp, ¨çevreyle¨ daha az ilgilenmeye başladı. Bu kitaplarıyla karışık yorumlar alan Yücel, kariyerine Komşular adlı kitabıyla devam etti. Bu kitabın konusu, diğerlerinden farklı olarak, insanların politika hakkındaki görüşlerinin eleştirisiydi Fethi Naci, bu kitabındaki bir öyküsünü bir başyapıt olarak değerlendirdi.
Tahsin Yücel aynı zamanda bir romancıdır. Romanları (Peygamberin Son Beş Günü, Mutfak Çıkmazı, Bıyık Söylencesi) genel anlamda, halka karşı ironik eleştiriler barındırır. Bunlardan Peygamberin Son Beş Günü fazla solcu bulunduğundan dolayı politik anlamda da eleştiriler almıştır. Öykü ve roman dışındaki eserlerine bakıldığında, Yazın, Gene Yazın ve Tartışmalar adlarında iki deneme kitabı görülür. Bunlardan ilki, genellikle kendi hayatından alıntılar içerirken, ikincisi, dilsel konuları alan polemikleri konu alır. Aynı zamanda, Türkiye'ye göstergebilimi tanıttığı çalışmaları da vardır. Yurtiçi ve yurtdışında ses getiren yazınsal incelemelerinin yanı sıra, hatrı sayılır çevirileri de vardır. Öykülerinden bazıları, İsveççe ve Fransızca'ya çevrilmiştir.