Kuzey Carolina, Asheville'de doğan Frazier,
Kuzey Carolina, Andrews ve Franklin'de büyüdü ve 1973'te Kuzey Carolina Üniversitesi'nden mezun oldu.1970'lerin ortasında Appalachian Eyalet Üniversitesi'nden yüksek lisans derecesi ve 1986'da Güney Carolina Üniversitesi'nden İngiliz Dili alanında doktora derecesi aldı. Frazier'in 1985'te yayınlanan bir çalışması, Sierra Kulübü için And Dağları ve çevresine yönelik bir patika rehberiydi.
Frazier, önce Colorado Boulder Üniversitesi'nde, ardından Kuzey Carolina Eyalet Üniversitesi'nde İngilizce dersleri verdi. Karısı, romanı üzerinde tam zamanlı çalışmak için onu bırakmaya ikna etti. Arkadaşı ve Kuzey Carolina romancısı meslektaşı Kaye Gibbons, bitmemiş romanını edebiyat ajansına sundu ve bu da Cold Mountain'ın yayınlanmasına yol açtı.
Soğuk Dağ, 1997'de Atlantic Monthly Press tarafından yayınlanan ilk romanıydı. Amerikan İç Savaşı'nın sonlarına doğru Konfederasyon ordusundan yaralı bir firar olan Inman'ın yolculuğunu izliyor. Ordudan firar etmesinden, geride bıraktığı kadını Ada'ya geri dönmeye kadar olan yürek parçalayıcı yolculuğunu takip ediyor. Ada, onu bekliyor ve kendisi de her türlü zorlukla mücadele ediyor. Ada ve Inman'ın aşkının gücü ve yeniden bir araya gelmeye olan bağlılıkları, Frazier'ın tarihi bağlamı dahil etmesiyle birlikte romanın itici gücüdür. Eser, Kuzey Carolina dağlarının kültürü ve duyarlılıkları açısından zengindir ve yerel tarihe ve Frazier'ın babasının Frazier'ın büyük büyük amcası William Pinkney "Pembe" Inman (1839-6 Şubat 1865) hakkında aktardığı hikayelere dayanmaktadır. Batı Kuzey Carolina'daki Cold Mountain civarındaki Haywood County bölgesinden olan Inman, iki kez yaralandıktan sonra firar ettiği Konfederasyon Ordusu'nda görev yaptı ve Kuzey Carolina, Haywood County, Bethel'deki Bethel Topluluk Mezarlığı'na gömüldü. "Pembe" Inman, 25. Kuzey Carolina Piyade Alayı'nın F Bölüğü'nde er olarak görev yaptı ve alayı, Krater Muharebesi de dahil olmak üzere Petersburg Kuşatması'ndaki çatışmalara katıldı.
Soğuk Dağ, 1997 ABD Ulusal Kitap Ödülü'nü kazandı ve 2003 yılında Anthony Minghella tarafından aynı adla filme uyarlandı.
Frazier'in 2006'da yayınlanan ikinci romanı Thirteen Moons, Amerika'da bir asırlık değişim boyunca bir adamın hikayesini izliyor. Yine Batı Kuzey Carolina'da geçen roman, bir beyaz adamın Cherokee Kızılderilileriyle Oklahoma'ya sürgün edilmelerinden hemen önce, sırasında ve sonrasında olan ilişkisini izliyor. Bu, yükselen ABD hükümetinin yerli Cherokee halkını Oklahoma'ya sürgün etme planına karşı bir mücadele ve zafer hikayesi. Cold Mountain'ın başarısına dayanarak, Frazier'e Thirteen Moons için 8 milyon dolarlık bir avans teklif edildi.
Frazier'in 2011 tarihli kitabı Night Woods, 20. yüzyılda geçiyor ancak mekan hala Appalachian Dağları.
Frazier'in dördüncü romanı Varina, Amerika Konfederasyon Devletleri'nin First Lady'si Varina Davis'in hayatına dayanmaktadır. 2018'de yayınlanmıştır.
Frazier'in beşinci romanı The Trackers, Büyük Buhran sırasında değerli bir tabloya sahip bir kadını takip eden bir ressamın hikayesini anlatıyor.