Brinton, Pennsylvania, Chester County, Thornbury Kasabasında dünyaya geldi. 1858 yılında Yale Üniversitesi'nden mezun olan Brinton, iki yıl Jefferson Tıp Fakültesi'nde eğitim gördü ve ertesi yıl Avrupa'ya gitti. Eğitimine Paris ve Heidelberg'de devam etti. 1862-1865 yılları arasında Amerikan İç Savaşı sırasında Birlik ordusunda cerrah oldu ve 1864-1865 yılları arasında Illinois Illinois'daki Quincy'deki genel cerrah olarak görev yaptı. Brinton, Missionary Ridge'de (Üçüncü Chattanooga Savaşı) güneşle vuruldu ve daha sıcak havalarda bir daha asla yolculuk edemedi. Bu handikap kariyerini etnolog olarak etkiledi.