Sefiller, kürek mahkumu Jan Valjean ve polis müfettişi Javert arasında sürüp giden bir kovalamacanın hikayesi üzerine kuruludur. Jan Valjean, yoksul bir köylüdür, ailesini doyurmak amacıyla çaldığı yalnızca bir somun ekmekten dolayı kürek cezasına çarptırılmış, defalarca kaçma teşebbüsünde bulunduğundan cezası katlanmış ve on dokuz seneye cıkmıştır.