Tatăl lui Fan s-a prăpădit când acesta avea doar doi ani. El a fost nevoit să suporte greutăţile vieţii începând de la o vârstă fragedă. Singurul aliment pe care şi-l putea permite era terciul, din care consuma două porţii pe zi. În timpul iernii, tăia terciul congelat în bucăţi pentru a-l mânca. După ce mama lui l-a părăsit şi ea, viaţa sa a luat o întorsătură şi mai rea, fiind nevoit să caute cazare într-un templu. Cazându-se într-o cameră de rezervă a unui templu, el a dat dovadă de sârguinţă uimitoare la învăţătură. Se spăla cu apă rece pe faţă pentru a lupta împotriva oboselii, sau trăgea un pui de somn rezemat de perete. Se spune că nu s-a dus în patul său să doarmă timp de cinci ani. După ce tatăl unui coleg de al său a auzit că Fan nu îşi putea permite să mănânce decât terci, i-a trimis câteva alimente delicioase, însă Fan nu s-a atins de ele. Fiind întrebat de ce a refuzat această ofertă, el a răspuns: „Vă sunt foarte recunoscător pentru bunătatea dumneavoastră. Însă mă tem că astfel de bunătăţi ar putea să mă strice şi s-ar putea să nu mă mai bucur de terciul pe care-l voi avea în viitor". Mai târziu, ajuns ministru, el a afirmat: „Fii primul căruia îi pasă de soarta naţiunii şi ultimul care se bucură de confort!"
