Sarrazin è nato a Gera, in Germania. Suo padre era un medico e la madre una figlia di un proprietario terriero della Prussia occidentale. La sua famiglia paterna, una famiglia ugonotta francese, è originaria della Borgogna. Sua nonna era inglese-italiana. Ha spiegato che il suo nome significa saraceno (cioè musulmano) ed è comune nella Francia meridionale. Deriva dai pirati arabi che erano chiamati "Saraceni" nel Medioevo. Sua madre è di origine polacca. Si è definito "un bastardo europeo".
È cresciuto a Recklinghausen. All'età di sette anni è andato in un orfanotrofio in Baviera. Si è diplomato al ginnasio locale e poi ha servito nell'esercito dal 1967 al 1971. Poi ha studiato economia all'Università di Bonn, conseguendo il dottorato. Dal novembre 1973 al dicembre 1974 ha lavorato per la Fondazione Friedrich Ebert ed è diventato attivo nella SPD.
Nel 1975 Sarrazin ha iniziato a lavorare nel Ministero Federale delle Finanze. Fino al 1981 è stato capo unità al Ministero del Lavoro e degli Affari Sociali. Nel 1981 è tornato al ministero federale delle finanze. Nell'ottobre 1981 iniziò a lavorare come capo ufficio e fu uno stretto collaboratore del ministro federale delle finanze Hans Matthöfer e del suo successore Manfred Lahnstein. Anche dopo la fine della coalizione socialista-liberale nell'ottobre 1982, Sarrazin rimase al Ministero delle Finanze. Lì fu direttore di diverse unità, tra cui (dal 1989 al 1990) le "Innerdeutsche Beziehungen", che preparavano l'unione monetaria, economica e sociale tedesca. Durante il suo periodo come capo del ministero federale delle finanze, fu in parte responsabile delle ferrovie tedesche.
Dal 1990 al 1991, Sarrazin ha lavorato per la Treuhand. Poi è stato fino al 1997 segretario di stato al ministero delle finanze della Renania-Palatinato.
Sarrazin è sposato con Ursula Sarrazin (nata Breit) e ha due figli.
