Thant iniziò a servire come Segretario Generale ad interim dal 3 novembre 1961, quando fu nominato all'unanimità dall'Assemblea Generale, su raccomandazione del Consiglio di Sicurezza, per riempire il mandato in sospeso di Dag Hammarskjöld. Fu poi nominato all'unanimità Segretario Generale dall'Assemblea Generale il 30 novembre 1962 per un mandato che terminò il 3 novembre 1966. Durante questo primo mandato fu ampiamente riconosciuto per il suo ruolo nel disinnescare la crisi dei missili di Cuba e per aver posto fine alla guerra civile in Congo.
U Thant fu nominato per un secondo mandato come Segretario Generale delle Nazioni Unite dall'Assemblea Generale il 2 dicembre 1966 su raccomandazione unanime del Consiglio di Sicurezza. Il suo mandato continuò fino al 31 dicembre 1971, quando si ritirò. Durante il suo mandato, ha supervisionato l'ingresso nell'ONU di decine di nuovi stati asiatici e africani ed è stato un fermo oppositore dell'apartheid in Sudafrica. Ha anche istituito molte delle agenzie, dei fondi e dei programmi delle Nazioni Unite per lo sviluppo e l'ambiente, tra cui il Programma delle Nazioni Unite per lo Sviluppo (UNDP), l'Università delle Nazioni Unite, l'UNCTAD, l'UNITAR e il Programma delle Nazioni Unite per l'Ambiente.
Aveva anche guidato molti sforzi di pace di successo, anche se ora in gran parte dimenticati, per esempio nello Yemen nel 1962 e nel Bahrein nel 1968. In ogni caso, la guerra avrebbe provocato un conflitto regionale più ampio, ed è stata la tranquilla mediazione di Thant a prevenire la guerra.
A differenza dei suoi due predecessori, Thant si è ritirato dopo dieci anni, parlando con tutte le grandi potenze. Nel 1961, quando fu nominato per la prima volta, l'Unione Sovietica aveva cercato di insistere su una formula a troika di tre segretari generali, uno per ogni blocco della guerra fredda, cosa che avrebbe mantenuto l'uguaglianza nelle Nazioni Unite tra le superpotenze. Nel 1966, quando Thant fu riconfermato, tutte le grandi potenze, in un voto unanime del Consiglio di Sicurezza, affermarono l'importanza del segretario generale e dei suoi buoni uffici, un chiaro omaggio al lavoro di Thant.
La guerra dei sei giorni tra i paesi arabi e Israele, la primavera di Praga e la successiva invasione sovietica della Cecoslovacchia, e la guerra indo-pakistana del 1971 che portò alla nascita del Bangladesh ebbero luogo durante il suo periodo come segretario generale.
Fu ampiamente criticato negli Stati Uniti e in Israele per aver accettato di ritirare le truppe delle Nazioni Unite dal Sinai nel 1967 in risposta a una richiesta del presidente egiziano Nasser. U Thant cercò di persuadere Nasser a non entrare in guerra con Israele volando al Cairo in uno sforzo di pace dell'ultimo minuto.
I suoi rapporti, una volta buoni, con il governo degli Stati Uniti si deteriorarono rapidamente quando criticò pubblicamente la condotta americana della guerra del Vietnam. I suoi tentativi segreti di colloqui di pace diretti tra Washington e Hanoi furono alla fine respinti dall'amministrazione Johnson.
Thant seguì con un certo interesse i rapporti sugli oggetti volanti non identificati; nel 1967, organizzò per il fisico atmosferico americano Dr. James E. McDonald di parlare davanti al gruppo delle Nazioni Unite per gli affari dello spazio esterno riguardo agli UFO.
Il 23 gennaio 1971 U Thant annunciò categoricamente che "in nessun caso" sarebbe stato disponibile per un terzo mandato come Segretario Generale. Per molte settimane, il Consiglio di Sicurezza dell'ONU fu in stallo nella ricerca di un successore, prima di scegliere Kurt Waldheim come successore di U Thant come Segretario Generale il 21 dicembre 1971 - il 53° compleanno di Waldheim - e solo dieci giorni prima della fine del secondo mandato di U Thant.
Nel suo discorso d'addio all'Assemblea Generale delle Nazioni Unite, il segretario generale U Thant ha dichiarato di aver provato un "grande senso di sollievo che rasenta la liberazione" nel lasciare "gli oneri della carica". In un editoriale pubblicato intorno al 27 dicembre 1971, elogiando U Thant, il New York Times dichiarò che "i saggi consigli di questo uomo di pace dedicato saranno ancora necessari dopo il suo ritiro". L'editoriale era intitolato "La liberazione di U Thant".