Il 1º dicembre 2016, il presidente eletto Donald Trump ha annunciato che Mattis sarebbe stato nominato per servire come Segretario della Difesa degli Stati Uniti nella prossima amministrazione. È stato confermato dal Senato degli Stati Uniti con un voto di 98-1. Lo stesso giorno, è stato giurato dal vicepresidente Mike Pence.
Il 5 aprile 2017, Mattis ha definito l'attacco chimico di Khan Shaykhun "un atto atroce" e ha detto che sarebbe stato trattato di conseguenza. Il 10 aprile, Mattis ha avvertito il governo siriano di non usare più armi chimiche.
Mattis ha espresso il suo sostegno alla campagna militare guidata dall'Arabia Saudita contro i ribelli sciiti dello Yemen. Ha chiesto a Trump di rimuovere le restrizioni sul sostegno militare degli Stati Uniti all'Arabia Saudita.
Mattis ha insistito che gli Stati Uniti sarebbero rimasti in Siria dopo la sconfitta dell'ISIS per garantire che non si riorganizzassero. Tuttavia, Trump ha annunciato il ritiro degli Stati Uniti dalla Siria il 19 dicembre. Il giorno dopo, Mattis ha presentato le sue dimissioni dopo non essere riuscito a convincere Trump a ripensarci. Nella sua lettera di dimissioni, Mattis ha criticato Trump per non aver rispettato le nazioni alleate mentre criticava il governo autoritario di Cina e Russia. In risposta alla lettera, Trump ha ordinato il licenziamento di Mattis il 1° gennaio, quasi due mesi prima di quanto Mattis aveva previsto di lasciare l'incarico.
