Pada 20 Januari 2017, beliau telah disahkan sebagai Setiausaha Pertahanan melalui pungutan undian sebanyak 98-1 oleh Senat Amerika Syarikat dengan pengecualian[7] kerana beliau dikira tiga tahun keluar dari tugas aktifnya walaupun AS undang-undang federal memerlukan setidaknya tujuh tahun persaraan untuk bekas anggota tentera akan dilantik sebagai Setiausaha Pertahanan. Beliau merupakan anggota pertama dalam Kabinet Presiden Amerika Syarikat ke-45, Donald J. Trump, yang turut disahkan Senat tersebut.
Pada 20 Disember 2018, Mattis mengeluarkan surat menyatakan peletakan jawatannya pada 28 Februari 2019 berikutan (menurutnya) kegagalan beliau meyakinkan Trump mengeluarkan saki-baki pasukan tentera Amerika Syarikat dari Syria.[8][9]
^ abKovach, Gretel C. (January 19, 2013). "Just don't call him Mad Dog". San Diego Union Tribune. Dicapai pada November 20, 2016. He is a lifelong bachelor with no children, but wouldn't move into a monastery unless it was stocked with "beer and ladies."