Yamagata è nato il 14 giugno 1838 a Hagi. Hagi era la capitale del dominio feudale di Chōshū (attuale prefettura di Yamaguchi). Fu educato da suo padre. Yamagata studiò la letteratura classica giapponese e cinese. Imparò le arti marziali del Jujutsu. Yamagata imparò anche l'uso militare della lancia e come steccare.
Andò a Shokasonjuku, una scuola privata gestita da Yoshida Shōin. Lì aiutò a rovesciare lo shogunato Tokugawa nel 1868. Era un comandante del Kiheitai. Questa era un'organizzazione semi-militare creata su linee semi-occidentali dal dominio Chōshū. Fu un ufficiale di stato maggiore nella guerra Boshin (dal 1867 al 1868).
Dopo che i Tokugawa furono rovesciati, Yamagata e Saigō Tsugumichi viaggiarono all'estero nel 1869. Furono mandati a ricercare i sistemi militari dei paesi occidentali. Yamagata rimase impressionato dall'esercito prussiano. Dopo un anno Yamagata tornò e riferì direttamente all'imperatore Meiji a Tokyo. Fu nominato "vice ministro aggiunto degli affari militari". Usò le teorie militari di Carl von Clausewitz e i giochi di guerra prussiani per cambiare l'esercito del Giappone. Divenne ministro della guerra nel 1873. Modernizzò l'esercito imperiale giapponese e lo rese simile a quello prussiano. Iniziò la coscrizione militare nel 1873.