Il primo predecessore del GRU nella Russia post-tsarista fu creato il 21 ottobre 1918 sotto la sponsorizzazione di Leon Trotsky, che era allora il supervisore civile dell'Armata Rossa. Era originariamente conosciuta come Direzione di registrazione (Registrupravlenie, o RU). Nella sua storia dei primi anni del GRU, Raymond W. Leonard scrive:
"Come originariamente stabilito, il Dipartimento di Registrazione non era direttamente subordinato allo Stato Maggiore [dell'] Armata Rossa... Nel 1921... fu elevato di status per diventare la Seconda Direzione (Intelligence) dello Stato Maggiore dell'Armata Rossa.
Gli fu dato il compito di gestire tutta l'intelligence militare, in particolare la raccolta di informazioni di importanza militare o politica da fonti esterne all'Unione Sovietica. Il GRU operava residenze in tutto il mondo. Si occupava del SIGINT (signals intelligence) a Cuba, e in tutti i paesi dell'ex blocco sovietico, specialmente in Lituania, Lettonia ed Estonia.
Il GRU era ben noto nel governo sovietico per la sua feroce indipendenza dalle "organizzazioni di intelligence interne" rivali, come NKVD e KGB. Al momento della creazione del GRU, Lenin fece infuriare la Cheka (predecessore del KGB) ordinandole di non interferire con le operazioni del GRU. Tuttavia, la Cheka si infiltrò nel GRU nel 1919. Questo piantò il seme di una feroce rivalità tra le due agenzie, che erano entrambe impegnate nello spionaggio. La rivalità era ancora più intensa di quella tra l'FBI e la CIA.
L'esistenza del GRU non fu pubblicizzata durante l'era sovietica. I documenti su di esso divennero disponibili in Occidente alla fine degli anni '20, e fu menzionato nelle memorie del 1931 del primo disertore dell'OGPU, Georges Agabekov. Walter Krivitsky, il più alto ufficiale dei servizi segreti dell'Armata Rossa mai disertato, lo descrisse in dettaglio nella sua autobiografia del 1939 (Ero l'agente di Stalin).
Divenne ampiamente noto in Russia e in Occidente durante la perestroika. "Viktor Suvorov" (Vladimir Rezun), un agente del GRU che disertò in Gran Bretagna nel 1978, scrisse delle sue esperienze nei servizi militari e di intelligence sovietici. Secondo Suvorov, anche il segretario generale della CPSU non poteva entrare nella sede del GRU senza passare attraverso un controllo di sicurezza.
Il GRU è ancora una parte molto importante dei servizi segreti della Federazione Russa, soprattutto perché non è mai stato diviso come il KGB. Il KGB fu sciolto dopo aver aiutato un colpo di stato fallito nel 1991 contro l'allora presidente sovietico Mikhail Gorbaciov. Da allora è stato diviso in Servizi segreti esteri (SVR) e Servizio di sicurezza federale (FSB).
Il GRU è stato ufficialmente sciolto il 7 maggio 1992. Continua come principale direzione dell'intelligence delle forze armate russe.