Il nome del fiume deriva da una parola algonchina, lappihanne (registrata anche come toppehannock), che significa "fiume di acqua rapida, che sale" o "dove la marea scende e scorre", il nome usato dalla popolazione locale, la tribù dei Rappahannock.
Sebbene ci fossero stati alcuni piccoli villaggi lungo la bassa Rappahannock durante il primo periodo coloniale, l'insediamento della valle del fiume Rappahannock iniziò seriamente nei primi anni del XVIII secolo, su sollecitazione del governatore Alexander Spotswood. Il fiume James era stato rilevato fino alla sua linea di caduta, il punto in cui, geologicamente, il letto continentale del Piemonte incontra le rocce sedimentarie e i terreni alluvionali della pianura costiera. Spotswood ha favorito l'insediamento in una valle fluviale diversa da quella del James. Nel 1714 iniziò a cercare immigrati dalla Renania-Palatinato e dalla Svizzera per farli abitare su terreni da lui controllati nei pressi del punto di confluenza tra il Rappahannock e il Rapidan. Conosciuti come l'insediamento o gli insediamenti di Germanna, questi villaggi furono fondati per sfruttare i giacimenti di minerale di ferro della regione.
La battaglia del fiume Rappahannock fu combattuta sul fiume durante la guerra del 1812. Diciassette imbarcazioni britanniche, piene di centinaia di marines e marinai, catturarono quattro corsari americani.
Durante la guerra civile americana, il fiume, con pochi guadi comodi e meno ponti, forniva una barriera e una linea difensiva. Dietro questa linea le truppe avevano poca paura di un attacco dalla riva del fiume. Era una barriera particolarmente difficile da superare per le truppe dell'Unione nel tentativo di penetrare nel sud della Virginia. Il controllo del fiume cambiò molte volte durante il corso della guerra. Tra le battaglie significative combattute lungo il fiume ci sono la battaglia di Fredericksburg e la battaglia della stazione di Rappahannock. La linea difensiva del fiume fu infine aggirata da Ulysses S. Grant nella Campagna Wilderness (o Overland) del 1864, che si concluse con la vittoria finale dell'Unione.
In alcuni documenti del XVIII e XIX secolo, tra cui alcuni documenti della Guerra Civile, il fiume Rappahannock era chiamato "fiume Hedgeman". Un'indagine del 1736-1737 ha etichettato il Rappahannock sopra la foce del Rapidan come "Cannone", e più a monte è stato identificato come "fiume Hedgeman", dal nome di Nathaniel Hedgeman, uno dei primi coloni della regione.
