L'Haut-Rhin è uno degli originari 83 dipartimenti creati durante la rivoluzione francese il 4 marzo 1790. È stato diviso in tre distretti: Altkirch, Belfort e Colmar, con Colmar come capitale.
Nel 1800, con la creazione degli arrondissement in Francia, i tre distretti furono cambiati in cinque arrondissement: Colmar, Altkirch, Belfort, Delémont e Porrentruy. Gli arrondissement Delémont e Porrentruy furono eliminati nel 1814 e trasferiti alla Svizzera.
La sottoprefettura di Altkirch fu trasferita a Mulhouse nel 1857.
Il dipartimento Haut-Rhin fu eliminato nel 1871 quando il territorio divenne parte della Germania, tranne una parte che forma il Territorio di Belfort.
Nel 1919, Haut-Rhin è di nuovo un dipartimento quando il territorio è diventato parte della Francia con gli arrondissement Colmar-Ville, Colmar-Campagne, Altkirch, Guebwiller, Mulhouse, Ribeauvillé e Thann. La sua capitale è Colmar.
Gli arrondissement Colmar-Ville e Colmar-Campagne furono uniti nel 1934 per formare l'arrondissement di Colmar.
L'arrondissement di Guebwiller è stato eliminato nel 2015 e il suo territorio combinato con Tharn per formare l'arrondissement di Thann-Guebwiller. Nello stesso anno, anche l'arrondissement di Ribeauvillé è stato eliminato e il suo territorio combinato con Colmar per formare l'arrondissement di Colmar-Ribeauvillé.
