La prima forma di gemellaggio in Europa fu tra la città tedesca di Paderborn e la città francese di Le Mans nell'836, anche se questo non fu ufficialmente stabilito come un moderno accordo di gemellaggio fino al 1967.
Coventry, Regno Unito, fu la prima città in assoluto a "gemellarsi" con un'altra città (Stalingrado, Unione Sovietica) e iniziò così la pratica moderna del gemellaggio.
Dopo la seconda guerra mondiale, il gemellaggio era un modo per avvicinare i popoli europei e promuovere progetti transfrontalieri e la pace.
Per esempio, Coventry si è gemellata con Dresda come atto di pace e riconciliazione, essendo state entrambe le città pesantemente bombardate durante la guerra. Ogni paese gemellato è rappresentato in un rione specifico della città e in ogni rione ha un giardino della pace dedicato a quella città gemellata.
Un altro primo esempio di gemellaggio risale al 1947, quando la Bristol Corporation (poi Bristol City Council) inviò cinque "cittadini di spicco" in una missione di buona volontà ad Hannover.
Il gemellaggio è più popolare in Europa che altrove, ma l'idea si è ora diffusa in altri continenti.
Dal 1989, l'Unione Europea ha un programma di sostegno ai gemellaggi tra città. Nel 2003 un budget annuale di circa 12 milioni di euro è stato dato a circa 1.300 progetti.
