Nell'anno 1086, 15 famiglie e 3 schiavi vivevano a Hartley. Prima della peste nera (1348) circa 150 persone vivevano qui. 53 persone hanno pagato le tasse nel 1377, il che significa che circa 85 vivevano qui allora. Nel 1392 un documento ci dice che c'era una casa principale, dove viveva un manager. Egli coltivava la terra per il proprietario. Questa terra era chiamata Hartley Court. Altre persone che possedevano terra a Hartley, dovevano andare alla corte del proprietario e fare qualche altro lavoro per lui. Ci fu una battaglia a Hartley Wood nel 1554, tra sostenitori e oppositori della regina Maria I d'Inghilterra. I suoi sostenitori vinsero. Hartley nel 1650 era come il posto nel 1850, perché quasi tutti gli edifici erano lì allora. Nel 1770 lo scrittore Edward Hasted disse che non molte persone vanno a Hartley.
Alcuni edifici furono costruiti nel 1700 (come Hartley House e Yew Cottage). Nel 1841 c'erano 224 persone che vivevano a Hartley. Quasi tutti lavoravano nelle fattorie. C'era anche un fabbricante di ruote, un lavoratore di metallo e venditori di bevande.
La crescita di Hartley iniziò dopo che la ferrovia arrivò a Longfield nel 1876, e l'acqua tramite tubature arrivò nel 1902. Successivamente due compagnie - Payne, Trapps and Co Ltd, e Small Owners Limited vendettero terreni per case e piccole fattorie. Dopo il 1945 ci furono molte nuove case e strade.
