Gli errori statistici e i residui si verificano perché la misurazione non è mai esatta.
Non è possibile effettuare una misurazione esatta, ma è possibile dire quanto sia accurata una misurazione. Si può misurare la stessa cosa più e più volte, e raccogliere tutti i dati insieme. Questo ci permette di fare statistiche sui dati. Ciò che si intende per errori e residui è la differenza tra il valore osservato o misurato e il valore reale, che è sconosciuto.
Se esiste una sola variabile casuale, la differenza tra errori statistici e residui è la differenza tra la media della popolazione rispetto alla media del campione (osservato). In questo caso il residuo è la differenza tra ciò che dice la distribuzione delle probabilità e ciò che è stato effettivamente misurato.
Supponiamo che ci sia un esperimento per misurare l'altezza di uomini di 21 anni da una certa area. La media della distribuzione è di 1,75 m. Se un uomo scelto a caso è alto 1,80 m, l'errore "(statistico)" è di 0,05 m (5 cm); se è alto 1,70, l'errore è di -5 cm.
Un errore residuo (o errore di montaggio), invece, è una stima osservabile dell'errore statistico non osservabile. Il caso più semplice riguarda un campione casuale di n uomini le cui altezze sono misurate. La media del campione viene utilizzata come stima della media della popolazione. Allora abbiamo:
- La differenza tra l'altezza di ogni uomo nel campione e la media della popolazione non osservabile è un errore statistico, e
- La differenza tra l'altezza di ogni uomo nel campione e la media del campione osservabile è un residuo.
La somma dei residui all'interno di un campione casuale deve essere pari a zero. I residui non sono quindi indipendenti. La somma degli errori statistici all'interno di un campione casuale non deve essere necessariamente pari a zero; gli errori statistici sono variabili casuali indipendenti se gli individui sono scelti in modo indipendente dalla popolazione.
In sintesi: