La regressione lineare è un modo per spiegare la relazione tra una variabile dipendente e una o più variabili esplicative utilizzando una linea retta. È un caso particolare di analisi della regressione.

La regressione lineare è stato il primo tipo di analisi di regressione da studiare rigorosamente. Ciò è dovuto al fatto che i modelli che dipendono linearmente dai loro parametri sconosciuti sono più facili da adattare rispetto ai modelli che non sono in relazione lineare con i loro parametri. Inoltre, le proprietà statistiche degli stimatori risultanti sono più facili da determinare.

La regressione lineare ha molti usi pratici. La maggior parte delle applicazioni rientra in una delle seguenti due grandi categorie:

  • La regressione lineare può essere usata per adattare un modello predittivo ad un insieme di valori osservati (dati). Questo è utile, se l'obiettivo è la previsione, o la previsione, o la riduzione. Dopo aver sviluppato un tale modello, se viene dato un valore addizionale di X senza il suo valore di y, il modello adattato può essere usato per fare una previsione del valore di y.
  • Data una variabile y e un certo numero di variabili X1, ..., Xp che possono essere correlate a y, l'analisi di regressione lineare può essere applicata per quantificare la forza della relazione tra y e l'Xj, per valutare quale Xj non ha alcuna relazione con y, e per identificare quali sottoinsiemi dell'Xj contengono informazioni ridondanti su y.

I modelli di regressione lineare cercano di ridurre al minimo la distanza verticale tra la linea e i punti dati (ad es. i residui). Questo si chiama "adattare la linea ai dati". Spesso, i modelli di regressione lineare cercano di minimizzare la somma dei quadrati dei residui (minimi quadrati), ma esistono altri modi di adattamento. Essi includono la minimizzazione della "mancanza di adattamento" in qualche altra norma (come con la regressione delle deviazioni meno assolute), o la minimizzazione di una versione penalizzata della funzione di perdita dei minimi quadrati come nella regressione di cresta. L'approccio dei minimi quadrati può anche essere usato per adattare modelli che non sono lineari. Come indicato sopra, i termini "minimi quadrati" e "modello lineare" sono strettamente collegati, ma non sono sinonimi.