Regresja

Jest to metoda statystyczna, która:

1. Kategoryzuje i modeluje zależności pomiędzy badanymi przez nas wielkościami danych.
2. Jest naszą intuicją, gdy mamy oszacować nieznane wartości danych za pomocą znanych wartości oraz na podstawie zbadanych nam zależności (patrz pkt. 1.).
3. Szacuje warunkową wartość oczekiwaną zmiennej losowej Y dla odpowiednich zmiennych X.

Ze względu na liczbę predyktorów regresję możemy dokonać podziału na:

1. regresję jednoczynnikowa, czyli badającą zależność pomiędzy zmienną zależną i jedną zmienną niezależną
2. regresję wieloczynnikową, czyli badającą zależnośc pomiędzy zmienną zależna i większą ilością zmiennych niezależnych.

Jednoczynnikowa regresja liniowa

Regresję liniową obserwujemy, gdy zakładamy, że pomiędzy zmienną zależną, a niezależną istnieje związak dający opisać się z dużą dokładnością za pomocą funkcji liniowej.

Wprowadźmy następujące oznaczenia:

$Y$ - zmienna objaśniana (zależna)

$X$ - zminna objaśniająca (predyktor)

$\alpha,~\beta$ - nieznane parametry, które będziemy estymować

$y_1, y_2, ..., y_n$ - empiryczne (obserwowane) wartości zmiennej objaśnianej Y

$x_1, x_2, ..., x_n$ - empiryczne (obserowane) wartości zmiennej objaśniającej X

$\epsilon$ - czynnik losowy

Dla tak przyjętych oznaczeń model regresji liniowej wyraża się wzorem:

$Y= \alpha + \beta X +\epsilon,$

gdzie

$E(\epsilon)=0$ i $\sigma^2(\epsilon)=const.$

Estymatory (wartości szacunkowe) $\hat{\alpha}$ i $\hat{\beta}$ parametrów $\alpha$ i $\beta$ wyznaczyć możemy korzystając z Medody Najmniejszych Kwadratów - MNK.

Idea tej metody polega na takim wyznaczeniu ocen parametrów $\alpha$ oraz $\beta$, aby suma kwadratów odchyleń zaobserwowanych wartości zmiennej zależnej $Y$ od jej warrości uzyskanych z modelu (teoretycznych) była najmniejsza, tzn.

$\phi=\sum_{i=1}^n [y_i - (\hat{\alpha}+\hat{\beta}x_i)]^2 ~\rightarrow min$

Warunkiem koniecznym, aby funkcja osiągnęła ekstremum jest zerowanie się obydwu pochodnych cząstkowych. Dlatego, aby wyznaczyć poszukiwane minimum obliczmy i przyrównajmy do 0 pochodne cząstkowe obliczone względem $\hat{\alpha}$ oraz $\hat{\beta}$.

Wpierw jednak przekształćmy funkcję $\phi$ do prostszej postaci:

$\phi=\sum_{i=1}^n[y_i^2-2y_i(\hat{\alpha}+\hat{\beta}x_i)+(\hat{\alpha}+\hat{\beta}x_i)^2]=\sum_{i=1}^n (y_i^2-2\hat{\alpha}y_i-2\hat{\beta}x_iy_i+\hat{\alpha}^2+2\hat{\alpha}\hat{\beta}x_i+\hat{\beta}^2x_i^2)$

Korzystając z rozdzielności mnożenia względem dodawania oraz grupując odpowiednie składniki otrzymujemy:

$\phi=\sum_{i=1}^n y_i^2-2\hat{\alpha}\sum_{i=1}^n y_i-2\hat{\beta}\sum_{i=1}^n x_iy_i+n\hat{\alpha}^2+2\hat{\alpha}\hat{\beta}\sum_{i=1}^nx_i+\hat{\beta}^2\sum_{i=1}^nx_i^2.$

Przy tej postaci funkcji $\phi$ łatwo możemy obliczyć pochodne cząstkowe:

$\frac{\partial\phi}{\partial\hat{\alpha}}=2\sum_{i=1}^ny_i+2n\hat{\alpha}+2\hat{\beta}\sum_{i=1}^nx_i$

$\frac{\partial\phi}{\partial\hat{\beta}}=-2\sum_{i=1}^nx_iy_i+2\hat{\alpha}\sum_{i=1}^nx_i+2\hat{\beta}\sum_{i=1}^nx_i^2$

Przyrównując pochodne do 0 otrzymujemy układ równań:

$\left\{\begin{array}{l}0=2\sum_{i=1}^ny_i+2n\hat{\alpha}+2\hat{\beta}\sum_{i=1}^nx_i \\0=-2\sum_{i=1}^nx_iy_i+2\hat{\alpha}\sum_{i=1}^nx_i+2\hat{\beta}\sum_{i=1}^nx_i^2\end{array}\right.$

Dla uproszczenia zapisu układ dzielimy przez 2, a następnie rozwiązujemy metodą podstawienia:

$\left\{\begin{array}{l}\hat{\alpha}=\frac{\sum_{i=1}^ny_i-\hat{\beta}\sum_{i=1}^nx_i}{n} \\0=-\sum_{i=1}^nx_iy_i+\hat{\alpha}\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2\end{array}\right.$

Wstawiając tak wyliczone $\hat{\alpha}$ do równania drugiego dostajemy:

$0=-\sum_{i=1}^nx_iy_i+\frac{\sum_{i=1}^ny_i-\hat{\beta}\sum_{i=1}^nx_i}{n}\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2$

$-\frac{\hat{\beta}}{n}\sum_{i=1}^nx_i\sum_{i=1}^nx_i+\hat{\beta}\sum_{i=1}^nx_i^2=\sum_{i=1}^nx_iy_i-\frac{1}{n}\sum_{i=1}^ny_i\sum_{i=1}^nx_i$,

co daje nam w wyniku:

$\hat{\beta}=\frac{\sum_{i=1}^nx_iy_i-\frac{1}{n}\sum_{i=1}^ny_i\sum_{i=1}^nx_i}{\sum_{i=1}^nx_i^2-\frac{1}{n}\sum_{i=1}^nx_i\sum_{i=1}^nx_i}$

Korzystając z wzorów na średnią arytmetyczną $\overline{x}=\sum_{i=1}^nx_i$ oraz  $\overline{y}=\sum_{i=1}^ny_i$ i dokonując odpowiednich podstawień otrzymujemy rozwiązanie:

$\left\{\begin{array}{l}\hat{\beta}=\frac{\sum_{i=1}^nx_iy_i-n\overline{x}~\overline{y}}{\sum_{i=1}^nx_i^2-n\overline{x}^2}\\ \hat{\alpha}=\overline{y}-\hat{\beta}\overline{x}\end{array}\right.$

Warunkiem wystarczającym, aby w punkcie $(\hat{\alpha},\hat{\beta})$ istniało minimum funkcji $\phi$ jest  nieujemny znak pochodnych $\frac{\partial^2\phi}{\partial^2\hat{\alpha}}$ oraz $\frac{\partial^2\phi}{\partial^2\hat{\beta}}$. Pochodne te wynoszą odpowiednio $2n$ oraz $\sum_{i=1}^2x_i^n$, a zatem, rozwiązanie $(\hat{\alpha},\hat{\beta})$ jest estymatorem $(\alpha,\beta)$ wyznaczonym Metodą Najmniejszych Kwadratów.