--- fontsize: 8pt format: beamer: include-in-header: ../ALM_Header.tex bibliography: ../ALM_Referenzen.bib --- # {.plain} \center ```{r, echo = F, out.width = "20%"} knitr::include_graphics("../OvGU_Logo.png") ``` \vspace{2mm} \huge Allgemeines Lineares Modell \vspace{6mm} \large BSc Psychologie, SoSe 2026 \vspace{5mm} Joram Soch # {.plain} \vfill \center \huge \textcolor{black}{(5) Modellformulierung} \vfill # \large Naturwissenschaft \vspace{8mm} ```{r, echo = F, out.width = "90%", fig.align = "center"} knitr::include_graphics("Abbildungen/wissenschaft.pdf") ``` # \vspace{1mm} \large Modellformulierung \vspace{-1mm} \begin{equation} y = X\beta + \varepsilon, \quad \varepsilon \sim N(0_n,\sigma^2I_n) \end{equation} \vspace{1mm} Modellschätzung \begin{equation} \hat{\beta} = (X^\mathrm{T} X)^{-1} X^\mathrm{T} y, \quad \hat{\sigma}^2 = \frac{1}{n-p} (y-X\hat{\beta})^\mathrm{T} (y-X\hat{\beta}) \end{equation} \vspace{1mm} Modellevaluation \begin{equation} T = \frac{c^\mathrm{T} \hat{\beta} - c^\mathrm{T} \beta_0}{\sqrt{\hat{\sigma}^2 c^\mathrm{T}(X^\mathrm{T} X)^{-1} c}}, \quad F = \frac{(\hat{\varepsilon}_0^\mathrm{T} \hat{\varepsilon}_0 - \hat{\varepsilon}^\mathrm{T} \hat{\varepsilon})/p_1}{\hat{\varepsilon}^\mathrm{T} \hat{\varepsilon}/(n-p)} \end{equation} # Standardprobleme Frequentistischer Inferenz \small \vspace{2mm} \noindent (1) Parameterschätzung Ziel der Parameterschätzung ist es, einen möglichst guten Tipp für wahre, aber unbekannte, Parameterwerte oder Funktionen dieser abzugeben, typischerweise mithilfe von Daten. \vspace{2mm} \noindent (2) Konfidenzintervalle Ziel der Bestimmung von Konfidenzintervallen ist es, basierend auf der angenommenen Verteilung der Daten eine quantitative Aussage über die mit Schätzwerten assoziierte Unsicherheit zu treffen. \vspace{2mm} \noindent (3) Hypothesentests Ziel des Hypothesentestens ist es, basierend auf der angenommenen Verteilung der Daten in einer möglichst zuverlässigen Form zu entscheiden, ob ein wahrer, aber unbekannter Parameterwert in einer von zwei sich gegenseitig ausschließenden Untermengen des Parameterraumes liegt. # \center ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/frequentistische_inferenz.pdf") ``` \center \footnotesize $\theta := (\beta,\sigma^2)$, \quad $\Theta := \mathbb{R}^p \times \mathbb{R}_{>0}$, \quad $\mathbb{P}_\theta(y) := \mathbb{P}_{\beta,\sigma^2}(y)$ \quad mit WDF \quad $p_{\beta,\sigma^2}(y) := N(y;X\beta,\sigma^2I_n)$ # \small Standardannahmen Frequentistischer Inferenz \footnotesize \setstretch{1.2} Gegeben sei das Allgemeine Lineare Modell. Es wird angenommen, dass ein vorliegender Datensatz eine der möglichen Realisierungen der Daten des Modells ist. Aus Frequentistischer Sicht kann man unendlich oft Datensätze aus einem Modell generieren und zu jedem Datensatz Schätzer oder Statistiken auswerten, z.B. den Betaparameterschätzer: \vspace{1mm} \begin{itemize} \item[] Datensatz (1) : $y^{(1)} = \left(y_1^{(1)}, y_2^{(1)}, ...,y_n^{(1)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(1)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(1)}$ \item[] Datensatz (2) : $y^{(2)} = \left(y_1^{(2)}, y_2^{(2)}, ...,y_n^{(2)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(2)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(2)}$ \item[] Datensatz (3) : $y^{(3)} = \left(y_1^{(3)}, y_2^{(3)}, ...,y_n^{(3)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(3)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(3)}$ \item[] Datensatz (4) : $y^{(4)} = \left(y_1^{(4)}, y_2^{(4)}, ...,y_n^{(4)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(4)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(4)}$ \item[] Datensatz (5) : $y^{(5)} = ...$ \end{itemize} \vspace{1mm} Um die Qualität statistischer Methoden zu beurteilen betrachtet die Frequentistische Statistik die Wahrscheinlichkeitsverteilungen von Schätzern und Statistiken unter Annahme der Datenverteilung. Was zum Beispiel ist die Verteilung von $\hat{\beta}^{(1)}$, $\hat{\beta}^{(2)}$, $\hat{\beta}^{(3)}$, $\hat{\beta}^{(4)}$, ..., also die Verteilung der Zufallsvariable $\hat{\beta} := (X^\mathrm{T} X)^{-1}X^\mathrm{T} y$? Wenn eine statistische Methode im Sinne der Frequentistischen Standardannahmen "gut" ist, dann heißt das also, dass sie bei häufiger Anwendung "im Mittel gut" ist. Im Einzelfall, also im Normalfall nur eines vorliegenden Datensatzes, kann sie auch "schlecht" sein. # Überblick \setstretch{2} Anwendungsbeispiele in Einheiten (5) -- (8) * Einstichproben-T-Test * Einfache lineare Regression Anwendungsbeispiele in Einheiten (9) -- (15) * Einstichproben-T-Tests * Zweistichproben-T-Tests * Einfaktorielle Varianzanalyse * Zweifaktorielle Varianzanalyse * Multiple Regression * Kovarianzanalyse # \large \setstretch{3} \vfill Allgemeine Theorie Unabhängige und identisch normalverteilte Zufallsvariablen Einfache lineare Regression Selbstkontrollfragen \vfill # \large \setstretch{3} \vfill **Allgemeine Theorie** Unabhängige und identisch normalverteilte Zufallsvariablen Einfache lineare Regression Selbstkontrollfragen \vfill # Allgemeine Theorie \small \begin{definition}[Allgemeines Lineares Modell] \justifying Es sei \begin{equation} \label{eq:alm} y = X\beta + \varepsilon, \end{equation} wobei \begin{itemize} \item $y$ ein $n$-dimensionaler beobachtbarer Zufallsvektor ist, der \textit{Daten} genannt wird, \item $X \in \mathbb{R}^{n \times p}$ mit $n>p$ eine vorgegebene Matrix ist, die \textit{Designmatrix} genannt wird, \item $\beta \in \mathbb{R}^p$ ein unbekannter Parametervektor ist, der \textit{Betaparametervektor} genannt wird, \item $\varepsilon$ ein $n$-dimensionaler nicht-beobachtbarer Zufallsvektor ist, der \textit{Zufallsfehler} genannt wird und für den angenommen wird, dass mit einem unbekannten Varianzparameter $\sigma^2>0$ gilt, dass \begin{equation} \varepsilon \sim N\left(0_n, \sigma^2I_n\right). \end{equation} \end{itemize} Dann heißt \eqref{eq:alm} \textit{Allgemeines Lineares Modell (ALM)}. \end{definition} \vspace{-1mm} \footnotesize Bemerkungen \vspace{-1mm} * Wir bezeichnen hier mit $y$ sowohl den Zufallsvektor, über dessen Wahrscheinlichkeitsverteilung wir Aussagen machen können (vormals $\upsilon$), als auch eine konkrete Realisierung dieses Zufallsvektors, die einen gegebenen Datensatz darstellt. Es wird also ab hier nicht mehr zwischen dem Zufallsvektor $\upsilon$ und seiner Realisierung $y$ unterschieden. In der Literatur wird das ALM in der überwiegenden Zahl der Fälle als $y = X\beta + \varepsilon$ beschrieben. # Allgemeine Theorie \footnotesize \setstretch{1.8} Bemerkungen (fortgeführt) \vspace{-1mm} * \justifying Wir nehmen durchgängig an, dass $X \in \mathbb{R}^{n \times p}$ vollen Spaltenrang hat, also dass $\mbox{rg}(X)=p$. * $y$ ist ein Zufallsvektor, weil er aus der Addition des Zufallsvektors $\varepsilon \in \mathbb{R}^n$ zu dem Vektor $X\beta \in \mathbb{R}^n$ resultiert. * Wir nennen $X\beta$ den \textit{deterministischen Modellaspekt} und $\varepsilon$ den \textit{probabilistischen Modellaspekt}. * $n \in \mathbb{N}$ bezeichnet durchgängig die Anzahl an Datenpunkten. * $p \in \mathbb{N}$ bezeichnet durchgängig die Anzahl an Betaparametern. * Die Gesamtzahl an Parametern des ALMs ist $p + 1$ ($p$ Betaparameterkomponenten und $1$ Varianzparameter). * Der Betaparametervektor wird auch \textit{Gewichtsvektor}, \textit{Effektvektor} oder \textit{Regressionskoeffizienten} genannt. * Weil der Kovarianzmatrixparameter von $\varepsilon$ als sphärisch angenommen wird, sind die $\varepsilon_1,...,\varepsilon_n$ unabhängige normalverteilte Zufallsvariablen mit identischem Varianzparameter. Weil zusätzlich der Erwartungswertparameter von $\varepsilon$ als $0_n$ angenommen wird, sind die $\varepsilon_1,...,\varepsilon_n$ auch identisch normalverteilte Zufallsvariablen. * Für jede Komponente $y_i, i = 1,...,n$ von $y$ impliziert \eqref{eq:alm} nach Definition des Matrixprodukts, dass \begin{equation} y_i = \sum_{j=1}^p x_{ij}\beta_j + \varepsilon_i = x_{i1}\beta_1 + \cdots + x_{ip}\beta_p + \varepsilon_i \quad \mbox{ mit } \quad \varepsilon_i \sim N\left(0,\sigma^2\right) \; , \end{equation} wobei $x_{ij} \in \mathbb{R}$ das $(ij)$te Element der Designmatrix $X$ bezeichnet. # Allgemeine Theorie Darstellung einer Designmatrix als Graustufen-Matrixplot (hier: $n = 20$, $p = 4$) ```{r, echo = F, eval = F} # Designmatrixerzeugung set.seed(1) # reproduzierbare Ergebnisse e = 0.5 # Wert für Null in Visualisierung de = 0.1 # vom Wert zu korrigierende Abweichung n_1 = 12 # Anzahl von Datenpunkten Gruppe 1 n_2 = 8 # Anzahl von Datenpunkten Gruppe 2 n = n_1 + n_2 # Anzahl von Datenpunkten x_1 = runif(n, -1, +1) # Werte von Prädiktor 1 x_1[x_1>e-de & x_1e-de & x_1e & x_1e & x_1e-de & x_2e-de & x_2e & x_2e & x_2 # Allgemeine Theorie Darstellung einer Designmatrix als Graustufen-Matrixplot (hier: $n = 20$, $p = 4$) \begin{equation} X := \begin{pmatrix} x_1 & x_2 & x_3 & x_4 \end{pmatrix} \in \mathbb{R}^{n \times 4} \end{equation} \begin{equation} \beta := \begin{pmatrix} \beta_1 \\ \beta_2 \\ \beta_3 \\ \beta_4 \end{pmatrix} \in \mathbb{R}^4 \end{equation} \begin{align} \begin{split} X \beta &= \begin{pmatrix} x_1 & x_2 & x_3 & x_4 \end{pmatrix} \begin{pmatrix} \beta_1 \\ \beta_2 \\ \beta_3 \\ \beta_4 \end{pmatrix} \\ &= \beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 + \beta_4 x_4 \quad \in \mathbb{R}^{n \times 1} \end{split} \end{align} # Allgemeine Theorie \footnotesize \begin{theorem}[Datenverteilung des Allgemeinen Linearen Modells] \justifying \normalfont Es sei \begin{equation} y = X\beta + \varepsilon \quad \mbox{mit} \quad \varepsilon \sim N(0_n,\sigma^2I_n) \end{equation} das ALM. Dann gilt \begin{equation} y \sim N(\mu,\sigma^2I_n) \quad \mbox{mit} \quad \mu := X\beta \in \mathbb{R}^n. \end{equation} \end{theorem} \underline{Beweis} Das Theorem zur linear-affinen Transformation multivariater Normalverteilungen besagt: \begin{equation} \xi \in \mathbb{R}^n, \; \xi \sim N(\mu, \Sigma), \; A \in \mathbb{R}^{m \times n}, \; b \in \mathbb{R}^m \; \Rightarrow \; \upsilon := A\xi + b \sim N(A\mu + b, A \Sigma A^\mathrm{T}) \; . \end{equation} Damit gilt für $\varepsilon \sim N(0_n,\sigma^2I_n)$ und $y := I_n\varepsilon + X\beta$, dass \begin{equation} y \sim N\left(I_n0_n + X\beta, I_n (\sigma^2 I_n) I_n^\mathrm{T}\right) = N(X\beta, \sigma^2 I_n) = N(\mu,\sigma^2 I_n) \quad \mbox{mit} \quad \mu := X\beta \in \mathbb{R}^n \; . \end{equation} $\hfill\Box$ \vspace{1mm} Bemerkungen \vspace{-1mm} * \justifying Im ALM sind die Daten $y$ also ein $n$-dimensionaler normalverteilter Zufallsvektor mit Erwartungswertparameter $\mu = X\beta \in \mathbb{R}^n$ und Kovarianzmatrixparameter $\sigma^2I_n \in \mathbb{R}^{n \times n}$. * Die Komponenten $y_1,...,y_n$ von $y$, also die Datenpunkte, sind damit unabhängige, aber im Allgemeinen nicht identisch verteilte, normalverteilte Zufallsvariablen der Form $y_i \sim N\left(\mu_i,\sigma^2\right)$ für $i = 1,...,n$. # Allgemeine Theorie ```{r, echo = F, out.width = "90%", fig.align = "center"} knitr::include_graphics("Abbildungen/ALMi_1.pdf") ``` # Allgemeine Theorie ```{r, echo = F, out.width = "90%", fig.align = "center"} knitr::include_graphics("Abbildungen/ALMi_2.pdf") ``` # \large \setstretch{3} \vfill Allgemeine Theorie **Unabhängige und identisch normalverteilte Zufallsvariablen** Einfache lineare Regression Selbstkontrollfragen \vfill # Unabhängige und identisch normalverteilte Zufallsvariablen \small Wir betrachten das Szenario von $n$ unabhängigen und identisch normalverteilten Zufallsvariablen mit Erwartungswertparameter $\mu \in \mathbb{R}$ und Varianzparameter $\sigma^2$, \begin{equation}\label{eq:iid} y_i \sim N(\mu,\sigma^2) \quad \mbox{für} \quad i = 1,...,n. \end{equation} Dann gilt, dass \eqref{eq:iid} äquivalent ist zu \begin{equation} y_i = \mu + \varepsilon_i, \; \varepsilon_i \sim N(0,\sigma^2) \quad \mbox{für} \quad i = 1,...,n \quad \mbox{mit unabhängigen} \quad \varepsilon_i. \end{equation} In Matrixschreibweise ist dies wiederum äquivalent zu \begin{equation} y \sim N(X\beta,\sigma^2 I_n) \quad \mbox{mit} \quad X := 1_n \in \mathbb{R}^{n \times 1}, \; \beta := \mu \in \mathbb{R}^1, \; \sigma^2 > 0. \end{equation} Wir kennen dieses Modell bereits (siehe Einheit (9) in *Wahrscheinlichkeitstheorie und Frequentistische Inferenz*) und haben es bisher geschrieben als \begin{equation} y_1,...,y_n \sim N(\mu,\sigma^2) \quad \mbox{mit} \quad (\mu,\sigma^2) \in \mathbb{R} \times \mathbb{R}_{>0}. \end{equation} # Unabhängige und identisch normalverteilte Zufallsvariablen \footnotesize ```{r, echo = T} # Modellformulierung library(MASS) # multivariate Normalverteilung set.seed(1) # reproduzierbare Ergebnisse n = 12 # Anzahl von Datenpunkten p = 1 # Anzahl von Betaparametern X = matrix(rep(1,n), nrow = n) # n x p Designmatrix I_n = diag(n) # n x n Einheitsmatrix beta = 2 # wahrer, aber unbekannter Betaparameter sigsqr = 1 # wahrer, aber unbekannter Varianzparameter # Datenrealisierung y = mvrnorm(1, X %*% beta, sigsqr*I_n) # eine Realisierung des n-dimensionalen ZVs y print(y) ``` # Unabhängige und identisch normalverteilte Zufallsvariablen Designmatrix des Modells u.i.nv. Zufallsvariablen ($n = 12$, $p = 1$) ```{r, echo = F, eval = F} # Designmatrixerzeugung n = 12 # Anzahl von Datenpunkten X = matrix(rep(1,n), nrow = n) # n x p Designmatrix Xp = X # Abbildungsparameter library(plot.matrix) graphics.off() dev.new() par( family = "sans", mar = c(1,1,1,1), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 2) # Designmatrix plot(Xp, col = gray(seq(0, 1, length.out = 256)), border = "black", xlab = '', ylab = '', main = '', breaks = seq(-1, 1, length.out = 257), key = NULL, axis.col = NULL, axis.row = NULL, asp = 1) # Speichern dev.copy2pdf( file = "Abbildungen/norm_iid_X.pdf", width = 10, height = 10) ``` \vspace{2mm} ```{r, echo = F, out.width = "60%", fig.align = "center"} knitr::include_graphics("Abbildungen/norm_iid_X.pdf") ``` # \large \setstretch{3} \vfill Allgemeine Theorie Unabhängige und identisch normalverteilte Zufallsvariablen **Einfache lineare Regression** Selbstkontrollfragen \vfill # Einfache lineare Regression \small Wir betrachten das Modell der einfachen linearen Regression (siehe Einheit (1) in *Allgemeines Lineares Modell*), das wie folgt gegeben ist: \begin{equation}\label{eq:slr} y_i = \beta_0 + \beta_1 x_i + \varepsilon_i, \; \varepsilon_i \sim N(0,\sigma^2) \quad \mbox{für} \quad i = 1,...,n, \end{equation} Wir haben bereits gesehen, dass dieses Modell folgende Datenverteilung besitzt: \begin{equation} y_i \sim N(\mu_i,\sigma^2) \quad \mbox{mit} \quad \mu_i := \beta_0 + \beta_1 x_i \quad \mbox{für} \quad i = 1,...,n. \end{equation} In Matrixschreibweise ist dies wiederrum äquivalent zu \begin{equation} y \sim N(X\beta,\sigma^2 I_n) \quad \mbox{mit} \quad X := \begin{pmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{pmatrix} \in \mathbb{R}^{n \times 2}, \; \beta := \begin{pmatrix} \beta_0 \\ \beta_1 \end{pmatrix} \in \mathbb{R}^2, \; \sigma^2 > 0. \end{equation} # Einfache lineare Regression \footnotesize ```{r, echo = T} # Modellformulierung library(MASS) # multivariate Normalverteilung set.seed(1) # reproduzierbare Ergebnisse n = 10 # Anzahl von Datenpunkten p = 2 # Anzahl von Betaparametern x = 1:n # Werte des Prädiktors X = matrix(c(rep(1,n),x), nrow = n) # n x p Designmatrix I_n = diag(n) # n x n Einheitsmatrix beta = matrix(c(0,1), nrow = p) # wahrer, aber unbekannter Betaparameter sigsqr = 1 # wahrer, aber unbekannter Varianzparameter # Datenrealisierung y = mvrnorm(1, X %*% beta, sigsqr*I_n) # eine Realisierung des n-dimensionalen ZVs y print(y) ``` # Einfache lineare Regression Designmatrix des Modells der einfachen linearen Regression ($n = 10$, $p = 2$) ```{r, echo = F, eval = F} # Designmatrixerzeugung n = 10 # Anzahl von Datenpunkten p = 2 # Anzahl von Betaparametern x = 1:n # Werte des Prädiktors X = matrix(c(rep(1,n),x), nrow = n) # n x p Designmatrix Xp = X Xp[,2] = Xp[,2]/max(Xp[,2]) # Abbildungsparameter library(plot.matrix) graphics.off() dev.new() par( family = "sans", mar = c(1,1,1,1), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 2) # Designmatrix plot(Xp, col = gray(seq(0, 1, length.out = 256)), border = "black", xlab = '', ylab = '', main = '', breaks = seq(-1, 1, length.out = 257), key = NULL, axis.col = NULL, axis.row = NULL, asp = 1) # Speichern dev.copy2pdf( file = "Abbildungen/elr_X.pdf", width = 10, height = 10) ``` \vspace{2mm} ```{r, echo = F, out.width = "60%", fig.align = "center"} knitr::include_graphics("Abbildungen/elr_X.pdf") ``` # Einfache lineare Regression \vspace{2mm} \center \normalsize \textcolor{blue}{$\bullet$} $x_i$ \hspace{4mm} \textcolor{darkgrey}{$\bullet$} $X\beta$ \mbox{ für } $\beta_0 := 0$, $\beta_1 := 1$ \hspace{4mm} \textcolor{black}{$\bullet$} $(x_i,y_i)$ ```{r, echo = F, eval = F} graphics.off() dev.new() par( family = "sans", mfcol = c(1,1), pty = "m", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", xpd = TRUE, font.main = 1, cex = 1, cex.main = 1.2) plot(x, X %*% beta, type = "b", lty = 2, pch = 16, col = "grey", xlab = "x", ylab = "y", xlim = c(0,11), ylim = c(-3,13)) # Regressorwerte points(x, rep(-3, n), col = "blue", pch = 16) # Datenwerte points(x, y, col = "black", pch = 16) # Speichern dev.copy2pdf( file = "Abbildungen/elr.pdf", width = 5, height = 4) ``` \vspace{-2mm} ```{r, echo = F, out.width = "90%", fig.align = "center"} knitr::include_graphics("Abbildungen/elr.pdf") ``` # \large \setstretch{3} \vfill Allgemeine Theorie Unabhängige und identisch normalverteilte Zufallsvariablen Einfache lineare Regression **Selbstkontrollfragen** \vfill # Selbstkontrollfragen \footnotesize \setstretch{2.5} 1. Erläutern Sie das naturwissenschaftliche Paradigma. 1. Erläutern Sie die Standardprobleme der Frequentistischen Inferenz. 1. Geben Sie die Definition des Allgemeinen Linearen Modells wieder. 1. Erläutern Sie die deterministischen und probabilistischen Aspekte des ALMs. 1. Wieviele skalare Parameter hat das ALM mit sphärischer Kovarianzmatrix? 1. Warum sind die Komponenten des ALM Zufallsfehlers unabhängig und identisch verteilt? 1. Geben Sie das Theorem zur Datenverteilung des Allgemeinen Linearen Modells wieder. 1. Sind die Komponenten des ALM-Datenvektors immer unabhängig und identisch verteilt? 1. Schreiben Sie das Szenario von $n$ unabhängig und identisch normalverteilten Zufallsvariablen in ALM-Form. 1. Schreiben Sie das Szenario der einfachen linearen Regression in ALM-Form.