---
fontsize: 8pt
format:
  beamer:
    include-in-header: ../ALM_Header.tex
bibliography: ../ALM_Referenzen.bib
---

```{r, include = F}
source("../ALM_Common.R")
```

# {.plain}
<!-- Vorlesungstitel -->
\center
```{r, echo = F, out.width = "20%"}
knitr::include_graphics("../OvGU_Logo.png")
```

\vspace{2mm}
\huge
Allgemeines Lineares Modell

\vspace{6mm}
\large
BSc Psychologie, SoSe 2024

\vspace{5mm}
Joram Soch


<!-- Sitzung 5: Modellformulierung -->
# {.plain}

\vfill
\center
\huge
\textcolor{black}{(5) Modellformulierung}
\vfill


<!-- Überblick: Naturwissenschaft -->
#

\large
Naturwissenschaft

\vspace{8mm}
```{r, echo = F, out.width = "90%"}
knitr::include_graphics("Abbildungen/wissenschaft.pdf")
```


<!-- Überblick: Modellformulierung, Modellschätzung, Modellevaluation -->
#

\vspace{1mm}
\large

Modellformulierung
\vspace{-1mm}

\begin{equation}
y = X\beta + \varepsilon, \quad
\varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
\vspace{1mm}

Modellschätzung

\begin{equation}
\hat{\beta} = (X^\mathrm{T} X)^{-1} X^\mathrm{T} y, \quad
\hat{\sigma}^2 = \frac{1}{n-p} (y-X\hat{\beta})^\mathrm{T} (y-X\hat{\beta})
\end{equation}
\vspace{1mm}

Modellevaluation

\begin{equation}
T = \frac{c^\mathrm{T} \hat{\beta} - c^\mathrm{T} \beta_0}{\sqrt{\hat{\sigma}^2 c^\mathrm{T}(X^\mathrm{T} X)^{-1} c}}, \quad
F = \frac{(\hat{\varepsilon}_0^\mathrm{T} \hat{\varepsilon}_0 - \hat{\varepsilon}^\mathrm{T} \hat{\varepsilon})/p_1}{\hat{\varepsilon}^\mathrm{T} \hat{\varepsilon}/(n-p)}
\end{equation}


<!-- Überblick: Standardprobleme Frequentistischer Inferenz -->
#

Standardprobleme Frequentistischer Inferenz

\small
\vspace{2mm}
\noindent (1) Parameterschätzung

Ziel der Parameterschätzung ist es, einen möglichst guten Tipp für wahre, aber unbekannte, Parameterwerte oder Funktionen dieser abzugeben, typischerweise mithilfe von Daten.

\vspace{2mm}
\noindent (2) Konfidenzintervalle

Ziel der Bestimmung von Konfidenzintervallen ist es, basierend auf der angenommenen Verteilung der Daten eine quantitative Aussage über die mit Schätzwerten assoziierte Unsicherheit zu treffen.

\vspace{2mm}
\noindent (3) Hypothesentests

Ziel des Hypothesentestens ist es, basierend auf der angenommenen Verteilung der Daten in einer möglichst zuverlässigen Form zu entscheiden, ob ein wahrer, aber unbekannter Parameterwert in einer von zwei sich gegenseitig ausschließenden Untermengen des Parameterraumes liegt.


<!-- Überblick: Standardprobleme Frequentistischer Inferenz -->
#

\center
```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/frequentistische_inferenz.pdf")
```

\center
\footnotesize
$\theta := (\beta,\sigma^2)$, \quad
$\Theta := \mathbb{R}^p \times \mathbb{R}_{>0}$, \quad
$\mathbb{P}_\theta(y) := \mathbb{P}_{\beta,\sigma^2}(y)$ \quad
mit WDF \quad
$p_{\beta,\sigma^2}(y) := N(y;X\beta,\sigma^2I_n)$


<!-- Standardannahmen Frequentistischer Inferenz -->
#

\small
Standardannahmen Frequentistischer Inferenz

\footnotesize
\setstretch{1.2}
Gegeben sei das Allgemeine Lineare Modell. Es wird angenommen, dass ein vorliegender Datensatz eine der möglichen Realisierungen der Daten des Modells ist. Aus Frequentistischer Sicht kann man unendlich oft Datensätze aus einem Modell generieren und zu jedem Datensatz Schätzer oder Statistiken auswerten, z.B. den Betaparameterschätzer:

\vspace{1mm}
\begin{itemize}
\item[] Datensatz (1) : $y^{(1)} = \left(y_1^{(1)}, y_2^{(1)}, ...,y_n^{(1)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(1)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(1)}$
\item[] Datensatz (2) : $y^{(2)} = \left(y_1^{(2)}, y_2^{(2)}, ...,y_n^{(2)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(2)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(2)}$
\item[] Datensatz (3) : $y^{(3)} = \left(y_1^{(3)}, y_2^{(3)}, ...,y_n^{(3)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(3)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(3)}$
\item[] Datensatz (4) : $y^{(4)} = \left(y_1^{(4)}, y_2^{(4)}, ...,y_n^{(4)}\right)^\mathrm{T}$ \quad mit \quad $\hat{\beta}^{(4)} = (X^\mathrm{T} X)^{-1}X^\mathrm{T} y^{(4)}$
\item[] Datensatz (5) : $y^{(5)} = ...$
\end{itemize}

\vspace{1mm}
Um die Qualität statistischer Methoden zu beurteilen betrachtet die Frequentistische Statistik die Wahrscheinlichkeitsverteilungen von Schätzern und Statistiken unter Annahme der Datenverteilung. Was zum Beispiel ist die Verteilung von $\hat{\beta}^{(1)}$, $\hat{\beta}^{(2)}$, $\hat{\beta}^{(3)}$, $\hat{\beta}^{(4)}$, ..., also die
Verteilung der Zufallsvariable $\hat{\beta} := (X^\mathrm{T} X)^{-1}X^\mathrm{T} y$? Wenn eine statistische Methode im Sinne der Frequentistischen Standardannahmen "gut" ist, dann heißt das also, dass sie bei häufiger Anwendung "im Mittel gut" ist. Im Einzelfall, also im Normalfall nur eines vorliegenden Datensatzes, kann sie auch "schlecht" sein.


<!-- Überblick: Anwendungsbeispiele -->
# Überblick

\setstretch{2}

Anwendungsbeispiele in Einheiten (5) -- (8)

* Einstichproben-T-Test
* Einfache lineare Regression

Anwendungsbeispiele in Einheiten (9) -- (14)

* Zweistichproben-T-Tests
* Einfaktorielle Varianzanalyse
* Zweifaktorielle Varianzanalyse
* Multiple Regression
* Kovarianzanalyse


<!-- Inhaltsverzeichnis -->
#

\large
\setstretch{3}
\vfill

Allgemeine Theorie

Unabhängige und identisch normalverteilte Zufallsvariablen

Einfache lineare Regression

Selbstkontrollfragen

\vfill


<!-- Abschnitt 1: Allgemeine Theorie -->
#

\large
\setstretch{3}
\vfill

**Allgemeine Theorie**

Unabhängige und identisch normalverteilte Zufallsvariablen

Einfache lineare Regression

Selbstkontrollfragen

\vfill


<!-- Definition: Allgemeines Lineares Modell -->
# Allgemeine Theorie

\small
\begin{definition}[Allgemeines Lineares Modell]

\justifying
Es sei
\begin{equation} \label{eq:alm}
y = X\beta + \varepsilon, 
\end{equation}

wobei
\begin{itemize}

\item $y$ ein $n$-dimensionaler beobachtbarer Zufallsvektor ist, der \textit{Daten} genannt wird,

\item $X \in \mathbb{R}^{n \times p}$ mit $n>p$ eine vorgegebene Matrix ist, die \textit{Designmatrix} genannt wird,

\item $\beta \in \mathbb{R}^p$ ein unbekannter Parametervektor ist, der \textit{Betaparametervektor} genannt wird,

\item $\varepsilon$ ein $n$-dimensionaler nicht-beobachtbarer Zufallsvektor ist, der \textit{Zufallsfehler} genannt wird und für den angenommen wird, dass
mit einem unbekannten Varianzparameter $\sigma^2>0$ gilt, dass
\begin{equation}
\varepsilon \sim N\left(0_n, \sigma^2I_n\right).
\end{equation}

\end{itemize}

Dann heißt \eqref{eq:alm} \textit{Allgemeines Lineares Modell (ALM)}.

\end{definition}

\vspace{-1mm}
\footnotesize
Bemerkungen
\vspace{-1mm}

* Wir bezeichnen hier mit $y$ sowohl den Zufallsvektor, über dessen Wahrscheinlichkeitsverteilung wir Aussagen machen können (vormals $\upsilon$), als auch eine konkrete Realisierung dieses Zufallsvektors, die einen gegebenen Datensatz darstellt. Es wird also ab hier nicht mehr zwischen dem Zufallsvektor $\upsilon$ und seiner Realisierung $y$ unterschieden. In der Literatur wird das ALM in der überwiegenden Zahl der Fälle als $y = X\beta + \varepsilon$ beschrieben.


<!-- Bemerkungen -->
# Allgemeine Theorie

\footnotesize
\setstretch{1.8}
Bemerkungen (fortgeführt)
\vspace{-1mm}

* \justifying Wir nehmen durchgängig an, dass $X \in \mathbb{R}^{n \times p}$ vollen Spaltenrang hat, also dass $\mbox{rg}(X)=p$.
* $y$ ist ein Zufallsvektor, weil er aus der Addition des Zufallsvektors $\varepsilon  \in \mathbb{R}^n$ zu dem Vektor $X\beta \in \mathbb{R}^n$ resultiert.
* Wir nennen $X\beta$ den \textit{deterministischen Modellaspekt} und $\varepsilon$ den \textit{probabilistischen Modellaspekt}.
* $n \in \mathbb{N}$ bezeichnet durchgängig die Anzahl an Datenpunkten.
* $p \in \mathbb{N}$ bezeichnet durchgängig die Anzahl an Betaparametern.
* Die Gesamtzahl an Parametern des ALMs ist $p + 1$ ($p$ Betaparameterkomponenten und $1$ Varianzparameter).
* Der Betaparametervektor wird auch \textit{Gewichtsvektor}, \textit{Effektvektor} oder \textit{Regressionskoeffizienten} genannt.
* Weil der Kovarianzmatrixparameter von $\varepsilon$ als sphärisch angenommen wird, 
sind die $\varepsilon_1,...,\varepsilon_n$ unabhängige normalverteilte
Zufallsvariablen mit identischem Varianzparameter. Weil zusätzlich der 
Erwartungswertparameter von $\varepsilon$ als $0_n$ angenommen wird, sind die
$\varepsilon_1,...,\varepsilon_n$ auch identisch normalverteilte Zufallsvariablen.
* Für jede Komponente $y_i, i = 1,...,n$ von $y$ impliziert \eqref{eq:alm} nach Definition des Matrixprodukts, dass
\begin{equation}
y_i = \sum_{j=1}^p x_{ij}\beta_j + \varepsilon_i = x_{i1}\beta_1 + \cdots +  x_{ip}\beta_p + \varepsilon_i
\quad \mbox{ mit } \quad
\varepsilon_i \sim N\left(0,\sigma^2\right) \; ,
\end{equation}
wobei $x_{ij} \in \mathbb{R}$ das $(ij)$te Element der Designmatrix $X$ bezeichnet.


<!-- Designmatrix eines Modells -->
# Allgemeine Theorie

Darstellung einer Designmatrix als Graustufen-Matrixplot (hier: $n = 20$, $p = 4$)

```{r, echo = F, eval = F}
# Designmatrixerzeugung
set.seed(1)                                 # reproduzierbare Ergebnisse
e      = 0.5                                # Wert für Null in Visualisierung
de     = 0.1                                # vom Wert zu korrigierende Abweichung
n_1    = 12                                 # Anzahl von Datenpunkten Gruppe 1
n_2    = 8                                  # Anzahl von Datenpunkten Gruppe 2
n      = n_1 + n_2                          # Anzahl von Datenpunkten
x_1    = runif(n, -1, +1)                   # Werte von Prädiktor 1
x_1[x_1>e-de & x_1<e] = x_1[x_1>e-de & x_1<e] - de
x_1[x_1>e & x_1<e+de] = x_1[x_1>e & x_1<e+de] + de
x_2    = runif(n, -1, +1)                   # Werte von Prädiktor 2
x_2[x_2>e-de & x_2<e] = x_2[x_2>e-de & x_2<e] - de
x_2[x_2>e & x_2<e+de] = x_2[x_2>e & x_2<e+de] + de
X      = matrix(c(c(rep(1,n_1), rep(e,n_2)),# n x p Designmatrix
                  c(rep(e,n_1), rep(1,n_2)),
                  x1,
                  x2),
                nrow = n)
Xp     = X

# Abbildungsparameter
library(plot.matrix)
graphics.off()
dev.new()
par(
    family    = "sans",
    mar       = c(1,1,1,1),
    pty       = "s",
    bty       = "l",
    lwd       = 1,
    las       = 1,
    mgp       = c(2,1,0),
    xaxs      = "i",
    yaxs      = "i",
    font.main = 1,
    cex       = 1,
    cex.main  = 2)

# Designmatrix
plot(Xp,
    col       = gray(seq(0, 1, length.out = 256)),
    border    = "black",
    xlab      = '',
    ylab      = '',
    main      = '',
    breaks    = seq(-1, 1, length.out = 257),
    key       = NULL,
    axis.col  = NULL,
    axis.row  = NULL,
    asp       = 1)

# Speichern
dev.copy2pdf(
    file      = "Abbildungen/alm_X.pdf",
    width     = 10,
    height    = 10)
```

\vspace{2mm}
```{r, echo = F, out.width = "60%"}
knitr::include_graphics("Abbildungen/alm_X.pdf")
```


<!-- Designmatrix eines Modells -->
# Allgemeine Theorie

Darstellung einer Designmatrix als Graustufen-Matrixplot (hier: $n = 20$, $p = 4$)

\begin{equation}
X :=
\begin{pmatrix} x_1 & x_2 & x_3 & x_4 \end{pmatrix}
\in \mathbb{R}^{n \times 4}
\end{equation}

\begin{equation}
\beta :=
\begin{pmatrix} \beta_1 \\ \beta_2 \\ \beta_3 \\ \beta_4 \end{pmatrix}
\in \mathbb{R}^4
\end{equation}

\begin{align}
\begin{split}
X \beta
&=
\begin{pmatrix} x_1 & x_2 & x_3 & x_4 \end{pmatrix}
\begin{pmatrix} \beta_1 \\ \beta_2 \\ \beta_3 \\ \beta_4 \end{pmatrix} \\
&=
\beta_1 x_1 + \beta_2 x_2 + \beta_3 x_3 + \beta_4 x_4
\quad \in \mathbb{R}^{n \times 1}
\end{split}
\end{align}


<!-- Theorem: Datenverteilung des Allgemeinen Linearen Modells -->
# Allgemeine Theorie

\footnotesize
\begin{theorem}[Datenverteilung des Allgemeinen Linearen Modells]

\justifying
\normalfont
Es sei
\begin{equation}
y = X\beta + \varepsilon
\quad \mbox{mit} \quad
\varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}

das ALM. Dann gilt
\begin{equation}
y \sim N(\mu,\sigma^2I_n)
\quad \mbox{mit} \quad
\mu := X\beta \in \mathbb{R}^n.
\end{equation}

\end{theorem}

\underline{Beweis}

Das Theorem zur linear-affinen Transformation multivariater Normalverteilungen besagt:
\begin{equation}
\xi \in \mathbb{R}^n, \; \xi \sim N(\mu, \Sigma), \; A \in \mathbb{R}^{m \times n}, \; b \in \mathbb{R}^m \;
\Rightarrow \;
\upsilon := A\xi + b \sim N(A\mu + b, A \Sigma A^\mathrm{T}) \; .
\end{equation}

Damit gilt für $\varepsilon \sim N(0_n,\sigma^2I_n)$ und $y := I_n\varepsilon + X\beta$, dass
\begin{equation}
y \sim N\left(I_n0_n + X\beta, I_n (\sigma^2 I_n) I_n^\mathrm{T}\right)
     = N(X\beta, \sigma^2 I_n)
     = N(\mu,\sigma^2 I_n)
\quad \mbox{mit} \quad
\mu := X\beta \in \mathbb{R}^n \; .
\end{equation}
$\hfill\Box$

\vspace{1mm}
Bemerkungen
\vspace{-1mm}

* \justifying Im ALM sind die Daten $y$ also ein $n$-dimensionaler normalverteilter Zufallsvektor mit Erwartungswertparameter $\mu = X\beta \in \mathbb{R}^n$ und Kovarianzmatrixparameter $\sigma^2I_n \in \mathbb{R}^{n \times n}$. 
* Die Komponenten $y_1,...,y_n$ von $y$, also die Datenpunkte, sind damit unabhängige, aber im Allgemeinen nicht identisch verteilte, normalverteilte Zufallsvariablen der Form $y_i \sim N\left(\mu_i,\sigma^2\right)$ für $i = 1,...,n$.


<!-- ALMi, das ALM-Maskottchen (1) -->
# Allgemeine Theorie

```{r, echo = F, out.width = "90%"}
knitr::include_graphics("Abbildungen/ALMi_1.pdf")
```


<!-- ALMi, das ALM-Maskottchen (2) -->
# Allgemeine Theorie

```{r, echo = F, out.width = "90%"}
knitr::include_graphics("Abbildungen/ALMi_2.pdf")
```


<!-- Abschnitt 2: Unabhängige und identisch normalverteilte Zufallsvariablen -->
#

\large
\setstretch{3}
\vfill

Allgemeine Theorie

**Unabhängige und identisch normalverteilte Zufallsvariablen**

Einfache lineare Regression

Selbstkontrollfragen

\vfill


<!-- Mathematische Formulierung -->
# Unabhängige und identisch normalverteilte Zufallsvariablen

\small
Wir betrachten das Szenario von $n$ unabhängigen und identisch normalverteilten Zufallsvariablen mit Erwartungswertparameter $\mu \in \mathbb{R}$ und Varianzparameter $\sigma^2$,
\begin{equation}\label{eq:iid}
y_i \sim N(\mu,\sigma^2)
\quad \mbox{für} \quad
i = 1,...,n.
\end{equation}

Dann gilt, dass \eqref{eq:iid} äquivalent ist zu
\begin{equation}
y_i = \mu + \varepsilon_i, \;
\varepsilon_i \sim N(0,\sigma^2)
\quad \mbox{für} \quad
i = 1,...,n
\quad \mbox{mit unabhängigen} \quad
\varepsilon_i.
\end{equation}

In Matrixschreibweise ist dies wiederum äquivalent zu
\begin{equation}
y \sim N(X\beta,\sigma^2 I_n)
\quad \mbox{mit} \quad
X     := 1_n \in \mathbb{R}^{n \times 1}, \;
\beta := \mu \in \mathbb{R}^1, \;
\sigma^2 > 0.
\end{equation}

\justifying
Bemerkungen

* \justifying Wir kennen dieses Modell bereits (siehe Einheit (9) in *Wahrscheinlichkeitstheorie und Frequentistische Inferenz*) und haben es bisher geschrieben als
\begin{equation}
y_1,...,y_n \sim N(\mu,\sigma^2)
\quad \mbox{mit} \quad
(\mu,\sigma^2) \in \mathbb{R} \times \mathbb{R}_{>0}.
\end{equation}


<!-- Beispiel in R -->
# Unabhängige und identisch normalverteilte Zufallsvariablen

\footnotesize

```{r, echo = T}
# Modellformulierung
library(MASS)                                # multivariate Normalverteilung
set.seed(1)                                  # reproduzierbare Ergebnisse
n      = 12                                  # Anzahl von Datenpunkten
p      = 1                                   # Anzahl von Betaparametern
X      = matrix(rep(1,n), nrow = n)          # n x p Designmatrix
I_n    = diag(n)                             # n x n Einheitsmatrix
beta   = 2                                   # wahrer, aber unbekannter Betaparameter
sigsqr = 1                                   # wahrer, aber unbekannter Varianzparameter

# Datenrealisierung
y      = mvrnorm(1, X %*% beta, sigsqr*I_n)  # eine Realisierung des n-dimensionalen ZVs y
print(y)
```


<!-- Designmatrix des Modells -->
# Unabhängige und identisch normalverteilte Zufallsvariablen

Designmatrix des Modells u.i.nv. Zufallsvariablen ($n = 12$, $p = 1$)

```{r, echo = F, eval = F}
# Designmatrixerzeugung
n      = 12                                  # Anzahl von Datenpunkten
X      = matrix(rep(1,n), nrow = n)          # n x p Designmatrix
Xp     = X

# Abbildungsparameter
library(plot.matrix)
graphics.off()
dev.new()
par(
    family    = "sans",
    mar       = c(1,1,1,1),
    pty       = "s",
    bty       = "l",
    lwd       = 1,
    las       = 1,
    mgp       = c(2,1,0),
    xaxs      = "i",
    yaxs      = "i",
    font.main = 1,
    cex       = 1,
    cex.main  = 2)

# Designmatrix
plot(Xp,
    col       = gray(seq(0, 1, length.out = 256)),
    border    = "black",
    xlab      = '',
    ylab      = '',
    main      = '',
    breaks    = seq(-1, 1, length.out = 257),
    key       = NULL,
    axis.col  = NULL,
    axis.row  = NULL,
    asp       = 1)

# Speichern
dev.copy2pdf(
    file      = "Abbildungen/norm_iid_X.pdf",
    width     = 10,
    height    = 10)
```

\vspace{2mm}
```{r, echo = F, out.width = "60%"}
knitr::include_graphics("Abbildungen/norm_iid_X.pdf")
```


<!-- Abschnitt 3: Einfache lineare Regression -->
#

\large
\setstretch{3}
\vfill

Allgemeine Theorie

Unabhängige und identisch normalverteilte Zufallsvariablen

**Einfache lineare Regression**

Selbstkontrollfragen

\vfill


<!-- Mathematische Formulierung -->
# Einfache lineare Regression
\small

Wir betrachten das Modell der einfachen linearen Regression (siehe Einheit (1) in *Allgemeines Lineares Modell*),
\begin{equation}\label{eq:slr}
y_i = \beta_0 + \beta_1 x_i + \varepsilon_i, \;
\varepsilon_i \sim N(0,\sigma^2)
\quad \mbox{für} \quad
i = 1,...,n,
\end{equation}

Wir haben bereits gesehen, dass dieses Modell folgende Datenverteilung besitzt:
\begin{equation}
y_i \sim N(\mu_i,\sigma^2)
\quad \mbox{mit} \quad
\mu_i := \beta_0 + \beta_1 x_i
\quad \mbox{für} \quad
i = 1,...,n.
\end{equation}

In Matrixschreibweise ist dies wiederrum äquivalent zu
\begin{equation}
y \sim N(X\beta,\sigma^2 I_n)
\quad \mbox{mit} \quad
X :=
\begin{pmatrix}
1      & x_1    \\
1      & x_2    \\
\vdots & \vdots \\
1      & x_n
\end{pmatrix}
\in \mathbb{R}^{n \times 2}, \;
\beta :=
\begin{pmatrix}
\beta_0 \\
\beta_1
\end{pmatrix}
\in \mathbb{R}^2, \;
\sigma^2 > 0.
\end{equation}


<!-- Beispiel in R -->
# Einfache lineare Regression

\footnotesize

```{r, echo = T}
# Modellformulierung
library(MASS)                                # multivariate Normalverteilung
set.seed(1)                                  # reproduzierbare Ergebnisse
n      = 10                                  # Anzahl von Datenpunkten
p      = 2                                   # Anzahl von Betaparametern
x      = 1:n                                 # Werte des Prädiktors
X      = matrix(c(rep(1,n),x), nrow = n)     # n x p Designmatrix
I_n    = diag(n)                             # n x n Einheitsmatrix
beta   = matrix(c(0,1), nrow = p)            # wahrer, aber unbekannter Betaparameter
sigsqr = 1                                   # wahrer, aber unbekannter Varianzparameter

# Datenrealisierung
y      = mvrnorm(1, X %*% beta, sigsqr*I_n)  # eine Realisierung des n-dimensionalen ZVs y
print(y)
```


<!-- Designmatrix des Modells -->
# Einfache lineare Regression

Designmatrix des Modells der einfachen linearen Regression ($n = 10$, $p = 2$)

```{r, echo = F, eval = F}
# Designmatrixerzeugung
n      = 10                                  # Anzahl von Datenpunkten
p      = 2                                   # Anzahl von Betaparametern
x      = 1:n                                 # Werte des Prädiktors
X      = matrix(c(rep(1,n),x), nrow = n)     # n x p Designmatrix
Xp     = X
Xp[,2] = Xp[,2]/max(Xp[,2])

# Abbildungsparameter
library(plot.matrix)
graphics.off()
dev.new()
par(
    family    = "sans",
    mar       = c(1,1,1,1),
    pty       = "s",
    bty       = "l",
    lwd       = 1,
    las       = 1,
    mgp       = c(2,1,0),
    xaxs      = "i",
    yaxs      = "i",
    font.main = 1,
    cex       = 1,
    cex.main  = 2)

# Designmatrix
plot(Xp,
    col       = gray(seq(0, 1, length.out = 256)),
    border    = "black",
    xlab      = '',
    ylab      = '',
    main      = '',
    breaks    = seq(-1, 1, length.out = 257),
    key       = NULL,
    axis.col  = NULL,
    axis.row  = NULL,
    asp       = 1)

# Speichern
dev.copy2pdf(
    file      = "Abbildungen/elr_X.pdf",
    width     = 10,
    height    = 10)
```

\vspace{2mm}
```{r, echo = F, out.width = "60%"}
knitr::include_graphics("Abbildungen/elr_X.pdf")
```


<!-- Visualisierung der einfachen linearen Regression -->
# Einfache lineare Regression

\vspace{2mm}
\center
\normalsize
\textcolor{blue}{$\bullet$} $x_i$
\hspace{4mm}
\textcolor{darkgrey}{$\bullet$} $X\beta$ \mbox{ für } $\beta_0 := 0$, $\beta_1 := 1$
\hspace{4mm}
\textcolor{black}{$\bullet$} $(x_i,y_i)$

```{r, echo = F, eval = F}
graphics.off()
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,1),
    pty         = "m",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    xpd         = TRUE,
    font.main   = 1,
    cex         = 1,
    cex.main    = 1.2)
plot(x, X %*% beta,
    type        = "b",
    lty         = 2,
    pch         = 16,
    col         = "grey",
    xlab        = "x",
    ylab        = "y",
    xlim        = c(0,11),
    ylim        = c(-3,13))

# Regressorwerte
points(x, rep(-3, n),
    col         = "blue",
    pch         = 16)

# Datenwerte
points(x, y,
    col         = "black",
    pch         = 16)

# Speichern
dev.copy2pdf(
    file        = "Abbildungen/elr.pdf",
    width       = 5,
    height      = 4)
```

\vspace{-2mm}
```{r, echo = F, out.width = "90%"}
knitr::include_graphics("Abbildungen/elr.pdf")
```


<!-- Anhang: Selbstkontrollfragen -->
#

\large
\setstretch{3}
\vfill

Allgemeine Theorie

Unabhängige und identisch normalverteilte Zufallsvariablen

Einfache lineare Regression

**Selbstkontrollfragen**

\vfill


<!-- Selbstkontrollfragen -->
# Selbstkontrollfragen

\footnotesize
\setstretch{2.5}

1. Erläutern Sie das naturwissenschaftliche Paradigma.
1. Erläutern Sie die Standardprobleme der Frequentistischen Inferenz.
1. Geben Sie die Definition des Allgemeinen Linearen Modells wieder.
1. Erläutern Sie die deterministischen und probabilistischen Aspekte des ALMs.
1. Wieviele skalare Parameter hat das ALM mit sphärischer Kovarianzmatrix?
1. Warum sind die Komponenten des ALM Zufallsfehlers unabhängig und identisch verteilt?
1. Geben Sie das Theorem zur Datenverteilung des Allgemeinen Linearen Modells wieder.
1. Sind die Komponenten des ALM-Datenvektors immer unabhängig und identisch verteilt?
1. Schreiben Sie das Szenario von $n$ unabhängig und identisch normalverteilten Zufallsvariablen in ALM-Form.
1. Schreiben Sie das Szenario der einfachen linearen Regression in ALM-Form.