---
fontsize: 8pt
format:
  beamer:
    include-in-header: ../ALM_Header.tex
bibliography: ../ALM_Referenzen.bib
---


# {.plain}
<!-- Vorlesungstitel -->
\center
```{r, echo = F, out.width = "20%"}
knitr::include_graphics("../OvGU_Logo.png")
```

\vspace{2mm}
\huge
Allgemeines Lineares Modell

\vspace{6mm}
\large
BSc Psychologie, SoSe 2026

\vspace{5mm}
Joram Soch


<!-- Sitzung 7: T-Statistiken -->
# {.plain}

\vfill
\center
\huge
\textcolor{black}{(7) T-Statistiken}
\vfill


<!-- Überblick: Modellformulierung, Modellschätzung, Modellevaluation -->
#

\vspace{1mm}
\large

Modellformulierung
\vspace{-1mm}

\begin{equation}
y = X\beta + \varepsilon, \quad
\varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
\vspace{1mm}

Modellschätzung

\begin{equation}
\hat{\beta} = (X^\mathrm{T} X)^{-1} X^\mathrm{T} y, \quad
\hat{\sigma}^2 = \frac{1}{n-p} (y-X\hat{\beta})^\mathrm{T} (y-X\hat{\beta})
\end{equation}
\vspace{1mm}

Modellevaluation

\begin{equation}
T = \frac{c^\mathrm{T} \hat{\beta} - c^\mathrm{T} \beta_0}{\sqrt{\hat{\sigma}^2 c^\mathrm{T}(X^\mathrm{T} X)^{-1} c}}, \quad
F = \frac{(\hat{\varepsilon}_0^\mathrm{T} \hat{\varepsilon}_0 - \hat{\varepsilon}^\mathrm{T} \hat{\varepsilon})/p_1}{\hat{\varepsilon}^\mathrm{T} \hat{\varepsilon}/(n-p)}
\end{equation}


<!-- Überblick: Standardprobleme Frequentistischer Inferenz -->
#

Standardprobleme Frequentistischer Inferenz

\small
\vspace{2mm}
\noindent (1) Parameterschätzung

Ziel der Parameterschätzung ist es, einen möglichst guten Tipp für wahre, aber unbekannte, Parameterwerte oder Funktionen dieser abzugeben, typischerweise mithilfe von Daten.

\vspace{2mm}
\noindent (2) Konfidenzintervalle

Ziel der Bestimmung von Konfidenzintervallen ist es, basierend auf der angenommenen Verteilung der Daten eine quantitative Aussage über die mit Schätzwerten assoziierte Unsicherheit zu treffen.

\vspace{2mm}
\noindent (3) Hypothesentests

Ziel des Hypothesentestens ist es, basierend auf der angenommenen Verteilung der Daten in einer möglichst zuverlässigen Form zu entscheiden, ob ein wahrer, aber unbekannter Parameterwert in einer von zwei sich gegenseitig ausschließenden Untermengen des Parameterraumes liegt.


<!-- Überblick: Standardprobleme Frequentistischer Inferenz -->
#

\center
```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/frequentistische_inferenz.pdf")
```

\center
\footnotesize
$\theta := (\beta,\sigma^2)$, \quad
$\Theta := \mathbb{R}^p \times \mathbb{R}_{>0}$, \quad
$\mathbb{P}_\theta(y) := \mathbb{P}_{\beta,\sigma^2}(y)$ \quad
mit WDF \quad
$p_{\beta,\sigma^2}(y) := N(y;X\beta,\sigma^2I_n)$


<!-- Überblick: T-Statistiken -->
#

Überblick
\small

* \justifying In dieser Einheit führen wir T-Statistiken als Maße zur Evaluation von Betaparameterschätzern im ALM ein. T-Statistiken quantifizieren dabei die geschätzten Effekte des Betaparameterschätzers in Bezug zur durch den Varianzparameterschätzer geschätzten Residualvariabilität. Der Wert einer T-Statistik ist also zunächst einmal einfach als Signal-zu-Rauschen-Verhältnis (*signal-to-noise ratio*) zu verstehen.

* \justifying T-Statistiken erlauben weiterhin die Evaluation von Linearkombinationen der Komponenten des Betaparameterschätzers im Sinne Frequentistischer Konfidenzinteralle und Hypothesentests. Wir betrachten hier zunächst nur die funktionale Form von T-Statistiken und ihre Frequentistische Verteilung zum Zwecke der Konfidenzintervallbestimmung. Der Einsatz von T-Teststatistiken zum Zwecke von Einstichproben- und Zweistichproben-T-Tests folgt später (siehe Einheiten (9) und (10) in *Allgemeines Lineares Modell*).


<!-- Inhaltsverzeichnis -->
#

\large
\setstretch{3}
\vfill

T-Zufallsvariablen

T-Statistiken

Konfidenzintervalle

Selbstkontrollfragen

\vfill


<!-- Abschnitt 1: T-Zufallsvariablen -->
#

\large
\setstretch{3}
\vfill

**T-Zufallsvariablen**

T-Statistiken

Konfidenzintervalle

Selbstkontrollfragen

\vfill


<!-- Definition: t-Zufallsvariable -->
# T-Zufallsvariablen

\footnotesize
\begin{definition}[$t$-Zufallsvariable]

\justify
$Z \sim N(0,1)$ sei eine standardnormalverteilte Zufallsvariable und $U \sim \chi^2(n)$ sei eine $\chi^2$-Zufallsvariable mit Freiheitsgradparameter $n$. Weiterhin seien $Z$ und $U$ unabhängige Zufallsvariablen. Dann nennen wir die Zufallsvariable
\begin{equation}
T := \frac{Z}{\sqrt{U/n}}
\end{equation}
eine $t$-verteilte Zufallsvariable mit Freiheitsgradparameter $n$. Wir schreiben $T \sim t(n)$. Die Wahrscheinlichkeitsdichtefunktion (WDF) einer $t$-Zufallsvariable bezeichnen wir mit $t(x; n)$. Die kumulative Verteilungsfunktion (KVF) und inverse KVF einer $t$-Zufallsvariable bezeichnen wir mit $\psi(x; n)$ bzw. $\psi^{-1}(x; n)$.

\end{definition}

Bemerkungen

* Teilt man eine standardnormal-verteilte Zufallsvariable durch die Wurzel aus einer Chi-Quadrat-verteilten Zufallsvariable, geteilt durch ihren Freiheitsgradparameter, so erhält man eine $t$-verteilte Zufallsvariable.
* Die Definition und das folgende Theorem gehen auf @student1908 zurück.
* @zabell2008 gibt hierzu einen historischen Überblick.


<!-- Theorem: WDF einer $t$-Zufallsvariable -->
# T-Zufallsvariablen

\footnotesize
\begin{theorem}[WDF einer $t$-Zufallsvariable]

\normalfont
\justifying
$T$ sei eine $t$-Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und Freiheitsgradparameter $n$. Dann ist die Wahrscheinlichkeitsdichtefunktion von $T$ gegeben durch
\begin{equation}
t(\cdot; n): \mathbb{R} \to \mathbb{R}_{>0}, x \mapsto t(x; n) = \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\Gamma\left(\frac{n}{2}\right)}
\left(1 + \frac{x^2}{n} \right)^{-\frac{n+1}{2}} \; ,
\end{equation}
wobei $\Gamma$ die Gammafunktion bezeichne.

\end{theorem}

Bemerkungen

* Wir verzichten auf einen Beweis, der [\textcolor{darkblue}{sich hier findet}](https://statproofbook.github.io/P/t-pdf) (englisch).
* Das Theorem ist eines der zentralen Resultate der Frequentistischen Statistik.
* Die $t$-Verteilung ist um 0 symmetrisch. Steigendes $n$ verschiebt Wahrscheinlichkeitsmasse von den Ausläufen zum Zentrum hin. Ab $n = 30$ gilt $t(x; n) \approx N(x; 0,1)$.


<!-- WDF von t-Zufallsvariablen -->
# T-Zufallsvariablen

Wahrscheinlichkeitsdichtefunktionen von $t$-Zufallsvariablen
\vspace{4mm}

```{r, echo = F, eval = F}
# Modellformulierung
t_min   = -5                                                # minimum t-value
t_max   = 5                                                 # maximum t-value
t_res   = 1e3                                               # t-space resolution
t       = seq(t_min,t_max, len = t_res)                     # t-space
n       = c(2,3,5,10,30)                                    # degrees of freedom

# Visualisierung
library(latex2exp)
dev.new()
par(
    family     = "sans",
    pty        = "m",
    bty        = "l",
    lwd        = 1,
    las        = 1,
    mgp        = c(2,1,0),
    xaxs       = "i",
    yaxs       = "i",
    font.main  = 1,
    cex        = 1.1,
    cex.main   = 1.1)

matplot(t, matrix(c(dt(t,n[1]),
                    dt(t,n[2]),
                    dt(t,n[3]),
                    dt(t,n[4]),
                    dt(t,n[5])),
                  ncol = 5),
    type       = "l",
    lty        = 1,
    lwd        = 2,
    col        = c("gray10", "gray20", "gray50", "gray70", "gray90"),
    ylim       = c(0,.4),
    xlim       = c(t_min,t_max),
    ylab       = " ",
    xlab       = "x",
    main       = TeX("$t(x; n)$"))

legend(2, 0.4, c("n = 2", "n = 3", "n = 5", "n = 10", "n = 30"),
    lty        = 1,
    lwd        = 2,
    col        = c("gray10", "gray20", "gray50", "gray70", "gray90"),
    bty        = "n",
    cex        = 1.1,
    y.intersp  = 2)

dev.copy2pdf(
    file       = "Abbildungen/t_wdf.pdf",
    width      = 6,
    height     = 5)
```

```{r, echo = F, out.width="70%", fig.align = "center"}
knitr::include_graphics("Abbildungen/t_wdf.pdf")
```


<!-- Definition: Nichtzentrale t-Zufallsvariable -->
# T-Zufallsvariablen

\footnotesize
\begin{definition}[Nichtzentrale $t$-Zufallsvariable]

\justify
$X \sim N(\delta,1)$ sei eine normalverteilte Zufallsvariable mit Erwartungswertparameter $\delta$ und $U \sim \chi^2(n)$ sei eine $\chi^2$-Zufallsvariable mit Freiheitsgradparameter $n$. Weiterhin seien $X$ und $U$ unabhängige Zufallsvariablen. Dann nennen wir die Zufallsvariable
\begin{equation}
T := \frac{X}{\sqrt{U/n}}
\end{equation}
eine nichtzentral $t$-verteilte Zufallsvariable mit Nichtzentralitätsparameter $\delta$ und Freiheitsgradparameter $n$. Wir schreiben $T \sim t(\delta, n)$. Die WDF einer nichtzentralen $t$-Zufallsvariable bezeichnen wir mit $t(x; \delta, n)$. Die KVF und inverse KVF einer nichtzentralen $t$-Zufallsvariable bezeichnen wir mit $\psi(x; \delta, n)$ bzw. $\psi^{-1}(x; \delta, n)$.

\end{definition}

Bemerkungen

* Teilt man eine normalverteilte Zufallsvariable mit Erwartungswertparameter $\mu = \delta$ und Varianzparameter $\sigma^2 = 1$ durch die Wurzel aus einer Chi-Quadrat-verteilten Zufallsvariable, geteilt durch ihren Freiheitsgradparameter, so erhält man eine nichtzentral $t$-verteilte Zufallsvariable.
* Eine nichtzentrale $t$-Zufallsvariable mit $\delta = 0$ ist eine $t$-Zufallsvariable. Es gilt also $t(x; 0, n) = t(x; n)$.


<!-- Theorem: WDF einer nichtzentralen t-Zufallsvariable -->
# T-Zufallsvariablen

\footnotesize
\begin{theorem}[WDF einer nichtzentralen $t$-Zufallsvariable]

\normalfont
\justifying
$T$ sei eine nichtzentrale $t$-Zufallsvariable mit Ergebnisraum $\mathbb{R}$, Nichtzentralitätsparameter $\delta$ und Freiheitsgradparameter $n$. Dann ist die WDF von $T$ gegeben durch
\begin{align}
\begin{split}
t(\cdot; \delta, n) : \mathbb{R} \to \mathbb{R}_{>0}, x \mapsto t(x; \delta, n) :&=
\frac{1}{2^{\frac{n-1}{2}}\Gamma\left(\frac{n}{2} \right) \sqrt{n \pi}} \\
&\times \int_{0}^\infty \tau^{\frac{n-1}{2}} \exp\left(-\frac{\tau}{2}\right)
\exp\left(-\frac{1}{2}\left(x \sqrt{\frac{\tau}{n}} - \delta \right)^2 \right)\,d\tau \; ,
\end{split}
\end{align}
wobei $\exp$ die Exponentialfunktion und $\Gamma$ die Gammafunktion bezeichne.

\end{theorem}

Bemerkung

* Wir verzichten auf einen Beweis.
* Die funktionale Form der WDF findet sich zum Beispiel in @lehmann1986, Seite 254, Gleichung (80).


<!-- WDF von nichtzentralen t-Zufallsvariablen -->
# T-Zufallsvariablen

Wahrscheinlichkeitsdichtefunktionen nichtzentraler $t$-Zufallsvariablen
\vspace{4mm}

```{r, echo = F, eval = F}
# Modellformulierung
t_min     = -5                                              # Minimum T-Wert
t_max     = 30                                              # Maximum T-Wert
t_res     = 1e3                                             # T-Wert Auflösung
t         = seq(t_min, t_max, len = t_res)                  # T-Raum
delta     = c(0, 5, 15)                                     # Nichtzentralitätsparameter
n         = c(5, 30)                                        # Freiheitsgradparameter
p         = cbind(matrix(dt(t, n[1], delta[1]), nrow=length(t)),
                  matrix(dt(t, n[2], delta[1]), nrow=length(t)),
                  matrix(dt(t, n[1], delta[2]), nrow=length(t)),
                  matrix(dt(t, n[2], delta[2]), nrow=length(t)),
                  matrix(dt(t, n[1], delta[3]), nrow=length(t)),
                  matrix(dt(t, n[2], delta[3]), nrow=length(t)))

# Visualisierung
dev.new()
library(latex2exp)
graphics.off()
par(
    family      = "sans",
    pty         = "m",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 1,
    cex.main    = 1.2)

matplot(t, p,
    type        = "l",
    lty         = c(1,2,1,2,1,2),
    col         = c("gray10", "gray10", "gray50", "gray50", "gray70", "gray70"),
    lwd         = 2,
    xlab        = "",
    ylab        = "",
    ylim        = c(0,.4),
    main        = TeX("$t(x;\\,\\delta,n)$"))

legend(18, 0.4, c(TeX("$\\delta = 0 , n = 5$"),
                  TeX("$\\delta = 0 , n = 30$"),
                  TeX("$\\delta = 5 , n = 5$"),
                  TeX("$\\delta = 5 , n = 30$"),
                  TeX("$\\delta = 15, n = 5$"),
                  TeX("$\\delta = 15, n = 30$")),
    lty         = c(1,2,1,2,1,2),
    col         = c("gray10", "gray10", "gray50", "gray50", "gray70", "gray70"),
    lwd         = 2,
    bty         = "n",
    seg.len     = 2,
    y.intersp   = 2.5)

dev.copy2pdf(
    file        = "Abbildungen/t_nichtzentral_wdf.pdf",
    width       = 7,
    height      = 4.5)
```

```{r, echo = F, out.width = "90%", fig.align = "center"}
knitr::include_graphics("Abbildungen/t_nichtzentral_wdf.pdf")
```


<!-- Abschnitt 2: T-Statistiken -->
#

\large
\setstretch{3}
\vfill

T-Zufallsvariablen

**T-Statistiken**

Konfidenzintervalle

Selbstkontrollfragen

\vfill


<!-- Definition: Kontrastgewichtsvektor -->
# T-Statistiken

\footnotesize
\begin{definition}[Kontrastgewichtsvektor]

\justify
Gegeben seien das ALM
\begin{equation}
y = X\beta + \varepsilon
\quad \mbox{mit} \quad
\varepsilon \sim N\left(0_n,\sigma^2I_n\right) 
\end{equation}

mit dem Betaparametervektor $\beta \in \mathbb{R}^p$. Ein Kontrastgewichtsvektor ist dann ein Vektor derselben Dimensionalität $c \in \mathbb{R}^p$, sodass das Skalarprodukt der beiden Vektoren eine lineare Kombination der Betaparameter $\beta$ mit den Kontrastgewichten $c$ darstellt:
\begin{equation}
\langle c,\beta \rangle = c^\mathrm{T} \beta = \sum_{i=1}^p c_i \beta_i \; .
\end{equation}

\end{definition}

Bemerkungen

* Der Kontrastgewichtsvektor projiziert $\beta$ auf einen Skalar $c^\mathrm{T} \beta \in \mathbb{R}$.
* Die Wahl $p$-dimensionaler Einheitsvektoren für $c$ erlaubt die Auswahl einzelner Komponenten von $\beta$ bzw. $\hat{\beta}$.
* Eine generelle Wahl von $c$ erlaubt die Evaluation beliebiger Linearkombinationen von
$\beta$ bzw. $\hat{\beta}$.


<!-- Beispiel: Kontrastgewichtsvektoren -->
# T-Statistiken

Beispiel
\vspace{1mm}

\small
Gegeben sei der Betaparametervektor
\begin{equation}
\beta = \begin{pmatrix} \beta_1 \\ \beta_2 \\ \beta_3 \\ \beta_4 \end{pmatrix}
\end{equation}

\vspace{-1mm}
und die Kontrastgewichtsvektoren
\begin{equation}
c_1 = \begin{pmatrix} 0 \\ 0 \\ 1 \\ 0 \end{pmatrix}, \quad
c_2 = \begin{pmatrix} 1 \\-1 \\ 0 \\ 0 \end{pmatrix}, \quad
c_3 = \begin{pmatrix} 1 \\ 2 \\ 3 \\ 4 \end{pmatrix} \; .
\end{equation}

\vspace{-1mm}
Dann gilt:

* Der Kontrastgewichtsvektor $c_1$ wählt die dritte Komponente des Betaparametervektors aus.
* Der Kontrastgewichtsvektor $c_2$ berechnet die Differenz zwischen der ersten und zweiten Komponente des Betaparametervektors.
* Der Kontrastgewichtsvektor $c_3$ beschreibt eine Linearkombination der Betaparameterkomponenten $\beta_1, \ldots, \beta_4$ mit den Gewichten $1, \ldots, 4$.


<!-- Definition: T-Statistik für Kontrastgewichtsvektor -->
# T-Statistiken

\footnotesize
\begin{definition}[T-Statistik für Kontrastgewichtsvektor]

\justify
Gegeben seien das ALM
\begin{equation}
y = X\beta + \varepsilon
\quad \mbox{mit} \quad
\varepsilon \sim N\left(0_n,\sigma^2I_n\right) 
\end{equation}

sowie die Betaparameter- und Varianzparameterschätzer
\begin{equation}
\hat{\beta} := (X^\mathrm{T}X)^{-1}X^\mathrm{T}y
\quad \mbox{und} \quad
\hat{\sigma}^2 := \frac{(y - X\hat{\beta})^\mathrm{T}(y - X\hat{\beta})}{n-p} \; .
\end{equation}

Dann ist für einen Kontrastgewichtsvektor $c \in \mathbb{R}^p$ und einen Nullparameter $\beta_0 \in \mathbb{R}^p$ die \textit{T-Statistik} definiert als 
\begin{equation}
T := \frac{c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\beta_0}{\sqrt{\hat{\sigma}^2c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}} \; .
\end{equation}

\end{definition}

Bemerkungen

* Die T-Statistik hängt via $\hat{\beta}$ und $\hat{\sigma}^2$ von den Daten $y$ ab.
* Der Kontrastgewichtsvektor projiziert $\hat{\beta}$ auf einen Skalar $c^\mathrm{T}\hat{\beta} \in \mathbb{R}$.


<!-- Bemerkungen -->
# T-Statistiken

\footnotesize
Bemerkungen (fortgeführt)

Die Wahl von $\beta_0 \in \mathbb{R}^p$ erlaubt es, die T-Statistik unterschiedlich einzusetzen:

* \justifying Wählt man $\beta_0 := 0_p$, so erhält man mit der T-Statistik eine Deskriptivstatistik, die es erlaubt, geschätzte Regressoreffekte, also Komponenten oder Linearkombinationen von $\hat{\beta}$, im Sinne eines Signal-zu-Rauschen-Verhältnisses in Bezug zu der durch $\hat{\sigma}^2$ quantifizierten Residualdatenvariabilität zu setzen. Der Nenner der T-Statistik stellt dabei sicher, dass insbesondere die adäquate (Ko-)Standardabweichung der entsprechenden Betaparameterkomponentenkombination als Bezugsgröße dient, da es sich bei $\sigma^2 \left(X^\mathrm{T}X\right)^{-1}$ bekanntlich um die Kovarianz des Betaparameterschätzers handelt. Folgende erste Intuition ist in diesem Kontext hilfreich:
\begin{equation}
T = \frac{\mbox{geschätzte Effektstärke}}{\mbox{geschätzte Datenvariabilität (skaliert auf Strichprobenumfang)}}
\end{equation}

* \justifying Wählt man für $\beta_0 = \beta$, also den wahren, aber unbekannten Betaparameterwert, so eröffnet die T-Statistik die Möglichkeit, für die einzelnen Komponenten des Betaparametervektors Konfidenzintervalle zu bestimmen.

* \justifying Deklariert man schließlich $\beta_0 \in \Theta_0$ im Kontext eines Testszenarios als das Element einer Nullhypothese $\Theta_0$, so eröffnet die T-Statistik die Möglichkeit Hypothesentest-basierter Inferenz über Betaparameterkomponenten und ihre Linearkombinationen im Rahmen des des ALMs.


<!-- Theorem: Verteilung der T-Statistik -->
# T-Statistiken

\vspace{1mm}
\footnotesize
\begin{theorem}[Verteilung der T-Statistik]

\normalfont
\justifying
Gegeben seien das ALM
\begin{equation}
y = X\beta + \varepsilon
\quad \mbox{mit} \quad
\varepsilon \sim N(0_n,\sigma^2I_n) 
\end{equation}

sowie die Betaparameter- und Varianzparameterschätzer
\begin{equation}
\hat{\beta} := (X^\mathrm{T}X)^{-1}X^\mathrm{T}y
\quad \mbox{und} \quad
\hat{\sigma}^2 := \frac{(y-X\hat{\beta})^\mathrm{T}(y-X\hat{\beta})}{n-p} \; .
\end{equation}

Schließlich sei für einen Kontrastgewichtsvektor $c \in \mathbb{R}^p$ und einen Nullparameter $\beta_0 \in \mathbb{R}^p$ die T-Statistik
\begin{equation}
T := \frac{c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\beta_0}{\sqrt{\hat{\sigma}^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}} \; .
\end{equation}

Dann gilt:
\begin{equation}
T \sim t(\delta, n-p)
\quad \mbox{mit} \quad
\delta = \frac{c^\mathrm{T}\beta - c^\mathrm{T}\beta_0}{\sqrt{\sigma^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}}.
\end{equation}

\end{theorem}

\vspace{-2mm}
Bemerkungen
\vspace{-2mm}

* Die T-Statistik folgt einer nichtzentralen $t$-Verteilung, wobei sich der Nichtzentralitätsparameter aus der Wahl von Kontrastgewichtsvektor sowie Nullparameter und der Freiheitsgradparameter aus den Dimensionen der Designmatrix $X \in \mathbb{R}^{n \times p}$ ergibt.
* $T$ ist eine Funktion der Parameterschätzer, $\delta$ ist eine Funktion der wahren, aber unbekannten Parameter.
* Für $c^\mathrm{T}\beta = c^\mathrm{T}\beta_0$, also bei Zutreffen der Nullhypothese, gilt $\delta = 0$ und damit $T \sim t(n-p)$.
* Für $c^\mathrm{T}\beta \neq c^\mathrm{T}\beta_0$ kann die Verteilung von $T$ zur Herleitung von Powerfunktionen benutzt werden.


<!-- Beweis -->
# T-Statistiken

\footnotesize
\underline{Beweis}

Wir wissen, dass der Betaparameterschätzer einer multivariaten Normalverteilung folgt (siehe Einheit (6) in *Allgemeines Lineares Modell*):
\begin{equation}
\hat{\beta} \sim N\left(\beta, \sigma^2(X^\mathrm{T} X)^{-1}\right) \; .
\end{equation}

Mit dem Theorem zur linear-affinen Transformation multivariat normalverteilter Zufallsvektoren (vgl. Einheit (4) in *Allgemeines Lineares Modell*) gilt daher
\begin{equation}
c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\beta_0
\sim N\left(c^\mathrm{T}\beta - c^\mathrm{T}\beta_0, \sigma^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c\right)
\end{equation}

sowie
\begin{equation}
X = \frac{1}{\sqrt{\sigma^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}} \left( c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\beta_0 \right)
\sim N\left(\frac{c^\mathrm{T}\beta - c^\mathrm{T}\beta_0}{\sqrt{\sigma^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}}, 1\right) \; .
\end{equation}

Wir wissen darüber hinaus, dass folgende Funktion des Varianzparameterschätzers einer Chi-Quadrat-Verteilung folgt (siehe Einheit (6) in *Allgemeines Lineares Modell*):
\begin{equation}
U = \frac{n-p}{\sigma^2}\hat{\sigma}^2 \sim \chi^2(n-p) \; .
\end{equation}
\vfill


<!-- Beweis -->
# T-Statistiken

\footnotesize
\underline{Beweis (fortgeführt)}

Definitionsgemäß ist der Quotient aus der Zufallsvariable $X$ und der Wurzel der Zufallsvariable $U$, geteilt durch den Freiheitsgradparameter, eine nichtzentrale $t$-Zufallsvariable
\begin{equation}
T = \frac{X}{\sqrt{U/(n-p)}} \sim t(\delta, n-p) \; ,
\end{equation}

wobei der Nichtzentralitätsparameter der nichtzentralen $t$-Verteilung von $T$ durch den Erwartungswertparameter der Normalverteilung von $X$ gegeben ist
\begin{equation}
\delta = \frac{c^\mathrm{T}\beta - c^\mathrm{T}\beta_0}{\sqrt{\sigma^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}}
\end{equation}

und sich die T-Statistik wie folgt ergibt:
\begin{align}
\begin{split}
T
&= \frac{\frac{1}{\sqrt{\sigma^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}} \left( c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\beta_0 \right)}{\sqrt{\frac{n-p}{\sigma^2}\hat{\sigma}^2/(n-p)}} \\
&= \frac{c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\beta_0}{\sqrt{\sigma^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c} \; \sqrt{\hat{\sigma}^2/\sigma^2}} \\
&= \frac{c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\beta_0}{\sqrt{\hat{\sigma}^2 c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}} \; .
\end{split}
\end{align}
$\hfill\Box$
\vfill


<!-- Beispiel: Einstichproben-T-Test -->
# T-Statistiken

Beispiel (1) Unabhängige und identisch normalverteilte Zufallsvariablen
\vspace{2mm}

\footnotesize
Es sei
\begin{equation}
y \sim N(X\beta,\sigma^2 I_n)
\quad \mbox{mit} \quad
X := 1_n \in \mathbb{R}^n, \quad
\beta := \mu \in \mathbb{R}
\quad \mbox{und} \quad
\sigma^2 > 0.
\end{equation}

das ALM-Szenario unabhängiger und identisch normalverteilter Zufallsvariablen. Weiterhin seien $c := 1$ und $\beta_0 := \mu_0$. Dann gilt für die T-Statistik
\begin{equation}
T
= \frac{c^\mathrm{T}\hat{\beta} - c^\mathrm{T}\mu_0}{\sqrt{\hat{\sigma}^2c^\mathrm{T}(X^\mathrm{T}X)^{-1}c}}
= \frac{1^\mathrm{T}\bar{y}- 1^\mathrm{T}\mu_0}{\sqrt{s^2_y 1^\mathrm{T} (1_n^\mathrm{T} 1_n)^{-1}1}}
= \sqrt{n}\frac{\bar{y} - \mu_0}{s_y} \; ,
\end{equation}

was der Teststatistik für den Einstichproben-T-Test entspricht (vgl. Einheit (12) in \textit{Wahrscheinlichkeitstheorie und Frequentistische Inferenz} und Einheit (9) in \textit{Allgemeines Lineares Modell}). Die hier betrachtete T-Statistik nimmt hohe Werte für hohe Werte von $\bar{y}$ (Effekt), kleine Werte von $s_y^2$ (Datenvariabilität) und hohe Werte von $n$ (Stichprobenumfang) an.

In diesem Zusammenhang ist \textit{Cohen's} $d$ ein beliebtes \textit{Effektstärkenmaß}. Es ist definiert als
\begin{equation}
d := \frac{\bar{y}}{s_y} \; ,
\end{equation}

sodass für $\mu_0 := 0$ gilt, dass
\begin{equation}
T = \sqrt{n}d
\quad \mbox{bzw.} \quad
d = \frac{1}{\sqrt{n}} T \; .
\end{equation}

Cohen's $d$ ist also ein Stichprobenumfang-unabhängiges Signal-zu-Rauschen-Verhältnis.


<!-- Simulation: Einstichproben-T-Test -->
# T-Statistiken

Simulation (1) Unabhängig und identische normalverteilte Zufallsvariablen

\small
wahre, aber unbekannte Hypothesenszenarien $c^\mathrm{T}\beta = c^\mathrm{T}\beta_0$ und $c^\mathrm{T}\beta \neq c^\mathrm{T}\beta_0$

\vspace{2mm}
\setstretch{1}
\tiny

```{r, echo = T}
# Modellformulierung
library(MASS)                                                  # multivariate Normalverteilung
n          = 12                                                # Anzahl von Datenpunkten
p          = 1                                                 # Anzahl von Betaparametern
X          = matrix(c(rep(1,n)), nrow = n)                     # Designmatrix
I_n        = diag(n)                                           # Einheitsmatrix
beta       = c(0,1)                                            # wahre,  aber unbekannte  Betaparameter
sigsqr     = 1                                                 # wahrer, aber unbekannter Varianzparameter
nscn       = length(beta)                                      # Anzahl der Hypothesenszenarien
c          = 1                                                 # Kontrastvektor von Interessse
beta_0     = 0                                                 # Betaparameter gemäß Nullhypothese

# Frequentistische Simulation
nsim       = 1e4                                               # Anzahl der Simulationen
delta      = rep(NaN, nscn)                                    # Array der Nichtzentralitätsparameter
Tee        = matrix(rep(NaN, nscn*nsim), ncol = nscn)          # Array der T-Teststatistik-Realisierungen
for(s in 1:nscn){                                              # Hypothesenszenarien
    delta[s]       = ((t(c) %*% beta[s] - t(c) %*% beta_0)/    # \delta
                      sqrt(sigsqr*t(c)%*%solve(t(X)%*%X)%*%c))
    for(i in 1:nsim){                                          # Simulationsiterationen
        y          = mvrnorm(1, X %*% beta[s], sigsqr*I_n)     # y
        beta_hat   = solve(t(X) %*% X) %*% t(X) %*% y          # \hat{\beta}
        eps_hat    = y - X %*% beta_hat                        # \hat{\eps}
        sigsqr_hat = (t(eps_hat) %*% eps_hat)/(n-p)            # \hat{\sigma}^2
        Tee[i,s]   = ((t(c) %*% beta_hat - t(c) %*% beta_0)/   # T
                      sqrt(sigsqr_hat*t(c)%*%solve(t(X)%*%X)%*%c))
    }
}
```


<!-- Simulation: Einstichproben-T-Test -->
# T-Statistiken

Simulation (1) Unabhängig und identische normalverteilte Zufallsvariablen

\small
wahre, aber unbekannte Hypothesenszenarien $c^\mathrm{T}\beta = c^\mathrm{T}\beta_0$ und $c^\mathrm{T}\beta \neq c^\mathrm{T}\beta_0$

\vspace{4mm}

```{r, eval = F, echo = F}
# Visualisierung
graphics.off()
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,2),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2.5,1,0),
    xaxs        = "i",
    yaxs        = "i",
    xpd         = TRUE,
    font.main   = 1,
    cex         = 1,
    cex.main    = 1.2)

# T-Teststatistik-Ergebnisraum
xlims  = c(-5,12)
t_min  = xlims[1]
t_max  = xlims[2]
t_res  = 1e3
t      = seq(t_min, t_max, len = t_res)
lab    = c(TeX("$\\c^T beta = \\c^T beta_0$"), TeX("$\\c^T beta \\neq \\c^T beta_0$"))

# T-Teststatistiken
for(s in 1:nscn){
    p_t    = dt(t,n-p, delta[s])
    hist(Tee[,s],
        breaks = 50,
        col    = "gray90",
        prob   = TRUE,
        xlab   = TeX("$T$"),
        ylab   = "",
        xlim   = xlims,
        ylim   = c(0,.4),
        main   = lab[s])
    lines(t, p_t,
        type  = "l",
        lwd   = 2,
        col   = "darkorange")
}

# Speichern
dev.copy2pdf(
    file      = "Abbildungen/t_teststatistik_1.pdf",
    width     = 8,
    height    = 4)
```

```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/t_teststatistik_1.pdf")
```


<!-- Simulation: einfache lineare Regression -->
# T-Statistiken

Simulation (2) Einfache lineare Regression

\small
wahre, aber unbekannte Hypothesenszenarien $c^\mathrm{T}\beta = c^\mathrm{T}\beta_0$ und $c^\mathrm{T}\beta \neq c^\mathrm{T}\beta_0$

\vspace{2mm}
\setstretch{1}
\tiny

```{r, echo = T}
# Modellformulierung
library(MASS)                                                  # multivariate Normalverteilung
n          = 10                                                # Anzahl von Datenpunkten
p          = 2                                                 # Anzahl von Betaparametern
x          = 1:n                                               # Prädiktorwerte
X          = matrix(c(rep(1,n),x), ncol = p)                   # Designmatrix
I_n        = diag(n)                                           # Einheitsmatrix
beta       = matrix(c(1,0,
                      1,1), nrow = 2)                          # wahre,  aber unbekannte  Betaparameter
sigsqr     = 1                                                 # wahrer, aber unbekannter Varianzparameter
nscn       = ncol(beta)                                        # Anzahl der Hypothesenszenarien
c          = matrix(c(0,1), nrow = 2)                          # Kontrastvektor von Interessse
beta_0     = matrix(c(0,0), nrow = 2)                          # Betaparameter gemäß Nullhypothese

# Frequentistische Simulation
nsim       = 1e4                                               # Anzahl der Simulationen
delta      = rep(NaN, nscn)                                    # Array der Nichtzentralitätsparameter
Tee        = matrix(rep(NaN, nscn*nsim), ncol = nscn)          # Array der T-Teststatistik-Realisierungen
for(s in 1:nscn){                                              # Hypothesenszenarien
    delta[s]       = ((t(c) %*% beta[,s] - t(c) %*% beta_0)/   # \delta
                      sqrt(sigsqr*t(c)%*%solve(t(X)%*%X)%*%c))
    for(i in 1:nsim){                                          # Simulationsiterationen
        y          = mvrnorm(1, X %*% beta[,s], sigsqr*I_n)    # y
        beta_hat   = solve(t(X) %*% X) %*% t(X) %*% y          # \hat{\beta}
        eps_hat    = y - X %*% beta_hat                        # \hat{\eps}
        sigsqr_hat = (t(eps_hat) %*% eps_hat)/(n-p)            # \hat{\sigma}^2
        Tee[i,s]   = ((t(c) %*% beta_hat - t(c) %*% beta_0)/   # T
                      sqrt(sigsqr_hat*t(c)%*%solve(t(X)%*%X)%*%c))
    }
}
```


<!-- Simulation: einfache lineare Regression -->
# T-Statistiken

Simulation (2) Einfache lineare Regression

\small
wahre, aber unbekannte Hypothesenszenarien $c^\mathrm{T}\beta = c^\mathrm{T}\beta_0$ und $c^\mathrm{T}\beta \neq c^\mathrm{T}\beta_0$

\vspace{4mm}

```{r, eval = F, echo = F}
# Visualisierung
graphics.off()
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,2),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2.5,1,0),
    xaxs        = "i",
    yaxs        = "i",
    xpd         = TRUE,
    font.main   = 1,
    cex         = 1,
    cex.main    = 1.2)

# T-Teststatistik-Ergebnisraum
xlims  = c(-5,20)
t_min  = xlims[1]
t_max  = xlims[2]
t_res  = 1e3
t      = seq(t_min, t_max, len = t_res)
lab    = c(TeX("$\\c^T beta = \\c^T beta_0$"), TeX("$\\c^T beta \\neq \\c^T beta_0$"))

# T-Teststatistiken
for(s in 1:nscn){
    p_t    = dt(t,n-p, delta[s])
    hist(Tee[,s],
        breaks = 50,
        col    = "gray90",
        prob   = TRUE,
        xlab   = TeX("$T$"),
        ylab   = "",
        xlim   = xlims,
        ylim   = c(0,.4),
        main   = lab[s])
    lines(t, p_t,
        type  = "l",
        lwd   = 2,
        col   = "darkorange")
}

# Speichern
dev.copy2pdf(
    file      = "Abbildungen/t_teststatistik_2.pdf",
    width     = 8,
    height    = 4)
```

```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/t_teststatistik_2.pdf")
```


<!-- Anekdote -->
# T-Statistiken

\textcolor{darkblue}{Anekdote: Herkunft der ``Student'schen t-Verteilung''}

\vspace{2mm}
```{r, echo = F, out.width = "35%", fig.align = "center"}
knitr::include_graphics("Abbildungen/william_sealy_gosset.jpg")
```

\vspace{1mm}
\center
William Sealy Gosset (1876 -- 1937)

\vspace{2mm}
\footnotesize
(Quelle: [*Wikimedia Commons*: "William_Sealy_Gosset.jpg"](https://commons.wikimedia.org/wiki/File:William_Sealy_Gosset.jpg); Lizenz: gemeinfrei.)

<!-- William Gosset arbeitete in der Guiness-Brauerei und Dublin und beschäftigte sich damit, die Gersten-Qualität in der Bierherstellung zu erzielen. Da Gosset oft mit kleinen Stichproben zu tun hatte, führte ihn seine Arbeit auf die t-Verteilung. Guiness erlaubte es seinen Mitarbeitern nicht, wissenschaftliche Arbeiten zu publizieren, daher veröffentlichte Gosset seine Arbeiten unter dem Namen "Student". Daher heißt die t-Verteilung auch "Student'sche t-Verteilung". -->


<!-- Abschnitt 3: Konfidenzintervalle -->
#

\large
\setstretch{3}
\vfill

T-Zufallsvariablen

T-Statistiken

**Konfidenzintervalle**

Selbstkontrollfragen

\vfill


<!-- Wiederholung: Konfidenzbedingung -->
# Konfidenzintervalle

Wiederholung: Konfidenzbedingung für die $T$-Konfidenzintervallstatistik

\center
```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/ki_konfidenzbedingung.pdf")
```

\small
\vspace{-4mm}
(siehe Einheit (11) in *Wahrscheinlichkeitstheorie und Frequentistische Inferenz*)


<!-- Theorem: Konfidenzintervalle für Betaparameterkomponenten -->
# Konfidenzintervalle

\footnotesize
\begin{theorem}[Konfidenzintervalle für Betaparameterkomponenten]

\justifying
\normalfont
Gegeben seien das ALM
\begin{equation}
y = X\beta + \varepsilon
\quad \mbox{mit} \quad
\varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}

sowie der Betaparameterschätzer $\hat{\beta}$ und der Varianzparameterschätzer $\hat{\sigma}^2$. Für ein $\gamma \in ]0,1[$ sei 
\begin{equation}
t_\gamma := \psi^{-1}\left(\frac{1+\gamma}{2}; n - p \right) \; .
\end{equation}

Schließlich sei $\lambda_j$ das das $j$te Diagonalelement von $\left(X^\mathrm{T}X \right)^{-1}$ für $j = 1,\ldots,p$:
\begin{equation}
\lambda_j := \left( \left( X^\mathrm{T} X \right)^{-1} \right)_{jj} \; .
\end{equation}

Dann ist
\begin{equation}
\kappa_j := \left[ \hat{\beta}_j - \hat{\sigma}\sqrt{\lambda_j}t_{\gamma}, \; \hat{\beta}_j + \hat{\sigma}\sqrt{\lambda_j}t_{\gamma} \right]
\end{equation}

ein $\gamma$-Konfidenzintervall für die $j$te Komponente $\beta_j$ des Betaparameters $\beta = (\beta_1,...,\beta_p)^\mathrm{T}$ für $j = 1,\ldots,p$.

\end{theorem}

Bemerkungen
\vspace{-1mm}

* Intuitiv gilt im Vergleich mit dem Konfidenzintervall für den Erwartungswertparameter bei der Normalverteilung
\begin{equation}
\hat{\beta}_j \approx \bar{y}, \quad
\hat{\sigma} \approx S, \quad
\sqrt{\lambda_j} \approx \sqrt{n^{-1}}
\quad \mbox{und} \quad
t_\gamma = t_\delta
\end{equation}
(vgl. Einheit (11) in *Wahrscheinlichkeitstheorie und Frequentistische Inferenz*).


<!-- Beweis -->
# Konfidenzintervalle

\footnotesize
\underline{Beweis}

Wir müssen zeigen, dass
\begin{equation}
\mathbb{P}(\kappa_j \ni \beta_j) = \gamma \; .
\end{equation}

Dazu halten wir zunächst fest, dass für alle $j = 1,\ldots,p$ bei Wahl von $\beta_0 = \beta$ 
und $c := e_j$  nach dem Theorem zur T-Statistik für $T \sim t(\delta,n-p)$ gilt, dass
\begin{align}
\begin{split}
T 
= \frac{e_j^\mathrm{T}\hat{\beta} - e_j^\mathrm{T}\beta}{\sqrt{\hat{\sigma}^2e_j^\mathrm{T}\left(X^\mathrm{T}X\right)^{-1}e_j}} 
= \frac{\hat{\beta}_j - \beta_j}{\sqrt{\hat{\sigma}^2 \left(\left(X^\mathrm{T}X \right)^{-1}\right)_{jj}}}
= \frac{\hat{\beta}_j - \beta_j}{\hat{\sigma} \sqrt{\lambda_j}}
=: T_j \; .
\end{split}
\end{align}

und
\begin{align}
\begin{split}
\delta
= \frac{e_j^\mathrm{T}\beta - e_j^\mathrm{T}\beta}{\sqrt{\hat{\sigma}^2e_j^\mathrm{T}\left(X^\mathrm{T}X\right)^{-1}e_j}} 
= 0
\end{split}
\end{align}

Damit gilt dann auch sofort, dass $T_j \sim t(n-p)$. Weiterhin erinnern wir daran (vgl. Einheit (11) in *Wahrscheinlichkeitstheorie und Frequentistischer Inferenz*), dass per Definition von $t_\gamma$ gilt, dass
\begin{equation}
\mathbb{P}\left(-t_\gamma \le T_j \le t_\gamma \right) = \gamma \; .
\end{equation}


<!-- Beweis -->
# Konfidenzintervalle

\footnotesize
\underline{Beweis (fortgeführt)}

Aus der Definition eines $\gamma$-Konfidenzintervalls folgt dann
\begin{align}
\begin{split}
\gamma
& = \mathbb{P}\left(-t_\gamma \le T_j \le t_\gamma \right) \\
& = \mathbb{P}\left(-t_\gamma \le \frac{\hat{\beta}_j - \beta_j}{\hat{\sigma}\sqrt{\lambda_j}} \le t_\gamma \right) \\
& = \mathbb{P}\left(-t_\gamma\hat{\sigma}\sqrt{\lambda_j} \le \hat{\beta}_j - \beta_j \le t_\gamma\hat{\sigma}\sqrt{\lambda_j} \right) \\
& = \mathbb{P}\left(-\hat{\beta}_j -t_\gamma\hat{\sigma}\sqrt{\lambda_j} \le - \beta_j \le -\hat{\beta}_j + t_\gamma\hat{\sigma}\sqrt{\lambda_j} \right) \\
& = \mathbb{P}\left(\hat{\beta}_j + t_\gamma\hat{\sigma}\sqrt{\lambda_j} \ge \beta_j \ge \hat{\beta}_j - t_\gamma\hat{\sigma}\sqrt{\lambda_j} \right) \\
& = \mathbb{P}\left(\hat{\beta}_j - t_\gamma\hat{\sigma}\sqrt{\lambda_j}  \le \beta_j \le \hat{\beta}_j + t_\gamma\hat{\sigma}\sqrt{\lambda_j} \right) \\
& = \mathbb{P}\left( \left[ \hat{\beta}_j - \hat{\sigma}\sqrt{\lambda_j}t_{\gamma}, \; \hat{\beta}_j + \hat{\sigma}\sqrt{\lambda_j}t_{\gamma} \right]  \ni \beta_j \right) \\
& = \mathbb{P}(\kappa_j \ni \beta_j) 
\end{split}
\end{align}
und damit ist alles gezeigt.
$\hfill\Box$


<!-- Beispiel: Einstichproben-T-Test -->
# Konfidenzintervalle

Beispiel (1) Unabhängig und identische normalverteilte Zufallsvariablen

\footnotesize
Wir betrachten die ALM-Form des Szenarios unabhängig und identisch normalverteilter Zufallsvariablen:
\begin{equation}
y \sim N(X\beta,\sigma^2I_n)
\quad \mbox{mit} \quad
X := 1_{n} \in \mathbb{R}^n, \quad
\beta := \mu \in \mathbb{R}
\quad \mbox{und} \quad
\sigma^2 > 0 \; .
\end{equation}

Wie bereits gesehen erhalten wir dann:
\begin{equation}
\hat{\beta} = \frac{1}{n}\sum_{i=1}^n y_i =: \bar{y}, \quad
\hat{\sigma}^2 = \frac{1}{n-1}\sum_{i=1}^n(y_i-\bar{y})^2 =: s^2
\quad \mbox{und} \quad
\lambda_1 = \left(1_n^\mathrm{T}1_n\right)^{-1} = \frac{1}{n} \; .
\end{equation}

Nach dem Theorem zu Konfidenzintervallen für Betaparameterkomponenten gilt dann, dass
\begin{equation}
\kappa := \left[ \bar{y} - \frac{s}{\sqrt{n}}t_{\gamma}, \; \bar{y} + \frac{s}{\sqrt{n}}t_{\gamma} \right]
\end{equation}

ein $\gamma$-Konfidenzintervall für $\beta$ ist und dieses ist offenbar identisch mit dem Konfidenzintervall für den Erwartungsparameter der Normalverteilung, welches wir bereits eingeführt haben (siehe Einheit (11) in *Wahrscheinlichkeitstheorie und Frequentistische Inferenz*).


<!-- Beispiel: einfache lineare Regression -->
# Konfidenzintervalle

Beispiel (2) Einfache lineare Regression

\vspace{1mm}
\setstretch{1}
\tiny

```{r, echo = T}
# Modellformulierung
library(MASS)                                                           # multivariate Normalverteilung
set.seed(0)                                                             # Zufallszahlengenerator initialisieren
n          = 10                                                         # Anzahl von Datenpunkten
p          = 2                                                          # Anzahl von Betaparametern
x          = 1:n                                                        # Prädiktorwerte
X          = matrix(c(rep(1,n),x), ncol = p)                            # Designmatrix
I_n        = diag(n)                                                    # Einheitsmatrix
beta       = matrix(c(1,2), nrow = 2)                                   # wahre,  aber unbekannte  Betaparameter
sigsqr     = 1                                                          # wahrer, aber unbekannter Varianzparameter
gamma      = 0.95                                                       # Konfidenzbedingung  
t_gamma    = qt((1+gamma)/2,n-1)                                        # \psi^{-1}((1+\gamma)/2,n-1)
lambda     = diag(solve(t(X) %*% X))                                    # \lambda_j, j = 1,...,p

# Simulation
nsim       = 1e2                                                        # Anzahl der Simulationen
kappa      = array(rep(NaN, nsim*p*p), dim=c(nsim,2,2))                 # Konfidenzintervallarray
beta_hat   = matrix(rep(NaN,p*nsim), nrow = p)                          # Betaparameterschätzerarray
for(i in 1:nsim){                                                       # Iteration über Realisierungen
    y                = mvrnorm(1, X %*% beta, sigsqr*I_n)               # y
    beta_hat[,i]     = solve(t(X) %*% X) %*% t(X) %*% y                 # \hat{\beta}
    eps_hat          = y - X %*% beta_hat[,i]                           # \hat{\varepsilon}
    sigsqr_hat       = (t(eps_hat) %*% eps_hat)/(n-p)                   # \hat{\sigma}^2
    for(j in 1:p){                                                      # Iteration über Betaparameterkomponenten
        kappa[i,1,j] = beta_hat[j,i]-sqrt(sigsqr_hat*lambda[j])*t_gamma # untere KI-Grenze
        kappa[i,2,j] = beta_hat[j,i]+sqrt(sigsqr_hat*lambda[j])*t_gamma # obere  KI-Grenze
    }
}
```


<!-- Beispiel: einfache lineare Regression -->
# Konfidenzintervalle

\vspace{2mm}
Simulation von Konfidenzintervallen bei einfacher linearer Regression
\vspace{-2mm}

```{r, eval = F, echo = F}
# Visualisierung
graphics.off()
dev.new()
library(latex2exp)
labels  = c(TeX("Offset-Parameter $\\beta_0 = 1, \\, \\, \\sigma^2 = 1, \\, \\, n = 10, \\, \\, \\gamma = 0.95"),
            TeX("Steigungsparameter $\\beta_1 = 2, \\, \\, \\sigma^2 = 1, \\, \\, n = 10, \\, \\, \\gamma = 0.95"))
ylimits = list(c(-3,5), c(1,3.5))
mp      = c(4,3)
par(
    family      = "sans",
    mfcol       = c(2,1),
    pty         = "m",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(3,2,0),
    xaxs        = "i",
    yaxs        = "i",
    xpd         = TRUE,
    font.main   = 1,
    cex         = 1,
    cex.main    = 1)

# Iteration über Betaparameterkomponenten
for(j in 1:p){
    P_idx = rep(NaN,nsim)                                         # nicht überdeckende KIs für Visualisierung
    P_idx[beta[j] < kappa[,1,j] | beta[j] > kappa[,2,j]] = mp[j]  # Marker-Positionen nicht überdeckter KIs
    plot(1:nsim, beta_hat[j,],
        type    = "p",
        ylim    = ylimits[[j]],
        xlim    = c(0,102),
        xlab    = "Simulationen",
        ylab    = "",
        pch     =  19,
        cex     =  .5,
        main    = labels[j])
    arrows(
        x0      = 1:nsim,
        y0      = kappa[,1,j],
        x1      = 1:nsim,
        y1      = kappa[,2,j],
        code    = 3,
        angle   = 90,
        length  = 0.01,
        lwd     = .7)
    lines(1:nsim, rep(beta[j],nsim),
        col      = "gray80",
        lty      = 1)
    lines(1:nsim, P_idx,
        type    = "p",
        pch     = 13,
        col     = "darkorange")
}

# Speichern
dev.copy2pdf(
    file        = "Abbildungen/elr_konfidenzintervalle.pdf",
    width       = 9,
    height      = 7)
```

```{r, echo = F, out.width = "90%", fig.align = "center"}
knitr::include_graphics("Abbildungen/elr_konfidenzintervalle.pdf")
```


<!-- Anhang: Selbstkontrollfragen -->
#

\large
\setstretch{3}
\vfill

T-Zufallsvariablen

T-Statistiken

Konfidenzintervalle

**Selbstkontrollfragen**

\vfill


<!-- Selbstkontrollfragen -->
# Selbstkontrollfragen

\footnotesize
\setstretch{1.8}
1. Geben Sie die Definition einer $t$-Zufallsvariable wieder.
1. Geben Sie die Definition einer nichtzentralen $t$-Zufallsvariable wieder.
1. Skizzieren Sie die WDFen von $t$-Zufallsvariablen mit Freiheitsgradparametern 2, 10 und 30.
1. Skizzieren Sie die WDFen von nichtzentralen $t$-Zufallsvariablen mit Nichtzentralitätsparametern 0, 5 und 15.
1. Erläutern Sie den Begriff des Kontrastgewichtsvektors.
1. Geben Sie die Definition der T-Statistik wieder.
1. Erläutern Sie für die T-Statistik die Bedeutung der Wahl von $c \in \mathbb{R}^p$.
1. Erläutern Sie für die T-Statistik die Bedeutung der Wahl von $\beta_0 \in \mathbb{R}^p$.
1. Wann und warum kann die T-Statistik als Signal-zu-Rauschen-Verhältnis interpretiert werden?
1. Geben Sie das Theorem zur Verteilung der T-Statistik wieder.
1. Geben Sie die Formel für die T-Statistik im ALM-Szenario von unabhängig und identisch normalverteilten Zufallsvariablen wieder.
1. Erläutern Sie den Zusammenhang zwischen der T-Statistik und Cohen's $d$.
1. Geben Sie das Theorem zu Konfidenintervallen für Betaparameterkomponenten wieder.
1. Geben Sie die Formel für das Konfidenzintervall des Erwartungswertparameters im ALM-Szenario von unabhängig und identisch normalverteilten Zufallsvariablen wieder.


<!-- Literatur -->
# Referenzen