% Options for packages loaded elsewhere
\PassOptionsToPackage{unicode}{hyperref}
\PassOptionsToPackage{hyphens}{url}
%
\documentclass[
  8pt,
  ignorenonframetext,
]{beamer}
\usepackage{pgfpages}
\setbeamertemplate{caption}[numbered]
\setbeamertemplate{caption label separator}{: }
\setbeamercolor{caption name}{fg=normal text.fg}
\beamertemplatenavigationsymbolsempty
% Prevent slide breaks in the middle of a paragraph
\widowpenalties 1 10000
\raggedbottom
\setbeamertemplate{part page}{
  \centering
  \begin{beamercolorbox}[sep=16pt,center]{part title}
    \usebeamerfont{part title}\insertpart\par
  \end{beamercolorbox}
}
\setbeamertemplate{section page}{
  \centering
  \begin{beamercolorbox}[sep=12pt,center]{part title}
    \usebeamerfont{section title}\insertsection\par
  \end{beamercolorbox}
}
\setbeamertemplate{subsection page}{
  \centering
  \begin{beamercolorbox}[sep=8pt,center]{part title}
    \usebeamerfont{subsection title}\insertsubsection\par
  \end{beamercolorbox}
}
\AtBeginPart{
  \frame{\partpage}
}
\AtBeginSection{
  \ifbibliography
  \else
    \frame{\sectionpage}
  \fi
}
\AtBeginSubsection{
  \frame{\subsectionpage}
}
\usepackage{amsmath,amssymb}
\usepackage{lmodern}
\usepackage{iftex}
\ifPDFTeX
  \usepackage[T1]{fontenc}
  \usepackage[utf8]{inputenc}
  \usepackage{textcomp} % provide euro and other symbols
\else % if luatex or xetex
  \usepackage{unicode-math}
  \defaultfontfeatures{Scale=MatchLowercase}
  \defaultfontfeatures[\rmfamily]{Ligatures=TeX,Scale=1}
\fi
% Use upquote if available, for straight quotes in verbatim environments
\IfFileExists{upquote.sty}{\usepackage{upquote}}{}
\IfFileExists{microtype.sty}{% use microtype if available
  \usepackage[]{microtype}
  \UseMicrotypeSet[protrusion]{basicmath} % disable protrusion for tt fonts
}{}
\makeatletter
\@ifundefined{KOMAClassName}{% if non-KOMA class
  \IfFileExists{parskip.sty}{%
    \usepackage{parskip}
  }{% else
    \setlength{\parindent}{0pt}
    \setlength{\parskip}{6pt plus 2pt minus 1pt}}
}{% if KOMA class
  \KOMAoptions{parskip=half}}
\makeatother
\usepackage{xcolor}
\newif\ifbibliography
\usepackage{color}
\usepackage{fancyvrb}
\newcommand{\VerbBar}{|}
\newcommand{\VERB}{\Verb[commandchars=\\\{\}]}
\DefineVerbatimEnvironment{Highlighting}{Verbatim}{commandchars=\\\{\}}
% Add ',fontsize=\small' for more characters per line
\usepackage{framed}
\definecolor{shadecolor}{RGB}{248,248,248}
\newenvironment{Shaded}{\begin{snugshade}}{\end{snugshade}}
\newcommand{\AlertTok}[1]{\textcolor[rgb]{0.94,0.16,0.16}{#1}}
\newcommand{\AnnotationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\AttributeTok}[1]{\textcolor[rgb]{0.77,0.63,0.00}{#1}}
\newcommand{\BaseNTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\BuiltInTok}[1]{#1}
\newcommand{\CharTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\CommentTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\CommentVarTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ConstantTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ControlFlowTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\DataTypeTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{#1}}
\newcommand{\DecValTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\DocumentationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ErrorTok}[1]{\textcolor[rgb]{0.64,0.00,0.00}{\textbf{#1}}}
\newcommand{\ExtensionTok}[1]{#1}
\newcommand{\FloatTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\FunctionTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ImportTok}[1]{#1}
\newcommand{\InformationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\KeywordTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\NormalTok}[1]{#1}
\newcommand{\OperatorTok}[1]{\textcolor[rgb]{0.81,0.36,0.00}{\textbf{#1}}}
\newcommand{\OtherTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{#1}}
\newcommand{\PreprocessorTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\RegionMarkerTok}[1]{#1}
\newcommand{\SpecialCharTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\SpecialStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\StringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\VariableTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\VerbatimStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\WarningTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\setlength{\emergencystretch}{3em} % prevent overfull lines
\providecommand{\tightlist}{%
  \setlength{\itemsep}{0pt}\setlength{\parskip}{0pt}}
\setcounter{secnumdepth}{-\maxdimen} % remove section numbering
\newlength{\cslhangindent}
\setlength{\cslhangindent}{1.5em}
\newlength{\csllabelwidth}
\setlength{\csllabelwidth}{3em}
\newlength{\cslentryspacingunit} % times entry-spacing
\setlength{\cslentryspacingunit}{\parskip}
\newenvironment{CSLReferences}[2] % #1 hanging-ident, #2 entry spacing
 {% don't indent paragraphs
  \setlength{\parindent}{0pt}
  % turn on hanging indent if param 1 is 1
  \ifodd #1
  \let\oldpar\par
  \def\par{\hangindent=\cslhangindent\oldpar}
  \fi
  % set entry spacing
  \setlength{\parskip}{#2\cslentryspacingunit}
 }%
 {}
\usepackage{calc}
\newcommand{\CSLBlock}[1]{#1\hfill\break}
\newcommand{\CSLLeftMargin}[1]{\parbox[t]{\csllabelwidth}{#1}}
\newcommand{\CSLRightInline}[1]{\parbox[t]{\linewidth - \csllabelwidth}{#1}\break}
\newcommand{\CSLIndent}[1]{\hspace{\cslhangindent}#1}
% type setting
% ------------------------------------------------------------------------------
\usepackage[german]{babel}     

% fonts
% ------------------------------------------------------------------------------
\usefonttheme{professionalfonts}

% slide title and horizontal line
% ------------------------------------------------------------------------------
\setbeamertemplate{frametitle}{%
    \vskip-30pt \color{black}\large%
    \begin{minipage}[b][23pt]{120mm}%
    \flushleft\insertframetitle%
    \end{minipage}%
}

\setbeamertemplate{headline}										
{
\vskip10pt\hfill\hspace{3.5mm} 										 
\vskip15pt\color{black}\rule{\textwidth}{0.4pt} 					 
}

% slide number
% ---------------------------------------------------------------
\setbeamertemplate{navigation symbols}{}
\setbeamertemplate{footline}
{
\vskip5pt
\vskip2pt
\makebox[123mm]{\hspace{7.5mm}
\hfill Allgemeines Lineares Modell $\vert$ 
\copyright $ $ 2022 Dirk Ostwald CC BY-NC-SA 4.0 $\vert$ 
Folie \insertframenumber}
\vskip4pt
}

% block color scheme
% ------------------------------------------------------------------------------
% colors
\definecolor{white}{RGB}{255,255,255}
\definecolor{grey}{RGB}{235,235,235}
\definecolor{lightgrey}{RGB}{245,245,245}
\definecolor{LightBlue}{RGB}{220,220,255}
\definecolor{darkblue}{RGB}{51, 51, 153}

% definitions and theorems
\setbeamercolor{block title}{fg = black, bg = grey}
\setbeamercolor{block body}{fg = black, bg = lightgrey}

% general line spacing 
% ------------------------------------------------------------------------------
\linespread{1.3}

% local line spacing
% ------------------------------------------------------------------------------
\usepackage{setspace}

% colors
% -----------------------------------------------------------------------------
\usepackage{color}

% justified text
% ------------------------------------------------------------------------------
\usepackage{ragged2e}
\usepackage{etoolbox}
\apptocmd{\frame}{}{\justifying}{}

% bullet point lists
% -----------------------------------------------------------------------------
\setbeamertemplate{itemize item}[circle]
\setbeamertemplate{itemize subitem}[circle]
\setbeamertemplate{itemize subsubitem}[circle]
\setbeamercolor{itemize item}{fg = black}
\setbeamercolor{itemize subitem}{fg = black}
\setbeamercolor{itemize subsubitem}{fg = black}
\setbeamercolor{enumerate item}{fg = black}
\setbeamercolor{enumerate subitem}{fg = black}
\setbeamercolor{enumerate subsubitem}{fg = black}
\setbeamerfont{itemize/enumerate body}{}
\setbeamerfont{itemize/enumerate subbody}{size = \normalsize}
\setbeamerfont{itemize/enumerate subsubbody}{size = \normalsize}

% color links
% ------------------------------------------------------------------------------
\usepackage{hyperref}
\definecolor{urls}{RGB}{204,0,0}
\hypersetup{colorlinks, citecolor = darkblue, urlcolor = urls}


% additional math commands
% ------------------------------------------------------------------------------
\usepackage{bm}     
\newcommand{\niton}{\not\owns}
\DeclareMathOperator*{\intinf}{\int_{-\infty}^{\infty}}
\DeclareSymbolFont{extraitalic}      {U}{zavm}{m}{it}
\DeclareMathSymbol{\Qoppa}{\mathord}{extraitalic}{161}
\DeclareMathSymbol{\qoppa}{\mathord}{extraitalic}{162}

% text highlighting
% ------------------------------------------------------------------------------
\usepackage{soul}
\makeatletter
\let\HL\hl
\renewcommand\hl{%
  \let\set@color\beamerorig@set@color
  \let\reset@color\beamerorig@reset@color
  \HL}
\makeatother

% equation highlighting
% -----------------------------------------------------------------------------
\newcommand{\highlight}[2][yellow]{\mathchoice%
  {\colorbox{#1}{$\displaystyle#2$}}%
  {\colorbox{#1}{$\textstyle#2$}}%
  {\colorbox{#1}{$\scriptstyle#2$}}%
  {\colorbox{#1}{$\scriptscriptstyle#2$}}}%

% additional mathematical operators
% ------------------------------------------------------------------------------
\DeclareMathOperator*{\argmax}{arg\,max}
\DeclareMathOperator*{\argmin}{arg\,min}

\ifLuaTeX
  \usepackage{selnolig}  % disable illegal ligatures
\fi
\IfFileExists{bookmark.sty}{\usepackage{bookmark}}{\usepackage{hyperref}}
\IfFileExists{xurl.sty}{\usepackage{xurl}}{} % add URL line breaks if available
\urlstyle{same} % disable monospaced font for URLs
\hypersetup{
  hidelinks,
  pdfcreator={LaTeX via pandoc}}

\author{}
\date{\vspace{-2.5em}}

\begin{document}

\begin{frame}[plain]{}
\protect\hypertarget{section}{}
\center

\begin{center}\includegraphics[width=0.2\linewidth]{7_Abbildungen/alm_7_otto} \end{center}

\vspace{2mm}

\huge

Allgemeines Lineares Modell \vspace{6mm}

\large

BSc Psychologie SoSe 2022

\vspace{6mm}
\normalsize

Prof.~Dr.~Dirk Ostwald
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-1}{}
\center
\huge
\vfill

\noindent (7) Modellevaluation \vfill
\end{frame}

\begin{frame}{Überblick}
\protect\hypertarget{uxfcberblick}{}
\large

Naturwissenschaft \vspace{7mm}

\begin{center}\includegraphics[width=0.9\linewidth]{7_Abbildungen/alm_7_wissenschaft} \end{center}
\end{frame}

\begin{frame}{Überblick}
\protect\hypertarget{uxfcberblick-1}{}
\vspace{1mm}
\normalsize

Modellformulierung \vspace{1mm} \small \begin{equation}
y = X\beta + \varepsilon, \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation} \vspace{5mm}

\normalsize

Modellschätzung \small \begin{equation}
\hat{\beta} = (X^TX)^{-1} X^Ty,  \hat{\sigma}^2 = \frac{(y - X\hat{\beta})^T(y - X\hat{\beta})}{n-p}
\end{equation} \vspace{4mm}

\normalsize

Modellevaluation \small \begin{equation}
T = \frac{c^T\hat{\beta} - c^T\beta_0}{\sqrt{\hat{\sigma}^2c^T(X^TX)^{-1}c}}, 
F = \frac{(\hat{\varepsilon}_1^T\hat{\varepsilon}_1 - \hat{\varepsilon}^T\hat{\varepsilon})/p_2}{\hat{\varepsilon}^T\hat{\varepsilon}/(n-p)}
\end{equation}
\end{frame}

\begin{frame}{Überblick}
\protect\hypertarget{uxfcberblick-2}{}
Standardprobleme Frequentistischer Inferenz \small

\noindent (1) Parameterschätzung

Ziel der Parameterschätzung ist es, einen möglichst guten Tipp für die
wahren, aber unbekannten, Parameterwerte (oder eine Funktion derer)
abzugeben, typischerweise basierend auf der Beobachtung einer
Datenrealisierung. \vspace{2mm}

\noindent (2) Konfidenzintervalle

Das Ziel der Bestimmung von Konfidenzintervallen ist es, basierend auf
der Verteilung möglicher Parameterschätzwerte eine quantitative Aussage
über die mit dem Schätzwert assoziierte Unsicherheit zu treffen.
\vspace{2mm}

\noindent (3) Hypothesentests

Das Ziel der Auswertung von Hypothesentests ist es, basierend auf der
angenommenen Verteilung der Daten in einer möglichst sinnvollen Form zu
entscheiden, ob ein wahrer, aber unbekannter Parameterwert, sich in
einer von zwei sich gegenseitig ausschließenden Untermengen des
Parameterraumes, welche man als Hypothesen bezeichnet, liegt.
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-2}{}
\center

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/alm_7_frequentistische_inferenz} \end{center}
\center
\footnotesize

\(\theta := (\beta,\sigma^2)\),
\(\Theta := \mathbb{R}^p \times \mathbb{R}_{>0}\)
\(\mathbb{P}_\theta(y) := \mathbb{P}_{\beta,\sigma^2}(y)\) mit WDF
\(p_{\beta,\sigma^2}(\upsilon) := N(\upsilon;X\beta,\sigma^2I_n)\)
\end{frame}

\begin{frame}{Überblick}
\protect\hypertarget{uxfcberblick-3}{}
\small

Standardannahmen Frequentistischer Inferenz

\footnotesize
\setstretch{1.2}

Gegeben sei ein statistisches Modell. Es wird angenommen, dass ein
vorliegender Datensatz eine der möglichen Realisierungen der Daten des
Modells ist. Aus Frequentistischer Sicht kann man unendlich oft
Datensätze basierend auf einem Modell generieren und zu jedem Datensatz
Schätzer oder Statistiken auswerten, z.B. den Betaparameterschätzer
\vspace{1mm}

\begin{itemize}
\item[] Datensatz (1) : $y^{(1)} = \left(y_1^{(1)}, y_2^{(1)}, ...,y_n^{(1)}\right)^T$  mit $\hat{\beta}^{(1)} = (X^TX)^{-1}X^Ty^{(1)}$
\item[] Datensatz (2) : $y^{(2)} = \left(y_1^{(2)}, y_2^{(2)}, ...,y_n^{(2)}\right)^T$  mit $\hat{\beta}^{(2)} = (X^TX)^{-1}X^Ty^{(2)}$
\item[] Datensatz (3) : $y^{(3)} = \left(y_1^{(3)}, y_2^{(3)}, ...,y_n^{(3)}\right)^T$  mit $\hat{\beta}^{(3)} = (X^TX)^{-1}X^Ty^{(3)}$
\item[] Datensatz (4) : $y^{(4)} = \left(y_1^{(4)}, y_2^{(4)}, ...,y_n^{(4)}\right)^T$  mit $\hat{\beta}^{(4)} = (X^TX)^{-1}X^Ty^{(4)}$
\item[] Datensatz (5) : $y^{(5)} = ...$
\end{itemize}

\vspace{1mm}

Um die Qualität statistischer Methoden zu beurteilen betrachtet die
Frequentistische Statistik die Wahrscheinlichkeitsverteilungen von
Schätzern und Statistiken unter Annahme der Datenverteilung. Was zum
Beispiel ist die Verteilung von \(\hat{\beta}^{(1)}\),
\(\hat{\beta}^{(2)}\), \(\hat{\beta}^{(3)}\), \(\hat{\beta}^{(4)}\),
\ldots{} also die Verteilung der Zufallsvariable
\(\hat{\beta} := (X^TX)^{-1}X^Ty\)? Wenn eine statistische Methode im
Sinne der Frequentistischen Standardannahmen ``gut'' ist, dann heißt das
also, dass sie bei häufiger Anwendung ``im Mittel gut'' ist. Im
Einzelfall, also im Normalfall nur eines vorliegenden Datensatzes, kann
sie auch ``schlecht'' sein.
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-3}{}
\vfill
\large
\setstretch{2.5}

Schätzerverteilungen

T-Statistiken

F-Statistiken

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-4}{}
\vfill
\large
\setstretch{2.5}

\textbf{Schätzerverteilungen}

T-Statistiken

F-Statistiken

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen}{}
Überblick \setstretch{2} \footnotesize

\begin{itemize}
\tightlist
\item
  \justifying Unter den Standadannahmen der Frequentistischen Inferenz
  kann man fragen, wie \(\hat{\beta}\) und \(\hat{\sigma}^2\) verteilt
  sind.
\item
  Das erste Theorem dieses Abschnitts besagt, dass \(\hat{\beta}\)
  multivariat normalverteilt ist
\item
  Das zweite Theorem dieses Abschnitts besagt, dass eine skalierte
  Version von \(\hat{\sigma}^2\) \(\chi^2\)-verteilt ist.
\item
  Diese Ergebnisse sind sehr ähnlich zu den Ergebnissen aus (7)
  Transformationen der Normalverteilung in WTFI.
\item
  T- und F-Statistiken sind Funktionen von \(\hat{\beta}\) und
  \(\hat{\sigma}^2\).
\item
  Die Verteilungen von \(\hat{\beta}\) und \(\hat{\sigma}^2\) bilden die
  Grundlage der Verteilungen der T- und F-Statistiken.
\item
  In der konkreten Datenanalyse eines Datensatzes \(y\) berechnet man
  genau ein \(\hat{\beta}\) und ein \(\hat{\sigma}^2\).
\item
  Probabilistische Aussagen über die aus diesen \(\hat{\beta}\) und
  \(\hat{\sigma}^2\) berechneten T- und F-Statistiken beziehen sich auf
  die Standardannahmen Frequentistischer Inferenz und weren vor diesem
  Hintergrund verstanden.
\end{itemize}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-1}{}
\footnotesize
\begin{theorem}[Frequentistische Verteilung des Betaparameterschätzers]
\justifying
\normalfont
Es sei
\begin{equation}
y = X\beta + \varepsilon \mbox{ mit } \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
das ALM in generativer Form. Weiterhin sei
\begin{equation}
\hat{\beta} := (X^TX)^{-1}X^Ty
\end{equation}
der Betaparameterschätzer. Dann gilt
\begin{equation}
\hat{\beta} \sim N(\beta,\sigma^2(X^T X)^{-1}).
\end{equation}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  \justifying Es gilt also wie bereits gesehen
  \(\mathbb{E}(\hat{\beta}) = \beta\) und außerdem
  \(\mathbb{C}(\hat{\beta}) = \sigma^2(X^TX)^{-1}\).
\item
  Die Varianzen der Komponenten von \(\hat{\beta}\) sind die
  Diagonalelemente von \(\mathbb{C}(\hat{\beta})\), also
  \begin{equation}
  \mathbb{V}(\hat{\beta}_i) = (\sigma^2(X^TX)^{-1})_{ii} \mbox{ für } i = 1,...p.
  \end{equation}
\item
  Die Streuung von \(\hat{\beta}\) hängt von \(\sigma^2\) und der
  Designmatrix \(X\) ab. \(\sigma^2\) ist ein experimentell nicht zu
  beinflussender wahrer, aber unbekannter, Parameter \(X\) dagegen kann
  so gewählt werden, um zum Beispiel die Diagonalelemente von
  \(\mathbb{C}(\hat{\beta})\) bei festem \(\sigma^2\) zu minimieren.
\end{itemize}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-2}{}
\footnotesize

\underline{Beweis}

Das Theorem folgt direkt mit dem Theorem zur linearen Transformation von
multivariaten Normalverteilung aus Einheit (4) Normalverteilungen.
Speziell gilt hier: \begin{equation}
\hat{\beta}
\sim
N\left(
(X^{T}X)^{-1}X^{T}X\beta,
(X^{T}X)^{-1}X^{T}(\sigma^{2}I_{n})((X^{T}X)^{-1}X^{T})^{T}
\right).
\end{equation} Dabei können der Erwartungswertparameter wie folgt
\begin{equation}
(X^{T}X)^{-1}X^{T}X\beta = \beta,
\end{equation} und der Kovarianzmatrixparamter wie folgt \begin{align}
\begin{split}
(X^{T}X)^{-1}X^{T}(\sigma^{2}I_{n})((X^{T}X)^{-1}X^{T})^{T}
&  =(X^{T}X)^{-1}X^{T}(\sigma^{2}I_{n})X(X^{T}X)^{-1}               \\
&  =\sigma^{2}(X^{T}X)^{-1}X^{T}X(X^{T}X)^{-1}                      \\
&  =\sigma^{2}(X^{T}X)^{-1}.
\end{split}
\end{align} Dabei hier die erste Gleichung aus der Tatsache, dass sowohl
\(X^{T}X\) als auch ihre Inverse \((X^{T}X)^{-1}\) symmetrische Matrizen
sind. Damit folgt dann aber sofort \begin{equation}
\hat{\beta} \sim N(\beta,\sigma^2(X^T X )^{-1}).
\end{equation}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-3}{}
Beispiel (1) Unabhängige und identisch normalverteilte Zufallsvariablen
\vspace{1mm}

\footnotesize

Es sei \begin{equation}
y \sim N(X\beta,\sigma^2 I_n)
\mbox{ mit }
X := 1_n \in \mathbb{R}^{n\times 1},
\beta := \mu \in \mathbb{R}
\mbox{ und } \sigma^2 > 0.
\end{equation} das ALM Szenario unabhängiger und identisch
normalverteilter Zufallsvariablen. Wir haben bereits gesehen, dass
\(\hat{\beta} = \bar{y}\). Das Theorem zur Frequentistischen Verteilung
des Betaparameterschätzers impliziert damit \begin{equation}
\bar{y} \sim N\left(\mu, \frac{\sigma^2}{n}\right).
\end{equation} Das Stichprobenmittel von \(n\) unabhängigen und
identisch normalverteilten Zufallsvariablen mit Erwartungswertparameter
\(\mu\) und Varianzparameter \(\sigma^2\) ist also normalverteilt mit
Erwartungswertparameter \(\mu\) und Varianzparameter \(\sigma^2/n\). Wir
haben diese Tatsache bereits in Einheit (7) Transformationen der
Normalverteilungen in Wahrscheinlichkeitstheorie und Frequentistische
Inferenz unter dem Begriff der Mittelwertstransformation kennengelernt.
\end{frame}

\begin{frame}[fragile]{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-4}{}
Beispiel (1) Unabhängige und identisch normalverteilte Zufallsvariablen
\vspace{2mm}

\setstretch{1}
\footnotesize

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Multivariate Normalverteilung}
\FunctionTok{library}\NormalTok{(MASS)}

\CommentTok{\# Modellformulierung}
\NormalTok{n        }\OtherTok{=} \DecValTok{12}                                      \CommentTok{\# Anzahl von Datenpunkten}
\NormalTok{p        }\OtherTok{=} \DecValTok{1}                                       \CommentTok{\# Anzahl von Betparametern}
\NormalTok{X        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n), }\AttributeTok{nrow =}\NormalTok{ n)              }\CommentTok{\# Designmatrix}
\NormalTok{I\_n      }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)                                 }\CommentTok{\# n x n Einheitsmatrix}
\NormalTok{beta     }\OtherTok{=} \DecValTok{2}                                       \CommentTok{\# wahrer, aber unbekannter, Betaparameter}
\NormalTok{sigsqr   }\OtherTok{=} \DecValTok{1}                                       \CommentTok{\# wahrer, aber unbekannter, Varianzparameter}

\CommentTok{\# Frequentistische Simulation}
\NormalTok{nsim     }\OtherTok{=} \FloatTok{1e4}                                     \CommentTok{\# Anzahl Realisierungen des n{-}dimensionalen ZVs}
\NormalTok{beta\_hat }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,nsim)                           }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\} Realisierungsarray}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nsim)\{}
\NormalTok{  y           }\OtherTok{=} \FunctionTok{mvrnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, X }\SpecialCharTok{\%*\%}\NormalTok{ beta, sigsqr}\SpecialCharTok{*}\NormalTok{I\_n) }\CommentTok{\# eine Realisierung eines n{-}dimensionalen ZVs}
\NormalTok{  beta\_hat[i] }\OtherTok{=} \FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ X) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ y   }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\} = (X\^{}T)X\^{}\{{-}1\}X\^{}Ty}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-5}{}
Beispiel (1) Unabhängige und identisch normalverteilte Zufallsvariablen
\vspace{3mm}

\center
\small

\(N\left(\hat{\mu}; \mu,\frac{\sigma^2}{n}\right)\)

\begin{center}\includegraphics[width=0.5\linewidth]{7_Abbildungen/alm_7_beta_hat_1} \end{center}
\vfill
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-6}{}
Beispiel (2) Einfache lineare Regression \vspace{1mm}

\footnotesize

Es sei \begin{equation}
y \sim N(X\beta, \sigma^2I_n) \mbox{ with}
\begin{pmatrix}
1       & x_1       \\
\vdots  & \vdots    \\
1       & x_n
\end{pmatrix}
\in \mathbb{R}^{n\times 2},
\beta
\in \mathbb{R}^2,
\sigma^2 > 0.
\end{equation} das ALM Szenario der einfachen linearen Regression. Wir
haben bereits gesehen, dass \begin{equation}
\sigma^2(X^TX)^{-1}
=
\frac{\sigma^2}{s_{xx}}
\begin{pmatrix}
  \frac{s_{xx}}{n} + \bar{x}^2
& -\bar{x}
\\
  -\bar{x}
&  1
\end{pmatrix}
\mbox{ mit  }
s_{xx} := \sum_{i=1}^n (x_i - \bar{x})^2.
\end{equation} Die Varianz des Offsetparameterschätzers hängt also
sowohl von der Summe der quadrierten Differenzen und dem
Stichprobenmittel der unabhängigen Variablen \(x_1,...,x_n\) ab,
wohingegen die Varianz des Steigungsparameterschätzers nur von der Summe
der quadrierten Differenzen der \(x_1,...,x_n\) abhängt. Die Kovarianz
von Offset- und Steigungsparameterschätzern hängt vom Mittelwert der
\(x_1,...,x_n\) ab.
\end{frame}

\begin{frame}[fragile]{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-7}{}
Beispiel (2) Einfache lineare Regression \vspace{1mm} \setstretch{1.2}
\footnotesize

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Multivariate Normalverteilung und Matrizenrechnung}
\FunctionTok{library}\NormalTok{(MASS)}
\FunctionTok{library}\NormalTok{(matlib)}

\CommentTok{\# Modellformulierung}
\NormalTok{n        }\OtherTok{=} \DecValTok{10}                                         \CommentTok{\# Anzahl von Datenpunkten}
\NormalTok{p        }\OtherTok{=} \DecValTok{2}                                          \CommentTok{\# Anzahl von Betparametern}
\NormalTok{x        }\OtherTok{=} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n                                        }\CommentTok{\# Prädiktorwerte}
\NormalTok{X        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n),x), }\AttributeTok{nrow =}\NormalTok{ n)            }\CommentTok{\# Designmatrix}
\NormalTok{I\_n      }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)                                    }\CommentTok{\# n x n Einheitsmatrix}
\NormalTok{beta     }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ p)                   }\CommentTok{\# wahrer,aber unbekannter,Betaparameter}
\NormalTok{sigsqr   }\OtherTok{=}\NormalTok{ .}\DecValTok{5}                                         \CommentTok{\# wahrer,aber unbekannter,Varianzparameter}

\CommentTok{\# Frequentistische Simulation}
\NormalTok{nsim     }\OtherTok{=} \DecValTok{10}                                         \CommentTok{\# Anzahl Realisierungen n{-}dimensionaler ZV}
\NormalTok{y        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,n}\SpecialCharTok{*}\NormalTok{nsim), }\AttributeTok{nrow =}\NormalTok{ n)          }\CommentTok{\# y Realisierungsarray}
\NormalTok{beta\_hat }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,p}\SpecialCharTok{*}\NormalTok{nsim), }\AttributeTok{nrow =}\NormalTok{ p)          }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\} Realisierungsarray}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nsim)\{}
\NormalTok{  y[,i]        }\OtherTok{=} \FunctionTok{mvrnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, X }\SpecialCharTok{\%*\%}\NormalTok{ beta, sigsqr}\SpecialCharTok{*}\NormalTok{I\_n)   }\CommentTok{\# eine Realisierung n{-}dimensionaler ZV}
\NormalTok{  beta\_hat[,i] }\OtherTok{=} \FunctionTok{inv}\NormalTok{(}\FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ X) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ y[,i]   }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\} = (X\^{}T)X\^{}\{{-}1\}X\^{}Ty}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-8}{}
Beispiel (2) Einfache lineare Regression

\vspace{4mm}
\center

\(\quad\quad\quad\quad y \sim (X\beta,\sigma^2I_n)\) \hspace{3cm}
\(\hat{\beta} \sim N(\beta,\sigma^2(X^TX)^{-1})\)

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/alm_7_beta_hat_2} \end{center}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-9}{}
\footnotesize
\begin{theorem}[Frequentistische Verteilung des Varianzparameterschätzers]
\normalfont
\justifying
Es sei
\begin{equation}
y = X\beta + \varepsilon \mbox{ mit } \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
das ALM in generative Form. Weiterhin sei
\begin{equation}
\hat{\sigma}^2 = \frac{(y - X\hat{\beta})^T(y - X\hat{\beta})}{n-p}
\end{equation}
der Varianzparameterschätzer. Dann gilt
\begin{equation}
\frac{n-p}{\sigma^2}\hat{\sigma}^2 \sim \chi^2(n-p)
\end{equation}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\item
  Da es sich bei \((y - X\hat{\beta})^T(y - X\hat{\beta})\) um eine
  Summe normalverteilter Zufallsvariablen handelt, liegt die
  \(\chi^2\)-Verteilung im Lichte der \(\chi^2\) Transformation aus
  Einheit (7) Transformationen der Normalverteilung in
  Wahrscheinlichkeitstheorie und Frequentistische Inferenz nahe.
\end{itemize}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-10}{}
Beispiel (1) Unabhängige und identisch normalverteilte Zufallsvariablen
\vspace{1mm}

\footnotesize

Es sei \begin{equation}
y \sim N(X\beta,\sigma^2 I_n)
\mbox{ mit }
X := 1_n \in \mathbb{R}^{n\times 1},
\beta := \mu \in \mathbb{R}
\mbox{ und } \sigma^2 > 0.
\end{equation} das ALM Szenario unabhängiger und identisch
normalverteilter Zufallsvariablen. Wir haben bereits gesehen, dass in
diesem Fall \(\hat{\beta}\) mit dem Stichprobenmittel \(\bar{y}\)
identisch ist und dass \(\hat{\sigma}^2\) mit der Stichprobenvarianz
\(s^2_y\) übereinstimmt.

In Einheit (11) Konfidenzintervalle von Wahrscheinlichkeitstheorie und
Frequentistische Inferenz hatten wir für den Fall von \(n\) unabhängig
und identisch normalverteilten Zufallsvariablen die Statistik
\begin{equation}
U := \frac{n-1}{\sigma^2}s^2
\end{equation} definiert und festgehalten, dass \begin{equation}
U \sim \chi^2(n-1).
\end{equation} Offenbar ist \(U\) für \(p = 1\) mit der im obigen
Theorem betrachten Zufallsvariable
\(\frac{n-p}{\sigma^2}\hat{\sigma}^2\) identisch.
\end{frame}

\begin{frame}[fragile]{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-11}{}
Beispiel (2) Einfache lineare Regression \vspace{2mm} \setstretch{1.2}
\tiny

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Libraries}
\FunctionTok{library}\NormalTok{(MASS)                                        }\CommentTok{\# multivariate Normalverteilung}
\FunctionTok{library}\NormalTok{(matlib)                                      }\CommentTok{\# Matrizenrechnung}

\CommentTok{\# Modellformulierung}
\NormalTok{n          }\OtherTok{=} \DecValTok{10}                                      \CommentTok{\# Anzahl von Datenpunkten}
\NormalTok{p          }\OtherTok{=} \DecValTok{2}                                       \CommentTok{\# Anzahl von Betparametern}
\NormalTok{x          }\OtherTok{=} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n                                     }\CommentTok{\# Prädiktorwerte}
\NormalTok{X          }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n),x), }\AttributeTok{nrow =}\NormalTok{ n)         }\CommentTok{\# Designmatrix}
\NormalTok{I\_n        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)                                 }\CommentTok{\# n x n Einheitsmatrix}
\NormalTok{beta       }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ p)                }\CommentTok{\# wahrer,aber unbekannter,Betaparameter}
\NormalTok{sigsqr     }\OtherTok{=}\NormalTok{ .}\DecValTok{5}                                      \CommentTok{\# wahrer,aber unbekannter,Varianzparameter}

\CommentTok{\# Frequentistische Simulation}
\NormalTok{nsim       }\OtherTok{=} \FloatTok{1e3}                                      \CommentTok{\# Anzahl Realisierungen n{-}dimensionaler ZV}
\NormalTok{y          }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,n}\SpecialCharTok{*}\NormalTok{nsim), }\AttributeTok{nrow =}\NormalTok{ n)       }\CommentTok{\# y Realisierungsarray}
\NormalTok{beta\_hat   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,p}\SpecialCharTok{*}\NormalTok{nsim), }\AttributeTok{nrow =}\NormalTok{ p)       }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\} Realisierungsarray}
\NormalTok{sigsqr\_hat }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, nsim)                          }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}sigma\}\^{}2 Realisierungsarray}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nsim)\{}
\NormalTok{  y[,i]         }\OtherTok{=} \FunctionTok{mvrnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, X }\SpecialCharTok{\%*\%}\NormalTok{ beta, sigsqr}\SpecialCharTok{*}\NormalTok{I\_n) }\CommentTok{\# eine Realisierung n{-}dimensionaler ZV}
\NormalTok{  beta\_hat[,i]  }\OtherTok{=} \FunctionTok{inv}\NormalTok{(}\FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ X) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ y[,i] }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\}    = (X\^{}T)X\^{}\{{-}1\}X\^{}Ty}
\NormalTok{  eps\_hat       }\OtherTok{=}\NormalTok{ y[,i] }\SpecialCharTok{{-}}\NormalTok{ X }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat[,i]         }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}eps\}     = y{-}X\textbackslash{}hat\{\textbackslash{}beta\}}
\NormalTok{  sigsqr\_hat[i] }\OtherTok{=}\NormalTok{ (}\FunctionTok{t}\NormalTok{(eps\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ eps\_hat)}\SpecialCharTok{/}\NormalTok{(n}\SpecialCharTok{{-}}\NormalTok{p)     }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}sigma\}\^{}2 =\textbackslash{}hat\{\textbackslash{}eps\}\^{}T\textbackslash{}hat\{\textbackslash{}eps\}/(n{-}p)}
\NormalTok{\}}
\NormalTok{U }\OtherTok{=}\NormalTok{ ((n}\SpecialCharTok{{-}}\NormalTok{p)}\SpecialCharTok{/}\NormalTok{sigsqr)}\SpecialCharTok{*}\NormalTok{sigsqr\_hat                        }\CommentTok{\# \textbackslash{}chi\^{}2 verteilte Zufallsvariable}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Schätzerverteilungen}
\protect\hypertarget{schuxe4tzerverteilungen-12}{}
Beispiel (2) Einfache lineare Regression

\vspace{4mm}
\center

\(\quad\quad y \sim (X\beta,\sigma^2I_n)\) \hspace{3cm}
\(\frac{n-p}{\sigma^2}\hat{\sigma}^2 \sim \chi^2(n-p)\)

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/alm_7_sigsqr_hat_1} \end{center}
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-5}{}
\vfill
\large
\setstretch{2.5}

Schätzerverteilungen

\textbf{T-Statistiken}

F-Statistiken

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken}{}
Überblick \setstretch{1.6}

\footnotesize

\begin{itemize}
\item
  \justifying T-Statistiken quantifizieren die geschätzten Effekte in
  \(\hat{\beta}\) in bezug auf die Residualvariabilität
  \(\hat{\sigma}^2\). T-Statistiken sind also als Signal-zu-Rauschen
  Verhältnisse (signal-to-noise ratios) zu verstehen. \vspace{2mm}
\item
  \justifying T-Statistiken erlauben die Frequentistische Evaluation von
  linearen Kombinationen der \(\hat{\beta}\) Komponenten. Eine einfache
  Linearkombination von \(\hat{\beta}\) ist das Skalarprodukt meinem
  Einheitsvektor. Solch eine Linearkombination ``extrahiert'' eine
  Komponente von \(\hat{\beta}\) und erlaubt damit ihre Frequentistische
  Evaluation. \vspace{2mm}
\item
  \justifying T-Teststatistiken erlauben weiterhin die Evaluation von
  Linearkombinationen von \(\hat{\beta}\) im Sinne Frequentistischer
  Hypothesentests. Wir betrachten hier zunächst die nur die funktionale
  Form von T-Teststatistiken und ihre Frequentistische Verteilung. Der
  Einsatz von T-Teststatistiken im Rahmen von Einstich- und
  Zweistichproben T-Tests ist Inhalt von (9) T-Tests.
\end{itemize}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-1}{}
\footnotesize
\begin{definition}[$t$-Zufallsvariable]
\justifying
$T$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und WDF
\begin{equation}
p : \mathbb{R} \to \mathbb{R}_{>0}, t \mapsto p(t)
:= \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\Gamma\left(\frac{n}{2}\right)}
\left(1 + \frac{t^2}{n} \right)^{-\frac{n+1}{2}},
\end{equation}
wobei $\Gamma$ die Gammafunktion bezeichne. Dann sagen wir, dass $T$ einer
$t$-Verteilung mit $n$ Freiheitsgraden unterliegt und nennen $T$ eine $t$-Zufallsvariable
mit $n$ Freiheitsgraden. Wir kürzen dies mit $T \sim t(n)$ ab. Die WDF einer
$t$-Zufallsvariable bezeichnen wir mit
\begin{equation}
T(t;n) := \frac{\Gamma\left(\frac{n+1}{2}\right)}{\sqrt{n\pi}\Gamma\left(\frac{n}{2}\right)}
\left(1 + \frac{t^2}{n} \right)^{-\frac{n+1}{2}}.
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die Verteilung ist um 0 symmetrisch
\item
  Steigendes \(n\) verschiebt Wahrscheinlichkeitsmasse aus den Ausläufen
  zum Zentrum.
\item
  Ab \(n = 30\) gilt \(T(t;n) \approx N(0,1)\).
\end{itemize}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-2}{}
\vfill
\vspace{5mm}

\begin{center}\includegraphics[width=0.6\linewidth]{7_Abbildungen/alm_7_t_wdf} \end{center}
\vspace{-3mm}
\footnotesize
\end{frame}

\begin{frame}{\(T\)-Transformation}
\protect\hypertarget{t-transformation}{}
\footnotesize
\begin{theorem}[$T$-Transformation]
\justifying
\normalfont
$Z \sim N(0,1)$ sei eine  $Z$-Zufallsvariable, $U \sim \chi^2(n)$ sei eine
$\chi^2$-Zufallsvariable mit  $n$ Freiheitsgraden, und $Z$ und $U$ seien
unabhängige Zufallsvariablen. Dann ist die Zufallsvariable
\begin{equation}
T := \frac{Z}{\sqrt{U/n}}
\end{equation}
eine $t$-verteilte Zufallsvariable mit $n$ Freiheitsgraden, es gilt also $T \sim t(n)$.
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Das Theorem geht auf Student (1908) zurück.
\item
  Das Theorem ist das zentrale Resultat der Frequentistischen Statistik.
\item
  Zabell (2008) gibt hierzu einen historischen Überblick.
\item
  Die T-Statistik und T-Tests sind wichtige Anwendungsfälle.
\end{itemize}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-3}{}
\footnotesize
\begin{definition}[Nichtzentrale $t$-Zufallsvariable]
\justifying
$T$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und WDF
\begin{multline}
p : \mathbb{R} \to \mathbb{R}_{>0}, t \mapsto p(t) :=
\frac{1}{2^{\frac{n-1}{2}}\Gamma\left(\frac{n}{2} \right)(n \pi)^{\frac{1}{2}}} \\
\times \int_{0}^\infty \tau^{\frac{n-1}{2}} \exp\left(-\frac{\tau}{2}\right)
\exp\left(-\frac{1}{2}\left(t \left(\frac{\tau}{n}\right)^{\frac{1}{2}} - \delta \right)^2 \right)\,d\tau.
\end{multline}
Dann sagen wir, dass $T$ einer
nichtzentralen $t$-Verteilung mit Nichtzentralitätsparameter $\delta$ und
Freiheitsgradparameter $n$ unterliegt und nennen $T$ eine \textit{nichtzentrale
$t$-Zufallsvariable mit Nichtzentralitätsparameter $\delta$ und
Freiheitsgradparameter $n$}. Wir kürzen dies mit $t(\delta, n)$ ab. Die WDF einer
nichtzentralen $t$-Zufallsvariable bezeichnen wir mit
$t(T;\delta,n)$. Die KVF und inverse KVF einer nichtzentralen $t$-Zufallsvariable
bezeichnen wir mit $\psi(\cdot; \delta, n)$ und $\psi^{-1}(\cdot; \delta, n)$, respektive.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Eine nichtzentrale \(t\)-Zufallsvariable mit \(\delta = 0\) ist eine
  \(t\)-Zufallsvariable.
\item
  Es gilt also \(t(T;0,n) = t(T;n)\).
\item
  Die funktionale Form der WDF findet sich zum Beispiel in Lehmann
  (1986), Seite 254, Gl. (80).
\end{itemize}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-4}{}
Wahrscheinlichkeitsdichtefunktionen nichtzentraler \(t\)-Verteilungen
\vspace{4mm}

\begin{center}\includegraphics[width=0.8\linewidth]{7_Abbildungen/alm_7_nichtzentrale_t_verteilung} \end{center}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-5}{}
\footnotesize
\begin{theorem}[Nichtzentrale T-Transformation]
\normalfont
\justifying
$X \sim N(\mu,1)$ sei eine normalverteilte Zufallsvariable, $U \sim \chi^2(n)$
sei eine $\chi^2$ Zufallsvariable mit Freiheitsgradparameter $n$, und $X$ und
$U$ seien unabhängige Zufallsvariablen. Dann ist die Zufallsvariable
\begin{equation}
T := \frac{X}{\sqrt{U/n}}
\end{equation}
eine nichtzentrale $t$-Zufallsvariable mit Nichtzentralitätsparameter $\mu$ und
Freiheitsgradparameter $n$, es gilt also $T \sim t(\mu,n)$
\end{theorem}

Bemerkung

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\end{itemize}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-6}{}
\footnotesize
\begin{definition}[T-Statistik]
Es sei
\begin{equation}
y = X\beta + \varepsilon \mbox{ mit } \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
das ALM in generativer Form. Weiterhin seien
\begin{equation}
\hat{\beta} := (X^TX)^{-1}X^Ty \mbox{ und } \hat{\sigma}^2 := \frac{(y - X\hat{\beta})^T(y - X\hat{\beta})}{n-p}
\end{equation}
die Betaparameter- und Varianzparameterschätzer, respektive. Dann ist für einen
\textit{Kontrastgewichtsvektor} $c \in \mathbb{R}^p$ die \textit{T-Statistik} definiert als
\begin{equation}
T := \frac{c^T\hat{\beta}}{\sqrt{\hat{\sigma}^2c^T(X^TX)^{-1}c}}.
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die T-Statistik hängt via \(\hat{\beta}\) und \(\hat{\sigma}^2\) von
  den Daten \(y\) ab.
\item
  Der Kontrastgewichtsvektor projiziert \(\hat{\beta}\) auf einen Skalar
  \(c^T\hat{\beta}\).
\item
  Die folgende Intuition zur T-Statistik ist im Allgemeinen hilfreich
  \begin{equation}
  T = \frac{\mbox{Geschätzte Effektstärke}}{\mbox{Geschätzte stichprobenumfangskalierte Datenvariabilität}}
  \end{equation}
\item
  Intuitiv repräsentiert eine T-Statistik also ein Signal-zu-Rauschen
  Verhältnis.
\end{itemize}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-7}{}
Beispiel (1) Unabhängige und identisch normalverteilte Zufallsvariablen
\vspace{2mm} \footnotesize

Es sei \begin{equation}
y \sim N(X\beta,\sigma^2 I_n)
\mbox{ mit }
X := 1_n \in \mathbb{R}^{n\times 1},
\beta := \mu \in \mathbb{R}
\mbox{ und } \sigma^2 > 0.
\end{equation} das ALM Szenario unabhängiger und identisch
normalverteilter Zufallsvariablen und es sei \(c := 1\). Dann gilt für
die T-Statistik \begin{equation}
T
= \frac{c^T\hat{\beta}}{\sqrt{\hat{\sigma}^2c^T(X^TX)^{-1}c}}
= \frac{1^T\bar{y}}{\sqrt{s^2_y 1^T (1_n^T 1_n)^{-1}1}}
= \sqrt{n}\frac{\bar{y}}{s_y}
\end{equation} was der Einstichproben-T-Teststatistik für den Fall
\(\mu_0 = 0\) entspricht (vgl. Einheit (13) Einstichproben-T-Tests in
Wahrscheinlichkeitstheorie und Frequentistische Inferenz und Einheit (9)
T-Tests in Allgemeines Lineares Modell). Die hier betrachtete
T-Statistik nimmt hohe Werte für hohe Werte von \(\bar{y}\) (Effekt),
kleine Werte von \(s_y^2\) (Datenvariabilität) und hohe Werte von \(n\)
(Stichprobenumfang) an.

Eine beliebte Definition in diesem Zusammenhang ist \textit{Cohen's $d$}
als \textit{Effektstärkenmaß}. Es gilt \begin{equation}
d := \frac{\bar{y}}{s_y},
\end{equation} so dass \begin{equation}
T = \sqrt{n}d \mbox{ bzw. } d = \frac{1}{\sqrt{n}} T.
\end{equation} Cohen's \(d\) ist also ein stichprobenumfangunabhängiges
Signal-zu-Rauschen Verhältnis.
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-8}{}
\vspace{1mm}
\footnotesize
\begin{theorem}[T-Teststatistik]
\normalfont
\justifying
Es sei
\begin{equation}
y = X\beta + \varepsilon \mbox{ mit } \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
das ALM in generativer Form. Weiterhin seien
\begin{equation}
\hat{\beta} := (X^TX)^{-1}X^Ty \mbox{ und } \hat{\sigma}^2 := \frac{(y - X\hat{\beta})^T(y - X\hat{\beta})}{n-p}
\end{equation}
die Betaparameter- und Varianzparameterschätzer, respektive. Schließlich sei für
einen \textit{Kontrastgewichtsvektor} $c \in \mathbb{R}^p$ und
einen \textit{Nullhypothesenbetaparameter} $\beta_0 \in \mathbb{R}^p$
die \textit{T-Teststatistik} definiert als
\begin{equation}
T := \frac{c^T\hat{\beta} - c^T\beta_0}{\sqrt{\hat{\sigma}^2 c^T(X^TX)^{-1}c}}.
\end{equation}
Dann gilt
\begin{equation}
T \sim t(\delta, n-p) \mbox{ mit } \delta := \frac{c^T\beta - c^T\beta_0}{\sqrt{\sigma^2 c^T(X^TX)^{-1}c}}
\end{equation}
\end{theorem}
\vspace{-2mm}

Bemerkungen \vspace{-2mm}

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\item
  \(T\) ist eine Funktion der Parameterschätzer, \(\delta\) ist eine
  Funktion der wahren, aber unbekannten, Parameter
\item
  Für \(c^T\beta = c^T\beta_0\), also bei Zutreffen der Nullhypothese,
  gilt \(\delta = 0\) und damit \(T \sim t(n-p)\).
\item
  Für \(c^T\beta \neq c^T\beta_0\) kann die Verteilung von \(T\) zur
  Herleitung von Powerfunktionen benutzt werden..
\end{itemize}
\end{frame}

\begin{frame}[fragile]{T-Statistiken}
\protect\hypertarget{t-statistiken-9}{}
Simulation (1) Unabhängig und identische normalverteilte
Zufallsvariablen

\small

Wahre, aber unbekannte, Hypothesenszenarien \(c^T\beta = c^T\beta_0\)
und \(c^T\beta \neq c^T\beta_0\)

\vspace{2mm}
\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Libraries}
\FunctionTok{library}\NormalTok{(MASS)                                                  }\CommentTok{\# multivariate Normalverteilung}

\CommentTok{\# Modellformulierung}
\NormalTok{n          }\OtherTok{=} \DecValTok{12}                                                \CommentTok{\# Anzahl von Datenpunkten}
\NormalTok{p          }\OtherTok{=} \DecValTok{1}                                                 \CommentTok{\# Anzahl von Betaparametern}
\NormalTok{X          }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n)), }\AttributeTok{nrow =}\NormalTok{ n)                     }\CommentTok{\# Designmatrix}
\NormalTok{I\_n        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)                                           }\CommentTok{\# Einheitsmatrix}
\NormalTok{beta       }\OtherTok{=} \FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{)                                            }\CommentTok{\# wahre , aber unbekannte , Betaparameter}
\NormalTok{nscn       }\OtherTok{=} \FunctionTok{length}\NormalTok{(beta)                                      }\CommentTok{\# Anzahl wahrer, aber unbekannter, Hypothesenszenarien}
\NormalTok{sigsqr     }\OtherTok{=} \DecValTok{1}                                                 \CommentTok{\# wahrer, aber unbekannter, Varianzparameter}
\NormalTok{c          }\OtherTok{=} \DecValTok{1}                                                 \CommentTok{\# Kontrastvektor von Interessse}
\NormalTok{beta\_0     }\OtherTok{=} \DecValTok{0}                                                 \CommentTok{\# Nullhypothesenbetaparameter}

\CommentTok{\# Frequentistische Simulation}
\NormalTok{nsim       }\OtherTok{=} \FloatTok{1e4}                                               \CommentTok{\# Anzahl Simulationen}
\NormalTok{delta      }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, nscn)                                    }\CommentTok{\# Anzahl Nichtzentralitätsparameter}
\NormalTok{Tee        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, nscn}\SpecialCharTok{*}\NormalTok{nsim), }\AttributeTok{ncol =}\NormalTok{ nscn)          }\CommentTok{\# T{-}Teststatistik Realisierungsarray}
\ControlFlowTok{for}\NormalTok{(s }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nscn)\{                                              }\CommentTok{\# Hypothesenszenarien}
\NormalTok{  delta[s]    }\OtherTok{=}\NormalTok{ ((}\FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta[s] }\SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_0)}\SpecialCharTok{/}         \CommentTok{\# Nichtzentralitätsparameter}
                \FunctionTok{sqrt}\NormalTok{(sigsqr}\SpecialCharTok{*}\FunctionTok{t}\NormalTok{(c)}\SpecialCharTok{\%*\%}\FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X)}\SpecialCharTok{\%*\%}\NormalTok{X)}\SpecialCharTok{\%*\%}\NormalTok{c))}
  \ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nsim)\{                                            }\CommentTok{\# Simulationsiterationen}
\NormalTok{    y          }\OtherTok{=} \FunctionTok{mvrnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, X }\SpecialCharTok{\%*\%}\NormalTok{ beta[s], sigsqr}\SpecialCharTok{*}\NormalTok{I\_n)         }\CommentTok{\# y}
\NormalTok{    beta\_hat   }\OtherTok{=} \FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ X) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ y              }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\}}
\NormalTok{    eps\_hat    }\OtherTok{=}\NormalTok{ y }\SpecialCharTok{{-}}\NormalTok{ X }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat                            }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}eps\}}
\NormalTok{    sigsqr\_hat }\OtherTok{=}\NormalTok{ (}\FunctionTok{t}\NormalTok{(eps\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ eps\_hat)}\SpecialCharTok{/}\NormalTok{(n}\SpecialCharTok{{-}}\NormalTok{p)                }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}sigma\}\^{}2}
\NormalTok{    Tee[i,s]   }\OtherTok{=}\NormalTok{ ((}\FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat }\SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_0)}\SpecialCharTok{/}       \CommentTok{\# T}
                  \FunctionTok{sqrt}\NormalTok{(sigsqr\_hat}\SpecialCharTok{*}\FunctionTok{t}\NormalTok{(c)}\SpecialCharTok{\%*\%}\FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X)}\SpecialCharTok{\%*\%}\NormalTok{X)}\SpecialCharTok{\%*\%}\NormalTok{c))}
\NormalTok{  \}}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-10}{}
Simulation (1) Unabhängig und identische normalverteilte
Zufallsvariablen

\footnotesize

Wahre, aber unbekannte, Hypothesenszenarien \(c^T\beta = c^T\beta_0\)
und \(c^T\beta \neq c^T\beta_0\)

\vspace{8mm}

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/alm_7_T_Teststatistik_1} \end{center}
\end{frame}

\begin{frame}[fragile]{T-Statistiken}
\protect\hypertarget{t-statistiken-11}{}
Simulation (1) Einfache lineare Regression

\small

Wahre, aber unbekannte, Hypothesenszenarien \(c^T\beta = c^T\beta_0\)
und \(c^T\beta \neq c^T\beta_0\)

\vspace{2mm}
\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Libraries}
\FunctionTok{library}\NormalTok{(MASS)                                                  }\CommentTok{\# multivariate Normalverteilung}
\FunctionTok{library}\NormalTok{(matlib)                                                }\CommentTok{\# Matrizenrechnung}

\CommentTok{\# Modellformulierung}
\NormalTok{n          }\OtherTok{=} \DecValTok{10}                                                \CommentTok{\# Anzahl von Datenpunkten}
\NormalTok{p          }\OtherTok{=} \DecValTok{2}                                                 \CommentTok{\# Anzahl von Betaparametern}
\NormalTok{x          }\OtherTok{=} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n                                               }\CommentTok{\# Prädiktorwerte}
\NormalTok{X          }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n),x), }\AttributeTok{ncol =}\NormalTok{ p)                   }\CommentTok{\# Designmatrix}
\NormalTok{I\_n        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)                                           }\CommentTok{\# Einheitsmatrix}
\NormalTok{beta       }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}\DecValTok{1}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)                      }\CommentTok{\# wahre , aber unbekannte , Betaparameter}
\NormalTok{nscn       }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(beta)                                        }\CommentTok{\# Anzahl wahrer, aber unbekannter, Hypothesenszenarien}
\NormalTok{sigsqr     }\OtherTok{=} \DecValTok{1}                                                 \CommentTok{\# wahrer, aber unbekannter, Varianzparameter}
\NormalTok{c          }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)                          }\CommentTok{\# Kontrastvektor von Interessse}
\NormalTok{beta\_0     }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)                          }\CommentTok{\# Nullhypothesenbetaparameter}

\CommentTok{\# Frequentistische Simulation}
\NormalTok{nsim       }\OtherTok{=} \FloatTok{1e4}                                               \CommentTok{\# Anzahl Simulationen}
\NormalTok{delta      }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, nscn)                                    }\CommentTok{\# Anzahl Nichtzentralitätsparameter}
\NormalTok{Tee        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, nscn}\SpecialCharTok{*}\NormalTok{nsim), }\AttributeTok{ncol =}\NormalTok{ nscn)          }\CommentTok{\# T{-}Teststatistik Realisierungsarray}
\ControlFlowTok{for}\NormalTok{(s }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nscn)\{                                              }\CommentTok{\# Hypothesenszenarien}
\NormalTok{  delta[s]    }\OtherTok{=}\NormalTok{ ((}\FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta[,s] }\SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_0)}\SpecialCharTok{/}        \CommentTok{\# Nichtzentralitätsparameter}
                \FunctionTok{sqrt}\NormalTok{(sigsqr}\SpecialCharTok{*}\FunctionTok{t}\NormalTok{(c)}\SpecialCharTok{\%*\%}\FunctionTok{inv}\NormalTok{(}\FunctionTok{t}\NormalTok{(X)}\SpecialCharTok{\%*\%}\NormalTok{X)}\SpecialCharTok{\%*\%}\NormalTok{c))}
  \ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nsim)\{                                            }\CommentTok{\# Simulationsiterationen}
\NormalTok{    y          }\OtherTok{=} \FunctionTok{mvrnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, X }\SpecialCharTok{\%*\%}\NormalTok{ beta[,s], sigsqr}\SpecialCharTok{*}\NormalTok{I\_n)        }\CommentTok{\# y}
\NormalTok{    beta\_hat   }\OtherTok{=} \FunctionTok{inv}\NormalTok{(}\FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ X) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(X) }\SpecialCharTok{\%*\%}\NormalTok{ y                }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}beta\}}
\NormalTok{    eps\_hat    }\OtherTok{=}\NormalTok{ y }\SpecialCharTok{{-}}\NormalTok{ X }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat                            }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}eps\}}
\NormalTok{    sigsqr\_hat }\OtherTok{=}\NormalTok{ (}\FunctionTok{t}\NormalTok{(eps\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ eps\_hat)}\SpecialCharTok{/}\NormalTok{(n}\SpecialCharTok{{-}}\NormalTok{p)                }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}sigma\}\^{}2}
\NormalTok{    Tee[i,s]   }\OtherTok{=}\NormalTok{ ((}\FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat }\SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(c) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_0)}\SpecialCharTok{/}       \CommentTok{\# T}
                  \FunctionTok{sqrt}\NormalTok{(sigsqr\_hat}\SpecialCharTok{*}\FunctionTok{t}\NormalTok{(c)}\SpecialCharTok{\%*\%}\FunctionTok{inv}\NormalTok{(}\FunctionTok{t}\NormalTok{(X)}\SpecialCharTok{\%*\%}\NormalTok{X)}\SpecialCharTok{\%*\%}\NormalTok{c))}
\NormalTok{  \}}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{T-Statistiken}
\protect\hypertarget{t-statistiken-12}{}
Simulation (1) Einfache lineare Regression

\small

Wahre, aber unbekannte, Hypothesenszenarien \(c^T\beta = c^T\beta_0\)
und \(c^T\beta \neq c^T\beta_0\)

\vspace{8mm}

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/alm_7_T_Teststatistik_2} \end{center}
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-6}{}
\vfill
\large
\setstretch{2.5}

Schätzerverteilungen

T-Statistiken

\textbf{F-Statistiken}

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken}{}
Überblick \setstretch{1.6}

\footnotesize

\begin{itemize}
\item
  \justifying F-Statistiken können als Modellvergleichskriterien
  zwischen ALMs verstanden werden. Im Gegensatz zu T-Statistiken kann
  das Ziel der Berechnung von F-Statistiken sein, nicht nur
  Linearkombinationen von Betaparameterschätzwerten probabilistisch zu
  evaluieren, sondern die Modellanpassung an einen Datensatz insgesamt
  zu evaluieren.
\item
  Wir motivieren die funktionale Form der F-Statistik als
  Residualquadratsummendifferenz hier vor dem Hintergrund eine
  Likelihood-Quotienten zum Modellvergleich. Die
  Modellvergleichskapazität von F-Statistiken ist allerdings etwas
  beschränkt, da sich die F-Statistik auf ALMs und insbesondere
  geschachtelte ALMs bezieht, in denen ein Modell Bestandteil eines
  anderen Modells ist.
\item
  F-Statistiken bilden die Grundlage für Hypothesentests im Rahmen der
  Varianzanalyse (Einheiten (10) Einfaktorielle Varianzanalyse, (11)
  Zweifaktorielle Varianzanalyse, (13) Kovarianzanalyse). Der Einsatz
  von F-Statistiken ist aber \textit{perse} nicht auf Varianzanalysen
  beschränkt.
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-1}{}
\footnotesize
\begin{definition}[$f$-Zufallsvariable]
\justifying
$X$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}_{>0}$ und Wahrscheinlichkeitsdichtefunktion
\begin{equation}
p_X : \mathbb{R} \to \mathbb{R}_{>0}, x \mapsto p_X(x)
:= \nu_1^{\frac{\nu_1}{2}}\nu_2^{\frac{\nu_2}{2}}
   \frac{\Gamma\left(\frac{\nu_1+\nu_2}{2}\right)}{\Gamma\left(\frac{\nu_1}{2}\right)\Gamma\left(\frac{\nu_2}{2}\right)}
   \frac{x^{\frac{\nu_1}{2}-1}}{\left(\nu_1 x  + \nu_2 \right)^{\frac{\nu_1+\nu_2}{2}}},
\end{equation}
wobei $\Gamma$ die Gammafunktion bezeichne. Dann sagen wir, dass $X$ einer
$f$-Verteilung mit Freiheitsgradparametern $\nu_1$ und $\nu_2$ unterliegt und nennen $X$ eine
$f$-Zufallsvariable mit Freiheitsgradparametern $\nu_1$ und $\nu_2$. Wir kürzen dies
mit $X \sim f(\nu_1,\nu_2)$ ab. Die Wahrscheinlichkeitsdichtefunktion (WDF) einer
$f$-Zufallsvariable bezeichnen wir mit $f(x;\nu_1,\nu_2)$, die kumulative Verteilungsfunktion (KVF)
einer $f$-Zufallsvariable bezeichnen wir mit $\varphi(x;\nu_1,\nu_2)$, und die inverse
kumulative Verteilungsfunktion einer $f$-Zufallsvariable bezeichnen wir mit $\varphi^{-1}(x;\nu_1,\nu_2)$.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(f\)-Zufallsvariablen sind nach Ronald A. Fisher benannt.
\item
  George W. Snedecor hat die KVF der \(F\)-Verteilung wohl 1934
  basierend auf Arbeiten von Fisher tabuliert.
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-2}{}
\vfill

\small

Wahrscheinlichkeitsdichtefunktionen von \(f\)-Verteilungen \vspace{1mm}

\begin{center}\includegraphics[width=0.8\linewidth]{7_Abbildungen/alm_7_f_wdf} \end{center}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-3}{}
\small
\begin{theorem}[$F$-Transformation]
\justifying
\normalfont
$V \sim \chi^2(\nu_1)$ und $W \sim \chi^2(\nu_2)$ seien zwei unabhängige
$\chi^2$-Zufallfsvariablen mit $\nu_1$ und $\nu_2$ Freiheitsgraden, respektive.
Dann ist die Zufallsvariable
\begin{equation}
F := \frac{V/\nu_1}{W/\nu_2}
\end{equation}
eine $f$-verteilte Zufallsvariable mit $\nu_1,\nu_2$ Freiheitsgraden, es gilt also $F \sim f(\nu_1,\nu_2)$.
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\item
  Das Theorem kann bewiesen werden, in dem man zunächst ein
  Transformationstheorem für Quotienten von Zufallsvariablen mithilfe
  des multivariaten Transformationstheorems und Marginalisierung
  herleitet und dieses Theorem dann auf die WDF von
  \(\chi^2\)-verteilten ZVen anwendet. Dabei ist die Regel zur
  Integration durch Substitution von zentraler Bedeutung.
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-4}{}
\footnotesize
\begin{definition}[Nichtzentrale $f$-Zufallsvariable]
\justifying
$X$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}_{>0}$ und Wahrscheinlichkeitsdichtefunktion
\begin{multline}
p_X : \mathbb{R} \to \mathbb{R}_{>0}, x \mapsto \\
p_X(x)
:= \sum_{k=0}^\infty \frac{e^{-\delta/2}(\delta/2)^k}{\frac{\Gamma(\nu_2/2)\Gamma(\nu_1/2 + k)}{\Gamma(\nu_2/2 + \nu_1/2 + k)}k!}
    \left(\frac{\nu_1}{\nu_2}\right)^{\nu_1/2 + k}
    \left(\frac{\nu_2}{\nu_2+\nu_1x}\right)^{(\nu_1+\nu_2)/2 + k}
    x^{\nu_1/2 - 1 + k}
\end{multline}
wobei $\Gamma$ die Gammafunktion bezeichne. Dann sagen wir, dass $X$ einer
nichtzentralen $f$-Verteilung mit Nichtzentralitätsparameter $\delta$ und
Freiheitsgradparametern $\nu_1$ und $\nu_2$ unterliegt und nennen $X$ eine nichtzentrale
$f$-Zufallsvariable mit Nichtzentralitätsparameter $\delta$ und Freiheitsgradparametern
$\nu_1$ und $\nu_2$. Wir kürzen dies mit $X \sim f(\delta,\nu_1,\nu_2)$ ab.
Die Wahrscheinlichkeitsdichtefunktion (WDF) einer $f$-Zufallsvariable
bezeichnen wir mit $f(x;\delta,\nu_1,\nu_2)$, die kumulative Verteilungsfunktion (KVF)
einer nichtzentralen $f$-Zufallsvariable bezeichnen
wir mit $\varphi(x;\delta,\nu_1,\nu_2)$, und die inverse kumulative Verteilungsfunktion
einer nichtzentralen $f$-Zufallsvariable
bezeichnen wir mit $\varphi^{-1}(x;\delta,\nu_1,\nu_2)$.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Es gilt \(f(0,\nu_1,\nu_2) = f(\nu_1,\nu_2)\).
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-5}{}
\vfill

\small

WDFen von nichtzentralen \(f\)-Verteilungen \vspace{1mm}

\begin{center}\includegraphics[width=0.8\linewidth]{7_Abbildungen/alm_7_f_nichtzentral_wdf} \end{center}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-6}{}
\small
\begin{theorem}[Nichtzentrale $F$-Transformation]
\justifying
\normalfont
$V \sim \chi^2(\delta,\nu_1)$ und $W \sim \chi^2(\nu_2)$ seien eine nichtzentrale $\chi^2$
Zufallsvariable und eine  $\chi^2$-Zufallfsvariablen mit $\nu_1$ und $\nu_2$ Freiheitsgraden,
respektive, und $V$ und $W$ seien unabhängig. Dann ist die Zufallsvariable
\begin{equation}
F := \frac{V/\nu_1}{W/\nu_2}
\end{equation}
eine nichtzentral $f$-verteilte Zufallsvariable mit Nichtzentralitätsparameter
$\delta$  und $\nu_1,\nu_2$ Freiheitsgraden, es gilt also $F \sim f(\delta, \nu_1,\nu_2)$.
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-7}{}
\small

Motivation der F-Statistik \(\vert\) Modellpartitionierung und
Likelihood Ratios

\footnotesize
\begin{definition}[Vollständiges und reduziertes Modell]
Für $p > 1$ mit $p = p_1 + p_2$ seien
\begin{equation}
X := \begin{pmatrix} X_1 & X_2 \end{pmatrix}  \in \mathbb{R}^{n \times p}
\mbox{ mit }
X_1 \in \mathbb{R}^{n \times p_1}
\mbox{ und }
X_2 \in \mathbb{R}^{n \times p_2},
\end{equation}
sowie
\begin{equation}
\beta := \begin{pmatrix} \beta_1 \\ \beta_2 \end{pmatrix} \in \mathbb{R}^p
\mbox{ mit }
\beta_1 \in \mathbb{R}^{p_1}
\mbox{ und }
\beta_2 \in \mathbb{R}^{p_2}
\end{equation}
Partitionierungen einer $n \times p$ Designmatrix und eines $p$-dimensionalen
Betaparametervektors. Dann nennen wir
\begin{equation}
y = X\beta + \varepsilon \mbox{ mit } \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
das \textit{vollständige Modell} und
\begin{equation}
y = X_1\beta_1 + \varepsilon_1 \mbox{ mit } \varepsilon_1 \sim N(0_n,\sigma^2I_n)
\end{equation}
das \textit{reduzierte Modell} und sprechen von einer \textit{Partionierung eines
(vollständigen) Modells}.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Man sagt auch, dass das reduzierte Modell im vollständigen Modell
  \textit{geschachtelt (nested)} ist.
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-8}{}
\small

Motivation der F-Statistik \(\vert\) Modellpartitionierung und
Likelihood Ratios

\footnotesize
\begin{definition}[Likelihood-Quotient von vollständigem und reduzierten Modell]
Für $p = p_1 + p_2, p > 1$ sei eine Partitionierung eines vollständigen ALMs
gegeben und $\sigma^2 > 0$ als bekannt voraussgesetzt. Weiterhin seien
\begin{equation}
L : \mathbb{R}^{p} \to \mathbb{R}_{>0}, \beta \mapsto L(\beta) := p_{\beta}(\upsilon) = N(\upsilon;X\beta,\sigma^2 I_n)
\end{equation}
und
\begin{equation}
L_1 : \mathbb{R}^{p_1} \to \mathbb{R}_{>0}, \beta_1 \mapsto L(\beta_1) :=  p_{\beta_1}(\upsilon) = N(\upsilon;X_1\beta_1,\sigma^2 I_n)
\end{equation}
die Likelihood-Funktionen von vollständigem und reduzierten Modell, respektive.
Dann ist für einen Datenvektor $\upsilon \in \mathbb{R}^n$ der \textit{Likelihood-Quotient
von vollständigem und reduziertem Modell} gegeben als
\begin{equation}
\qoppa
:= \frac{\max_{\beta \in \mathbb{R}^p} p_{\beta}(\upsilon)}{\max_{\beta_1 \in \mathbb{R}^{p_1}} p_{\beta_1}(\upsilon)}
 = \frac{\max_{\beta \in \mathbb{R}^p} L(\beta)}{\max_{\beta_1 \in \mathbb{R}^{p_1}} L_1(\beta_1)}
 = \frac{L(\hat{\beta})}{L_1(\hat{\beta}_1)}
\end{equation}
\end{definition}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-9}{}
\small

Motivation der F-Statistik \(\vert\) Modellpartitionierung und
Likelihood Ratios

\footnotesize

Bemerkungen

\begin{itemize}
\item
  \justifying Der Likelihood-Quotient setzt die
  Wahrscheinlichkeitsdichten eines beobachteten Datenssatzes
  \(\upsilon \in \mathbb{R}^n\) unter dem vollständigem und dem
  reduzierten Modell nach Optimierung der jeweiligen Modellbetaparameter
  ins Verhältnis.
\item
  \justifying Ein hoher Wert des Likelihood-Quotienten entspricht einer
  höhereren Wahrscheinlichkeit(sdichte) des beobachteten Datensatzes
  \(\upsilon \in \mathbb{R}^n\) unter dem optimierten vollständigem
  Modell und vice versa.
\item
  \justifying Die Wahrscheinlichkeiten beobachtbarerer Daten nach
  Modellschätzung unter verschiedenen Modellen zu betrachten ist ein
  allgemeines Vorgehen zum Modellvergleich. Letztlich erlaubt dieses
  Vorgehen, verschiedene wissenschaftliche Theorien (= Modelle) über die
  Genese beobachtbarer Daten quantitativ zu vergleichen und die damit
  verbundene Unsicherheit zu quantifizieren.
\item
  \justifying Modellvergleiche sind ein zentrales Thema in der
  Bayesianischen Statistik, die die Logik von Likelihood-Quotienten zum
  Beispiel unter den Begriffen der Bayes Factors oder der des Bayesian
  Information Criterions auf arbiträre probabilistische Modelle, d.h.
  nicht nur geschachtelte ALMs generalisiert.
\item
  \justifying Allerdings sind, wie hier gesehen, Modellvergleiche auch
  im Rahmen der Frequentistischen Statistik möglich und sinnvoll,
  Modellvergleiche sind also kein Alleinstellungsmerkmal der
  Bayesianischen gegenüber der Frequentistischen Statistik.
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-10}{}
\small

Motivation der F-Statistik \(\vert\) Modellpartitionierung und
Likelihood Ratios \footnotesize

\begin{theorem}[Likelihood-Quotient und Residualquadratsummendifferenz]
\normalfont
\justifying
Für $p = p_1 + p_2, p > 1$ sei eine Partitionierung eines vollständigen ALMs
gegeben und $\sigma^2 > 0$ als bekannt voraussgesetzt. Weiterhin seien
\begin{equation}
\hat{\varepsilon}   := y - X\hat{\beta} \mbox{ und }
\hat{\varepsilon}_1 := y - X_1\hat{\beta}_1
\end{equation}
die Residuenvektoren des vollständigen und es reduzierten Modells, respektive.
Dann gilt
\begin{equation}
\ln \qoppa =
\frac{\hat{\varepsilon}_1^T\hat{\varepsilon}_1 - \hat{\varepsilon}^T\hat{\varepsilon}}{2\sigma^2}
\end{equation}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(\ln \qoppa\) und die F-Statistik sind nicht identisch, aber eng
  verwandt.
\item
  \(\hat{\varepsilon}_1^T\hat{\varepsilon}_1\) ist die
  Residualquadratsumme (RQS), die bei Schätzung des reduzierten Modells
  von \(y\) resultiert.
\item
  \(\hat{\varepsilon}^T\hat{\varepsilon}\) ist die RQS, die bei
  Schätzung des vollständigen Modells anhand desselben \(y\) resultiert.
\item
  Für \(\beta_2 := 0_{p_2}\) sind vollständiges und reduziertes Modell
  identisch, es muss also
  \(\hat{\varepsilon}_1^T\hat{\varepsilon}_1 \ge \hat{\varepsilon}^T\hat{\varepsilon}\)
  gelten.
\item
  \(\hat{\varepsilon}_1^T\hat{\varepsilon}_1 - \hat{\varepsilon}^T\hat{\varepsilon}\)
  misst, inwieweit für \(\beta_2 \neq 0_{p_2}\) die Spalten von \(X_2\)
  die RQS verringern.
\item
  Ist \(\hat{\varepsilon}_1^T\hat{\varepsilon}_1\) groß, aber
  \(\hat{\varepsilon}^T\hat{\varepsilon}\) klein, so ist \(\ln \qoppa\)
  groß und der Beitrag der \(X_2\)-Spalten zur Datenerklärung groß.
\item
  Sind \(\hat{\varepsilon}_1^T\hat{\varepsilon}_1\) und
  \(\hat{\varepsilon}^T\hat{\varepsilon}\) gleich groß, also
  \(\ln \qoppa\) klein, ist und der Beitrag der \(X_2\)-Spalten zur
  Datenerklärung klein.
\item
  ``Groß'' und ``klein'' von
  \(\hat{\varepsilon}_1^T\hat{\varepsilon}_1\) und
  \(\hat{\varepsilon}^T\hat{\varepsilon}\) werden in Relation zur
  doppelten Fehlervektorvarianz \(\sigma^2\) gemessen.
\end{itemize}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-11}{}
\footnotesize
\begin{definition}[F-Statistik]
Für $X \in \mathbb{R}^{n \times p}, \beta \in \mathbb{R}^p$ und $\sigma^2 > 0$
sei ein ALM der Form
\begin{equation}
y = X\beta + \varepsilon \mbox{ mit } \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
mit der Partitionierung
\begin{equation}
X      = \begin{pmatrix} X_1     & X_2      \end{pmatrix},
X_1      \in \mathbb{R}^{n\times p_1},
X_2      \in \mathbb{R}^{n\times p_2},
\mbox{ und }
\beta := \begin{pmatrix} \beta_1 \\ \beta_2 \end{pmatrix},
\beta_1 \in \mathbb{R}^{p_1},
\beta_2 \in \mathbb{R}^{p_2},
\end{equation}
mit $p = p_1 + p_2$ gegeben. Weiterhin seien mit
\begin{equation}
\hat{\beta}_1 := (X_1^TX_1)^{-1} X_1^Ty \mbox{ und } \hat{\beta} := (X^TX)^{-1}X^Ty
\end{equation}
die Residuenvektoren
\begin{equation}
\hat{\varepsilon}_1 := y - X_1\hat{\beta}_1 \mbox{ und } \hat{\varepsilon} := y - X\hat{\beta}
\end{equation}
definiert. Dann ist die F-Statistik definiert als
\begin{equation}
F := \frac{\frac{\hat{\varepsilon}_1^T\hat{\varepsilon}_1 - \hat{\varepsilon}^T\hat{\varepsilon}}{p_2}}{\frac{\hat{\varepsilon}^T\hat{\varepsilon}}{n-p}}
\end{equation}
\end{definition}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-12}{}
\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  \justifying Der Zähler der F-Statistik \begin{equation}
  \frac{\hat{\varepsilon}_1^T\hat{\varepsilon}_1 - \hat{\varepsilon}^T\hat{\varepsilon}}{p_2}
  \end{equation} misst, inwieweit die \(p_2\) Regressoren in \(X_2\) die
  Residualquadratsumme reduzieren und zwar im Verhältnis zur Anzahl
  dieser Regressoren. Das heißt, dass bei gleicher Größe der
  Residualquadratsummenreduktion (und gleichem Nenner) ein größerer
  \(F\) Wert resultiert, wenn diese durch weniger zusätzliche
  Regressoren resultiert, also \(p_2\) klein ist (und vice versa). Im
  Sinne der Anzahl der Spalten von \(X\) und der entsprechenden
  Komponenten von \(\beta\) favorisiert die \(F\)-Statistik also weniger
  ``komplexe'' Modelle.
\item
  Für den Nenner der F-Statistik gilt \begin{equation}
  \frac{\hat{\varepsilon}^T\hat{\varepsilon}}{n-p} = \hat{\sigma}^2,
  \end{equation} wobei \(\hat{\sigma}^2\) hier der aufgrund des
  vollständigen Modells geschätzte Schätzer von \(\sigma^2\) ist. Werden
  die Daten tatsächlich unter dem reduzierten Modell generiert, so kann
  das vollständige Modell dies durch \(\hat{\beta}_{2} \approx 0_{p_2}\)
  abbilden und erreicht eine ähnliche \(\sigma^2\) Schätzung wie das
  reduzierte Modell. Werden die Daten de-facto unter dem vollständigem
  Modell generiert, so ist
  \(\hat{\varepsilon}^T\hat{\varepsilon}/(n-p)\) ein besserer Schätzer
  von \(\sigma^2\) als
  \(\hat{\varepsilon}^T_1\hat{\varepsilon_1}/(n-p)\), da sich für diesen
  Datenvariabilität, die nicht durch die \(p_1\) Regressoren in \(X_1\)
  erklärt wird, in der Schätzung von \(\sigma^2\) widerspiegeln würde.
  Der Nenner der F-Statistik ist also in beiden Fällen der sinnvollere
  Schätzer von \(\sigma^2\).
\item
  Zusammengenommen misst die F-Statistik also die
  Residualquadratsummenreduktion durch die \(p_2\) Regressoren in
  \(X_2\) gegenüber den \(p_1\) Regressoren in \(X_1\) pro
  Datenvariabilitäts (\(\sigma^2\))- und Regressor (\(p_2\))-Einheit.
\end{itemize}
\end{frame}

\begin{frame}[fragile]{F-Statistiken}
\protect\hypertarget{f-statistiken-13}{}
\vspace{1mm}
\setstretch{.9}
\small

Beispiel (1) Einfache lineare Regression \footnotesize \begin{equation}
X = \begin{pmatrix} X_1 & X_2 \end{pmatrix}, X_1 := 1_{n}, X_2 := (x_1,...,x_n)^T,
\beta := \begin{pmatrix} \beta_1 \\ \beta_2 \end{pmatrix},
\beta_1 = \mbox{Interzept,  }
\beta_2 = \mbox{Steigung }
\end{equation} \tiny

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Libraries}
\FunctionTok{library}\NormalTok{(MASS)                                             }\CommentTok{\# Multivariate Normalverteilung}

\CommentTok{\# Modellformulierung}
\NormalTok{nmod   }\OtherTok{=} \DecValTok{2}                                                \CommentTok{\# Anzahl Modelle}
\NormalTok{n      }\OtherTok{=} \DecValTok{10}                                               \CommentTok{\# Anzahl Datenpunkte}
\NormalTok{p      }\OtherTok{=} \DecValTok{2}                                                \CommentTok{\# Anzahl Betaparameter}
\NormalTok{p\_1    }\OtherTok{=} \DecValTok{1}                                                \CommentTok{\# Anzahl Betaparameter reduziertes Modell}
\NormalTok{p\_2    }\OtherTok{=} \DecValTok{1}                                                \CommentTok{\# Anzahl zusätzlicher Betaparameter vollständiges Modell}
\NormalTok{p      }\OtherTok{=}\NormalTok{ p\_1 }\SpecialCharTok{+}\NormalTok{ p\_2                                        }\CommentTok{\# Anzahl Betaparameter im vollständigem Modell}
\NormalTok{x      }\OtherTok{=} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n                                              }\CommentTok{\# Prädiktorwerte}
\NormalTok{X      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n),x), }\AttributeTok{nrow =}\NormalTok{ n)                  }\CommentTok{\# Designmatrix des vollständigen Modells}
\NormalTok{X\_1    }\OtherTok{=}\NormalTok{ X[,}\DecValTok{1}\NormalTok{]                                            }\CommentTok{\# Designmatrix des reduzierten Modells}
\NormalTok{I\_n    }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)                                          }\CommentTok{\# n x n Einheitsmatrix}
\NormalTok{beta   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,.}\DecValTok{5}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)                    }\CommentTok{\# wahre , aber unbekannte , Betaparameter}
\NormalTok{nscn   }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(beta)                                       }\CommentTok{\# Anzahl wahrer, aber unbekannter, Hypothesenszenarien}
\NormalTok{sigsqr }\OtherTok{=} \DecValTok{1}                                                \CommentTok{\# wahrer, aber unbekannter, Varianzparameter}

\CommentTok{\# Modellsimulation und Evaluierung}
\NormalTok{Eff    }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, nscn), }\AttributeTok{nrow =}\NormalTok{ nscn)              }\CommentTok{\# F{-}Statistiik Realisierungsarray}
\ControlFlowTok{for}\NormalTok{(s }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nscn)\{                                         }\CommentTok{\# Szenarieniterationen}
\NormalTok{  y               }\OtherTok{=} \FunctionTok{mvrnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, X }\SpecialCharTok{\%*\%}\NormalTok{beta[,s], sigsqr}\SpecialCharTok{*}\NormalTok{I\_n) }\CommentTok{\# Datenrealisierung}
\NormalTok{  beta\_hat\_1      }\OtherTok{=} \FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X\_1)}\SpecialCharTok{\%*\%}\NormalTok{X\_1)}\SpecialCharTok{\%*\%}\FunctionTok{t}\NormalTok{(X\_1)}\SpecialCharTok{\%*\%}\NormalTok{y      }\CommentTok{\# Betaparameterschätzer reduziertes Modell}
\NormalTok{  beta\_hat        }\OtherTok{=} \FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X)  }\SpecialCharTok{\%*\%}\NormalTok{X  )}\SpecialCharTok{\%*\%}\FunctionTok{t}\NormalTok{(X)  }\SpecialCharTok{\%*\%}\NormalTok{y      }\CommentTok{\# Betaparameterschätzer vollständiges Modell}
\NormalTok{  eps\_1\_hat       }\OtherTok{=}\NormalTok{ y}\SpecialCharTok{{-}}\NormalTok{X\_1}\SpecialCharTok{\%*\%}\NormalTok{beta\_hat\_1                    }\CommentTok{\# Residuenvektor reduziertes Modell}
\NormalTok{  eps\_hat         }\OtherTok{=}\NormalTok{ y}\SpecialCharTok{{-}}\NormalTok{X}\SpecialCharTok{\%*\%}\NormalTok{beta\_hat                        }\CommentTok{\# Residuenvektor vollständiges Modell}
\NormalTok{  eps\_1\_eps\_1\_hat }\OtherTok{=} \FunctionTok{t}\NormalTok{(eps\_1\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ eps\_1\_hat            }\CommentTok{\# RQS reduziertes Modell}
\NormalTok{  eps\_eps\_hat     }\OtherTok{=} \FunctionTok{t}\NormalTok{(eps\_hat)   }\SpecialCharTok{\%*\%}\NormalTok{ eps\_hat              }\CommentTok{\# RQS vollständiges Modell}
\NormalTok{  Eff[s]          }\OtherTok{=}\NormalTok{ (((eps\_1\_eps\_1\_hat}\SpecialCharTok{{-}}\NormalTok{eps\_eps\_hat)}\SpecialCharTok{/}\NormalTok{p\_2)}\SpecialCharTok{/} \CommentTok{\# F{-}Statistik}
\NormalTok{                       (eps\_eps\_hat}\SpecialCharTok{/}\NormalTok{(n}\SpecialCharTok{{-}}\NormalTok{p)))\}}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> F-Statistik für beta_2  = 0_{p_2}: 0.404 
> F-Statistik für beta_2 != 0_{p_2}: 24.4
\end{verbatim}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-14}{}
\footnotesize
\begin{theorem}[F-Statistik]
\justifying
\normalfont
Für $X \in \mathbb{R}^{n \times p}, \beta \in \mathbb{R}^p$ und $\sigma^2 > 0$
sei ein ALM der Form
\begin{equation}
y = X\beta + \varepsilon \mbox{ mit } \varepsilon \sim N(0_n,\sigma^2I_n)
\end{equation}
mit der Partitionierung
\begin{equation}
X      = \begin{pmatrix} X_1     & X_2      \end{pmatrix},
X_1      \in \mathbb{R}^{n\times p_1},
X_2      \in \mathbb{R}^{n\times p_2},
\mbox{ und }
\beta := \begin{pmatrix} \beta_1 \\ \beta_2 \end{pmatrix},
\beta_1 \in \mathbb{R}^{p_1},
\beta_2 \in \mathbb{R}^{p_2},
\end{equation}
mit $p = p_1 + p_2$ gegeben. Schließlich sei
\begin{equation}
K := \begin{pmatrix} 0_{p_1} \\ 1_{p_2} \end{pmatrix} \in \mathbb{R}^p
\end{equation}
ein Kontrastgewichtsvektor. Dann gilt
\begin{equation}
F \sim f(\delta, p_2, n-p) \mbox{ mit } \delta := \frac{K^T\beta \left(K^T(X^TX)^{-1}K\right)^{-1}K^T \beta}{\sigma^2}
\end{equation}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\item
  \(F\) ist eine Funktion der Parameterschätzer, \(\delta\) ist eine
  Funktion der wahren, aber unbekannten, Parameter
\item
  Diese Verteilung von \(F\) kann zum Nullhypothesentesten und zur
  Powerfunktionsevaluation genutzt werden.
\end{itemize}
\end{frame}

\begin{frame}[fragile]{F-Statistiken}
\protect\hypertarget{f-statistiken-15}{}
\tiny
\setstretch{.8}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Libraries}
\FunctionTok{library}\NormalTok{(MASS)                                               }\CommentTok{\# Multivariate Normalverteilung}

\CommentTok{\# Modellformulierung}
\NormalTok{nmod   }\OtherTok{=} \DecValTok{2}                                                  \CommentTok{\# Anzahl Modelle}
\NormalTok{n      }\OtherTok{=} \DecValTok{10}                                                 \CommentTok{\# Anzahl Datenpunkte}
\NormalTok{p      }\OtherTok{=} \DecValTok{2}                                                  \CommentTok{\# Anzahl Betaparameter}
\NormalTok{p\_1    }\OtherTok{=} \DecValTok{1}                                                  \CommentTok{\# Anzahl Betaparameter im reduzierten Modell}
\NormalTok{p\_2    }\OtherTok{=} \DecValTok{1}                                                  \CommentTok{\# Anzahl zusätzlicher Betaparameter im vollständigen Modell}
\NormalTok{p      }\OtherTok{=}\NormalTok{ p\_1 }\SpecialCharTok{+}\NormalTok{ p\_2                                          }\CommentTok{\# Anzahl Betaparameter im vollständigem Modell}
\NormalTok{x      }\OtherTok{=} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n                                                }\CommentTok{\# Prädiktorwerte}
\NormalTok{X      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n),x), }\AttributeTok{nrow =}\NormalTok{ n)                    }\CommentTok{\# Designmatrix des vollständigen Modells}
\NormalTok{X\_1    }\OtherTok{=}\NormalTok{ X[,}\DecValTok{1}\NormalTok{]                                              }\CommentTok{\# Designmatrix des reduzierten Modells}
\NormalTok{I\_n    }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)                                            }\CommentTok{\# n x n Einheitsmatrix}
\NormalTok{beta   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,.}\DecValTok{5}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)                      }\CommentTok{\# wahre , aber unbekannte , Betaparameter}
\NormalTok{nscn   }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(beta)                                         }\CommentTok{\# Anzahl wahrer, aber unbekannter, Hypothesenszenarien}
\NormalTok{sigsqr }\OtherTok{=} \DecValTok{1}                                                  \CommentTok{\# wahrer, aber unbekannter, Varianzparameter}
\NormalTok{K      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{((}\FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{)), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)}

\CommentTok{\# Frequentistische Simulation}
\NormalTok{nsim   }\OtherTok{=} \FloatTok{1e4}                                                \CommentTok{\# Anzahl Realisierungen des n{-}dimensionalen ZVs}
\NormalTok{delta  }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,nscn)                                      }\CommentTok{\# Nichtzentralitätsparameterarray}
\NormalTok{Eff    }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, nscn}\SpecialCharTok{*}\NormalTok{nsim), }\AttributeTok{nrow =}\NormalTok{ nscn)           }\CommentTok{\# F{-}Statistiik Realisierungsarray}
\ControlFlowTok{for}\NormalTok{(s }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nscn)\{                                           }\CommentTok{\# Szenarieniterationen}
\NormalTok{  delta[s] }\OtherTok{=}\NormalTok{ (}\FunctionTok{t}\NormalTok{(}\FunctionTok{t}\NormalTok{(K)}\SpecialCharTok{\%*\%}\NormalTok{beta[,s])}\SpecialCharTok{\%*\%}                         \CommentTok{\# Nichtzentralitätsparameter}
              \FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(K)}\SpecialCharTok{\%*\%}\FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X)}\SpecialCharTok{\%*\%}\NormalTok{X)}\SpecialCharTok{\%*\%}\NormalTok{K) }\SpecialCharTok{\%*\%}
\NormalTok{               (}\FunctionTok{t}\NormalTok{(K)}\SpecialCharTok{\%*\%}\NormalTok{beta[,s])}\SpecialCharTok{/}\NormalTok{sigsqr)}
  \ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{nsim)\{                                         }\CommentTok{\# Simulationsiterationen}
\NormalTok{    y               }\OtherTok{=} \FunctionTok{mvrnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, X }\SpecialCharTok{\%*\%}\NormalTok{beta[,s], sigsqr}\SpecialCharTok{*}\NormalTok{I\_n) }\CommentTok{\# Datenrealisierung}
\NormalTok{    beta\_hat\_1      }\OtherTok{=} \FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X\_1)}\SpecialCharTok{\%*\%}\NormalTok{X\_1)}\SpecialCharTok{\%*\%}\FunctionTok{t}\NormalTok{(X\_1)}\SpecialCharTok{\%*\%}\NormalTok{y      }\CommentTok{\# Betaparameterschätzer reduziertes Modell}
\NormalTok{    beta\_hat        }\OtherTok{=} \FunctionTok{solve}\NormalTok{(}\FunctionTok{t}\NormalTok{(X)  }\SpecialCharTok{\%*\%}\NormalTok{X  )}\SpecialCharTok{\%*\%}\FunctionTok{t}\NormalTok{(X)  }\SpecialCharTok{\%*\%}\NormalTok{y      }\CommentTok{\# Betaparameterschätzer vollständiges Modell}
\NormalTok{    eps\_1\_hat       }\OtherTok{=}\NormalTok{ y}\SpecialCharTok{{-}}\NormalTok{X\_1}\SpecialCharTok{\%*\%}\NormalTok{beta\_hat\_1                    }\CommentTok{\# Residuenvektor reduziertes Modell}
\NormalTok{    eps\_hat         }\OtherTok{=}\NormalTok{ y}\SpecialCharTok{{-}}\NormalTok{X}\SpecialCharTok{\%*\%}\NormalTok{beta\_hat                        }\CommentTok{\# Residuenvektor vollständiges Modell}
\NormalTok{    eps\_1\_eps\_1\_hat }\OtherTok{=} \FunctionTok{t}\NormalTok{(eps\_1\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ eps\_1\_hat            }\CommentTok{\# RQS reduziertes Modell}
\NormalTok{    eps\_eps\_hat     }\OtherTok{=} \FunctionTok{t}\NormalTok{(eps\_hat)   }\SpecialCharTok{\%*\%}\NormalTok{ eps\_hat              }\CommentTok{\# RQS vollständiges Modell}
\NormalTok{    Eff[s,i]        }\OtherTok{=}\NormalTok{ (((eps\_1\_eps\_1\_hat}\SpecialCharTok{{-}}\NormalTok{eps\_eps\_hat)}\SpecialCharTok{/}\NormalTok{p\_2)}\SpecialCharTok{/} \CommentTok{\# F{-}Statistik}
\NormalTok{                         (eps\_eps\_hat}\SpecialCharTok{/}\NormalTok{(n}\SpecialCharTok{{-}}\NormalTok{p)))}
\NormalTok{  \}}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-16}{}
\vspace{1mm}

Beispiel (1) Einfache lineare Regression \vspace{2mm}

\vfill

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/alm_7_F_Statistik} \end{center}
\vfill
\end{frame}

\begin{frame}{F-Statistiken}
\protect\hypertarget{f-statistiken-17}{}
Schlussbemerkungen

\footnotesize

\begin{itemize}
\item
  \justifying Die Theorie von T- und F-Statistiken kann unter dem
  Gesichtspunkt von linearen Transformationen von Betaparametern
  verallgemeinert und integriert werden. Dabei betrachtet man Hypothesen
  der Form \begin{equation}
  K\beta = \beta_0,
  \end{equation} wobei \(K \in \mathbb{R}^{s \times p}\) eine beliebige
  Matrix ist. Zum Beispiel ergibt sich für
  \(K \in \mathbb{R}^{1 \times p}\) der hier betrachtete Fall von
  T-Statistiken und für \(K = I_p \in \mathbb{R}^{p\times p}\) der hier
  betrachtete Fall von F-Statistiken. \vspace{2mm}
\item
  \justifying Man kann weiterhin zeigen, dass im Wesentlichen gilt
  \begin{equation}
  F = T^2,
  \end{equation} dass also auch das Quadrat einer T-Statistik
  \(f\)-verteilt ist und T-Statistiken damit spezielle F-Statistiken
  sind. \vspace{2mm}
\item
  \justifying Dennoch wird in der Anwendung sehr stark zwischen T- und
  F-Statistiken unterschieden und es ist sinnvoll, sich der
  unterschiedlichen Anwenungsfälle von T- und F-Statistiken bewusst zu
  sein. Eine sehr gute Einführung in die allgemeine Kontrasttheorie gibt
  Searle (1971), Chapter 3.6.
\end{itemize}
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-7}{}
\vfill
\large
\setstretch{2.5}

Schätzerverteilungen

T-Statistiken

F-Statistiken

\textbf{Selbstkontrollfragen} \vfill
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen}{}
\footnotesize
\setstretch{2.2}

\begin{enumerate}
\tightlist
\item
  Geben Sie das Theorem zur Frequentistischen Verteilung des
  Betaparameterschätzers wieder.
\item
  Geben Sie die Verteilung des Betaparameterschätzers im Szenarion von
  \(n\) u.i.v. Zufallsvariablen wieder.
\item
  Geben Sie das Theorem zur Frequentistischen Verteilung des
  Varianzparameterschätzers wieder.
\item
  Geben Sie die Verteilung des skalierten Varianzparameterschätzers bei
  \(n\) u.i.v. Zufallsvariablen wieder.
\item
  Skizzieren Sie die WDFen von \(t\)-Zufallsvariablen mit 2, 10 und 30
  Freiheitsgraden.
\item
  Skizzieren Sie die WDFen von nichtzentralen \(t\)-Zufallsvariablen mit
  Nichtzentralitätsparametern 0,5 und 15.
\item
  Geben Sie die Definition der T-Statistik wieder.
\item
  Erläutern Sie die Definition der T-Statistik.
\item
  Warum kann die T-Statistik als Signal-zu-Rauschen Verhältnis
  interpretiert werden.
\item
  Geben Sie die Form der T-Statistik im Szenario von \(n\) u.i.v.
  Zufallsvariablen wieder.
\item
  Erläutern Sie den Zusammenhang der T-Statistik und Cohen's \(d\).
\item
  Geben Sie die Definition der T-Teststatistik wieder.
\end{enumerate}
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen-1}{}
\footnotesize
\setstretch{2.2}

\begin{enumerate}
\setcounter{enumi}{12}
\tightlist
\item
  Erläutern Sie die Definition der T-Teststatistik.
\item
  Geben Sie das Theorem zur Verteilung der T-Teststatistik wieder.
\item
  Geben Sie die Definition eines vollständigem und eines reduziertem
  ALMs wieder.
\item
  Geben Sie die Definition des Likelihood-Quotienten eines vollständigen
  und eines reduzierten ALMs wieder.
\item
  Geben Sie das Theorem zu Likelihood-Quotient und
  Residualquadratsummendifferenz wieder.
\item
  Definieren Sie die F-Statistik.
\item
  Erläutern Sie den Zusammenhang zwischen F-Statistik und
  Likelihood-Quotient.
\item
  Definieren Sie und erläutern Sie den Zähler der F-Statistik
\item
  Definieren Sie und erläutern Sie den Nenner der F-Statistik.
\item
  Erläutern Sie die F-Statistik.
\item
  Geben Sie das Theorem zur Verteilung der F-Statistik wieder.
\end{enumerate}
\end{frame}

\begin{frame}{References}
\protect\hypertarget{references}{}
\footnotesize
\setstretch{2.2}

\hypertarget{refs}{}
\begin{CSLReferences}{1}{0}
\leavevmode\vadjust pre{\hypertarget{ref-lehmann_1986}{}}%
Lehmann, E. L. 1986. \emph{Testing Statistical Hypotheses}. {Wiley
Series in Probability and Statistics}.

\leavevmode\vadjust pre{\hypertarget{ref-searle_1971}{}}%
Searle, S. R. 1971. \emph{Linear Models}. A {Wiley} Publication in
Mathematical Statistics. {New York}: {Wiley}.

\leavevmode\vadjust pre{\hypertarget{ref-student_1908}{}}%
Student. 1908. {``The {Probable Error} of a {Mean}.''} \emph{Biometrika}
6 (1): 1--25.

\leavevmode\vadjust pre{\hypertarget{ref-zabell_2008}{}}%
Zabell, S. L. 2008. {``On {Student}'s 1908 {Article} {`{The Probable
Error} of a {Mean}'}.''} \emph{Journal of the American Statistical
Association} 103 (481): 1--7.
\url{https://doi.org/10.1198/016214508000000030}.

\end{CSLReferences}
\end{frame}

\end{document}
