% Options for packages loaded elsewhere
\PassOptionsToPackage{unicode}{hyperref}
\PassOptionsToPackage{hyphens}{url}
%
\documentclass[
  8pt,
  ignorenonframetext,
]{beamer}
\usepackage{pgfpages}
\setbeamertemplate{caption}[numbered]
\setbeamertemplate{caption label separator}{: }
\setbeamercolor{caption name}{fg=normal text.fg}
\beamertemplatenavigationsymbolsempty
% Prevent slide breaks in the middle of a paragraph
\widowpenalties 1 10000
\raggedbottom
\setbeamertemplate{part page}{
  \centering
  \begin{beamercolorbox}[sep=16pt,center]{part title}
    \usebeamerfont{part title}\insertpart\par
  \end{beamercolorbox}
}
\setbeamertemplate{section page}{
  \centering
  \begin{beamercolorbox}[sep=12pt,center]{part title}
    \usebeamerfont{section title}\insertsection\par
  \end{beamercolorbox}
}
\setbeamertemplate{subsection page}{
  \centering
  \begin{beamercolorbox}[sep=8pt,center]{part title}
    \usebeamerfont{subsection title}\insertsubsection\par
  \end{beamercolorbox}
}
\AtBeginPart{
  \frame{\partpage}
}
\AtBeginSection{
  \ifbibliography
  \else
    \frame{\sectionpage}
  \fi
}
\AtBeginSubsection{
  \frame{\subsectionpage}
}
\usepackage{amsmath,amssymb}
\usepackage{lmodern}
\usepackage{iftex}
\ifPDFTeX
  \usepackage[T1]{fontenc}
  \usepackage[utf8]{inputenc}
  \usepackage{textcomp} % provide euro and other symbols
\else % if luatex or xetex
  \usepackage{unicode-math}
  \defaultfontfeatures{Scale=MatchLowercase}
  \defaultfontfeatures[\rmfamily]{Ligatures=TeX,Scale=1}
\fi
% Use upquote if available, for straight quotes in verbatim environments
\IfFileExists{upquote.sty}{\usepackage{upquote}}{}
\IfFileExists{microtype.sty}{% use microtype if available
  \usepackage[]{microtype}
  \UseMicrotypeSet[protrusion]{basicmath} % disable protrusion for tt fonts
}{}
\makeatletter
\@ifundefined{KOMAClassName}{% if non-KOMA class
  \IfFileExists{parskip.sty}{%
    \usepackage{parskip}
  }{% else
    \setlength{\parindent}{0pt}
    \setlength{\parskip}{6pt plus 2pt minus 1pt}}
}{% if KOMA class
  \KOMAoptions{parskip=half}}
\makeatother
\usepackage{xcolor}
\newif\ifbibliography
\usepackage{color}
\usepackage{fancyvrb}
\newcommand{\VerbBar}{|}
\newcommand{\VERB}{\Verb[commandchars=\\\{\}]}
\DefineVerbatimEnvironment{Highlighting}{Verbatim}{commandchars=\\\{\}}
% Add ',fontsize=\small' for more characters per line
\usepackage{framed}
\definecolor{shadecolor}{RGB}{248,248,248}
\newenvironment{Shaded}{\begin{snugshade}}{\end{snugshade}}
\newcommand{\AlertTok}[1]{\textcolor[rgb]{0.94,0.16,0.16}{#1}}
\newcommand{\AnnotationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\AttributeTok}[1]{\textcolor[rgb]{0.77,0.63,0.00}{#1}}
\newcommand{\BaseNTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\BuiltInTok}[1]{#1}
\newcommand{\CharTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\CommentTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\CommentVarTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ConstantTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ControlFlowTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\DataTypeTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{#1}}
\newcommand{\DecValTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\DocumentationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ErrorTok}[1]{\textcolor[rgb]{0.64,0.00,0.00}{\textbf{#1}}}
\newcommand{\ExtensionTok}[1]{#1}
\newcommand{\FloatTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\FunctionTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ImportTok}[1]{#1}
\newcommand{\InformationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\KeywordTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\NormalTok}[1]{#1}
\newcommand{\OperatorTok}[1]{\textcolor[rgb]{0.81,0.36,0.00}{\textbf{#1}}}
\newcommand{\OtherTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{#1}}
\newcommand{\PreprocessorTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\RegionMarkerTok}[1]{#1}
\newcommand{\SpecialCharTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\SpecialStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\StringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\VariableTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\VerbatimStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\WarningTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\usepackage{longtable,booktabs,array}
\usepackage{calc} % for calculating minipage widths
\usepackage{caption}
% Make caption package work with longtable
\makeatletter
\def\fnum@table{\tablename~\thetable}
\makeatother
\setlength{\emergencystretch}{3em} % prevent overfull lines
\providecommand{\tightlist}{%
  \setlength{\itemsep}{0pt}\setlength{\parskip}{0pt}}
\setcounter{secnumdepth}{-\maxdimen} % remove section numbering
\newlength{\cslhangindent}
\setlength{\cslhangindent}{1.5em}
\newlength{\csllabelwidth}
\setlength{\csllabelwidth}{3em}
\newlength{\cslentryspacingunit} % times entry-spacing
\setlength{\cslentryspacingunit}{\parskip}
\newenvironment{CSLReferences}[2] % #1 hanging-ident, #2 entry spacing
 {% don't indent paragraphs
  \setlength{\parindent}{0pt}
  % turn on hanging indent if param 1 is 1
  \ifodd #1
  \let\oldpar\par
  \def\par{\hangindent=\cslhangindent\oldpar}
  \fi
  % set entry spacing
  \setlength{\parskip}{#2\cslentryspacingunit}
 }%
 {}
\usepackage{calc}
\newcommand{\CSLBlock}[1]{#1\hfill\break}
\newcommand{\CSLLeftMargin}[1]{\parbox[t]{\csllabelwidth}{#1}}
\newcommand{\CSLRightInline}[1]{\parbox[t]{\linewidth - \csllabelwidth}{#1}\break}
\newcommand{\CSLIndent}[1]{\hspace{\cslhangindent}#1}
% type setting
% ------------------------------------------------------------------------------
\usepackage[german]{babel}     

% fonts
% ------------------------------------------------------------------------------
\usefonttheme{professionalfonts}

% slide title and horizontal line
% ------------------------------------------------------------------------------
\setbeamertemplate{frametitle}{%
    \vskip-30pt \color{black}\large%
    \begin{minipage}[b][23pt]{120mm}%
    \flushleft\insertframetitle%
    \end{minipage}%
}

\setbeamertemplate{headline}										
{
\vskip10pt\hfill\hspace{3.5mm} 										 
\vskip15pt\color{black}\rule{\textwidth}{0.4pt} 					 
}

% slide number
% ---------------------------------------------------------------
\setbeamertemplate{navigation symbols}{}
\setbeamertemplate{footline}
{
\vskip5pt
\vskip2pt
\makebox[123mm]{\hspace{7.5mm}
\hfill Multivariate Datenanalyse $\vert$ 
\copyright $ $ 2022 Dirk Ostwald CC BY-NC-SA 4.0 $\vert$ 
Folie \insertframenumber}
\vskip4pt
}

% block color scheme
% ------------------------------------------------------------------------------
% colors
\definecolor{white}{RGB}{255,255,255}
\definecolor{grey}{RGB}{235,235,235}
\definecolor{lightgrey}{RGB}{245,245,245}
\definecolor{LightBlue}{RGB}{220,220,255}
\definecolor{darkblue}{RGB}{51, 51, 153}
\definecolor{darkgreen}{RGB}{0,100,0}

% definitions and theorems
\setbeamercolor{block title}{fg = black, bg = grey}
\setbeamercolor{block body}{fg = black, bg = lightgrey}

% general line spacing 
% ------------------------------------------------------------------------------
\linespread{1.3}

% local line spacing
% ------------------------------------------------------------------------------
\usepackage{setspace}

% colors
% -----------------------------------------------------------------------------
\usepackage{color}

% justified text
% ------------------------------------------------------------------------------
\usepackage{ragged2e}
\usepackage{etoolbox}
\apptocmd{\frame}{}{\justifying}{}

% bullet point lists
% -----------------------------------------------------------------------------
\setbeamertemplate{itemize item}[circle]
\setbeamertemplate{itemize subitem}[circle]
\setbeamertemplate{itemize subsubitem}[circle]
\setbeamercolor{itemize item}{fg = black}
\setbeamercolor{itemize subitem}{fg = black}
\setbeamercolor{itemize subsubitem}{fg = black}
\setbeamercolor{enumerate item}{fg = black}
\setbeamercolor{enumerate subitem}{fg = black}
\setbeamercolor{enumerate subsubitem}{fg = black}
\setbeamerfont{itemize/enumerate body}{}
\setbeamerfont{itemize/enumerate subbody}{size = \normalsize}
\setbeamerfont{itemize/enumerate subsubbody}{size = \normalsize}

% color links
% ------------------------------------------------------------------------------
\usepackage{hyperref}
\definecolor{urls}{RGB}{204,0,0}
\hypersetup{colorlinks, citecolor = darkblue, urlcolor = urls}


% additional math commands
% ------------------------------------------------------------------------------
\usepackage{bm}                               % bold math symbols
\usepackage{mathtools}                        % pmatrix* environment
\newcommand{\niton}{\not\owns}

% text highlighting
% ------------------------------------------------------------------------------
\usepackage{soul}
\makeatletter
\let\HL\hl
\renewcommand\hl{%
  \let\set@color\beamerorig@set@color
  \let\reset@color\beamerorig@reset@color
  \HL}
\makeatother

% equation highlighting
% -----------------------------------------------------------------------------
\newcommand{\highlight}[2][yellow]{\mathchoice%
  {\colorbox{#1}{$\displaystyle#2$}}%
  {\colorbox{#1}{$\textstyle#2$}}%
  {\colorbox{#1}{$\scriptstyle#2$}}%
  {\colorbox{#1}{$\scriptscriptstyle#2$}}}%

% additional mathematical operators
% ------------------------------------------------------------------------------
\DeclareMathOperator*{\argmax}{arg\,max}
\DeclareMathOperator*{\argmin}{arg\,min}

\ifLuaTeX
  \usepackage{selnolig}  % disable illegal ligatures
\fi
\IfFileExists{bookmark.sty}{\usepackage{bookmark}}{\usepackage{hyperref}}
\IfFileExists{xurl.sty}{\usepackage{xurl}}{} % add URL line breaks if available
\urlstyle{same} % disable monospaced font for URLs
\hypersetup{
  hidelinks,
  pdfcreator={LaTeX via pandoc}}

\author{}
\date{\vspace{-2.5em}}

\begin{document}

\begin{frame}[plain]{}
\protect\hypertarget{section}{}
\center

\begin{center}\includegraphics[width=0.2\linewidth]{7_Abbildungen/mvda_7_otto} \end{center}

\vspace{2mm}

\Huge

Multivariate Datenanalyse \vspace{6mm}

\large

MSc Psychologie WiSe 2021/22

\vspace{6mm}
\large

Prof.~Dr.~Dirk Ostwald
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-1}{}
\vfill
\center
\Large

\textcolor{black}{(7) Lineare Diskriminanzanalyse und Logistische Regression}
\vfill
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-2}{}
\vfill
\setstretch{2.4}
\large

Vorbemerkungen

Lineare Diskriminanzanalyse

Logistische Regression

Selbstkontrollfragen

Appendix \vfill
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-3}{}
\vfill
\setstretch{2.4}
\large

\textbf{Vorbemerkungen}

Lineare Diskriminanzanalyse

Logistische Regression

Selbstkontrollfragen

Appendix \vfill
\end{frame}

\begin{frame}{Prädiktive Modellierung}
\protect\hypertarget{pruxe4diktive-modellierung}{}
Struktur der Prädiktiven Modellierung

\begin{minipage}{.6\textwidth}

\begin{center}\includegraphics[width=0.8\linewidth]{7_Abbildungen/mvda_7_prädiktive_modellierung_1} \end{center}
\end{minipage}
\begin{minipage}{.4\textwidth}

\begin{center}\includegraphics[width=0.9\linewidth]{7_Abbildungen/mvda_7_prädiktive_modellierung_2} \end{center}
\end{minipage}

\flushright
\tiny

nach Dwyer, Falkai, and Koutsouleris (2018) \vspace{3mm}

\flushleft
\small

Rhethorik der Prädiktiven Modellierung

\center
\begin{tabular}{ll}
Daten                     & Trainingsdaten und Testdaten                  \\
Statistisches Modell      & Modell, Machine Learning Algorithmus          \\
Schätzen von Parametern   & Trainieren des Modells, Lernen von Parametern, Supervised Learning
\end{tabular}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen}{}
\small
\begin{definition}[Binärer Klassifikationstrainingdatensatz]
Ein \textit{binärer Klassifikationsdatensatz}
\begin{equation}
\mathcal{D} := \{(x^{(1)},y^{(1)}), (x^{(2)},y^{(2)}), ..., (x^{(n)},y^{(n)})\}
\end{equation}
ist eine Menge von $n$ \textit{Trainingsdatenpunkten}
\begin{equation}
(x^{(i)},y^{(i)}) \mbox{ mit } x^{(i)} \in \mathbb{R}^m
\mbox{ und }
y^{(i)} \in \{0,1\}
\mbox{ for }
i = 1,...,n,
\end{equation}
wobei  $x^{(i)}$ \textit{$m$-dimensionaler Featurevektor} und $y^{(i)}$ \textit{Label} genannt wird
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(y^{(i)} \in \{0,1\}\) bezeichnet die Klassenzugehörigkeit des
  Featurevektors \(x^{(i)} \in \mathbb{R}^m\).
\item
  Man beachte, dass hier \(y^{(i)} \in \{0,1\}\) gilt, wohingegen bei
  SVMs \(y^{(i)} \in \{-1,1\}\) ist.
\end{itemize}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-1}{}
Bivariate Featureplots mit
\(x^{(i)} \in \mathbb{R}^2, y^{(i)} \in \{0,1\}, i = 1,...,n\)

\center
\large

\textcolor{red}{$\bullet$} \(y = 0 \quad\quad\)
\textcolor{blue}{$\bullet$} \(y = 1\)

\vspace{6mm}

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/mvda_7_bivariate_featureplots} \end{center}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-2}{}
Überblick \vspace{2mm} \setstretch{2.6} \footnotesize \flushleft

\begin{tabular}{l|l|l}
& Lineare Diskriminanzanalyse
& Logistische Regression
\\\hline
Zufallsvektoren
& $x \in \mathbb{R}^m, y \in \{0,1\}$
& $y \in \{0,1\}$
\\
Modell
& $p(x,y) := B(y;\mu)N(x;\mu_0,\Sigma)^{1-y}N(x;\mu_1,\Sigma)^y$
& $p(y) := B\left(y;\frac{1}{1 + \exp(-x^T\beta)} \right)$
\\
Inferenz
& $p(y|x) = \frac{1}{1 + \exp(-\tilde{x}^T\beta)}$
& Keine
\\
Klassifikation
& $\delta(x) = 1$ für $p(y = 1|x) > p(y=0|x)$
& $\delta(x) = 1$ für $p(y = 1) > p(y = 0)$
\\
Diskriminanz
& $f(x) = w^Tx + x_0, (w_0, w) = \beta$
& $f(x) = w^Tx + x_0, (w_0, w) = \beta$
\\
Parameterlernen
& Analytische Likelihood Maximierung
& Numerische Likelihood Maximierung
\end{tabular}
\vfill
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-4}{}
\vfill
\setstretch{2.4}
\large

Vorbemerkungen

\textbf{Lineare Diskriminanzanalyse}

Logistische Regression

Selbstkontrollfragen

Appendix \vfill
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung}{}
\footnotesize
\begin{definition}[Multivariate Normalverteilung]
\justifying
$X$ sei ein $m$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^m$ und WDF
\begin{equation}
p : \mathbb{R}^n \to \mathbb{R}_{>0},\, x \mapsto p(x)
:= (2\pi)^{-\frac{m}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
Dann sagen wird, dass $X$ einer \textit{multivariaten (oder $m$-dimensionalen)
Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^m$ und
positive-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{m \times m}$
unterliegt und nennen $X$ einen \textit{(multivariat) normalverteilten Zufallsvektor}.
Wir kürzen dies mit $X \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat
normalverteilten Zufallsvektors bezeichnen wir mit
\begin{equation}
N(x;\mu,\Sigma):= (2\pi)^{-\frac{m}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Parameter \(\mu \in \mathbb{R}^m\) entspricht dem Wert höchster
  Wahrscheinlichkeitsdichte
\item
  Die Diagonalelemente von \(\Sigma\) spezifizieren die Breite der WDF
  bezüglich \(X_1,...,X_m\).
\item
  Das \(i,j\)te Element von \(\Sigma\) spezifiziert die Kovarianz on
  \(X_i\) und \(X_j\).
\item
  Der Term \((2\pi)^{-\frac{m}{2}}|\Sigma|^{-\frac{1}{2}}\) ist die
  Normalsieriungskonstante für den Exponentialfunktionsterm.
\end{itemize}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung-1}{}
Zweidimensionale Normalverteilungen \vspace{6mm}

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/mvda_7_lda_normalverteilungen} \end{center}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung-2}{}
\footnotesize
\begin{definition}[Bernoulli Verteilung]
\justifying
Es sei $X$ eine Zufallsvariable mit Ergebnisraum $\mathcal{X} = \{0,1\}$ und WMF
\begin{equation}
p : \mathcal{X} \to [0,1], x\mapsto p(x) := \mu^{x}(1 - \mu)^{1-x} \mbox{ mit } \mu \in [0,1].
\end{equation}
Dann sagen wir, dass $X$ einer \textit{Bernoulli-Verteilung mit Parameter
$\mu \in [0,1]$} unterliegt und nennen $X$ eine \textit{Bernoulli-Zufallsvariable}.
Wir kürzen dies mit $X \sim B(\mu)$ ab. Die WMF einer
Bernoulli-Zufallsvariable bezeichnen wir mit
\begin{equation}
B(x;\mu) := \mu^x (1 - \mu)^{1 - x}.
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Eine Bernoulli-Zufallsvariable kann als Modell eines Münzwurfs dienen.
\item
  \(\mu \in [0,1]\) ist die Wahrscheinlichkeit dafür, dass \(X\) den
  Wert 1 annimmt, \begin{equation}
  \mathbb{P}(X = 1) = \mu^1 (1 -\mu)^{1-1} = \mu.
  \end{equation}
\end{itemize}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung-3}{}
Bernoulli Verteilungen \vspace{1cm}

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/mvda_7_lda_bernoulliverteilungen} \end{center}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung-4}{}
\small
\begin{definition}[Modell der Linearen Diskriminanzanalyse]
\justifying
$X$ sei ein $m$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^m$ und
$Y$ sei eine Zufallsvariable mit Ergebnisraum $\{0,1\}$. Dann ist das \textit{Modell
der Linearen Diskriminanzanalyse} die gemeinsame Verteilung
\begin{equation}
\mathbb{P}(X,Y) = \mathbb{P}(Y)\mathbb{P}(X|Y)
\end{equation}
wobei die diskrete marginale Verteilung $\mathbb{P}(Y)$ durch die WMF
\begin{equation}
p(y) = B(y;\mu)
\end{equation}
mit $\mu \in ]0,1[$ definiert und die kontinuierliche bedingte Verteilung
$\mathbb{P}(X|Y)$ durch die WDF
\begin{equation}
p(x|y)
= N(x; \mu_0, \Sigma)^{1 - y}N(x; \mu_1, \Sigma)^{y}
\end{equation}
mit $\mu_0, \mu_1 \in \mathbb{R}^m$ und $\Sigma \in \mathbb{R}^{m \times m}$ p.d.
definiert ist. Wir bezeichnen die gemischte WDF/WMF des LDA Modells mit
\begin{equation}
p(x,y) := p(y)p(x|y) = B(y;\mu) N(x;\mu_0,\Sigma)^{1-y}N(x;\mu_1, \Sigma)^{y}
\end{equation}
\end{definition}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung-5}{}
\small

Bemerkung

Aus generativer Sicht wird ein Trainingsdatensatz \begin{equation}
\left\lbrace \left(x^{(i)},y^{(i)}\right)\right\rbrace_{i = 1}^{n} \mbox{ mit } x^{(i)} \in \mathbb{R}^m \mbox{ und } y^{(i)} \in \{0,1\}
\end{equation} eines LDA Modells wie folgt erzeugt:

\begin{enumerate}
[(1)]
\item
  \(y^{(i)}\) wird zunächst durch Ziehen aus einer Bernoulliverteilung
  mit Parameter \(\mu\) erzeugt.
\item
  In Abhängigkeit vom Wert von \(y^{(i)}\) wird \(x^{(i)}\) dann durch
  Ziehen aus einer multivariaten Normalverteilung mit
  Kovarianzmatrixparameter \(\Sigma\) und Erwartungswertparameter
  \(\mu_0\) für \(y^{(i)} = 0\) oder \(\mu_1\) für \(y^{(i)} = 1\)
  erzeugt.
\end{enumerate}
\end{frame}

\begin{frame}[fragile]{Lineare Diskriminanzanalyse \textbar{}
Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung-6}{}
Datengeneration

\vspace{1mm}
\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# R Paket für multivariate Normalverteilung}
\FunctionTok{library}\NormalTok{(mvtnorm)}
\FunctionTok{set.seed}\NormalTok{(}\DecValTok{0}\NormalTok{)}

\CommentTok{\# Modellparameter}
\NormalTok{m      }\OtherTok{=} \DecValTok{2}                                       \CommentTok{\# Featurevektordimension}
\NormalTok{n      }\OtherTok{=} \FloatTok{2e2}                                     \CommentTok{\# Anzahl Trainingsdatenpunkte}
\NormalTok{mu     }\OtherTok{=} \FloatTok{0.5}                                     \CommentTok{\# wahrer, aber unbekannter, Bernoulliparameter \textbackslash{}mu}
\NormalTok{mu\_0   }\OtherTok{=} \FunctionTok{c}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{1}\NormalTok{)                                  }\CommentTok{\# wahrer, aber unbekannter, Normalverteilungsparameter \textbackslash{}mu\_0}
\NormalTok{mu\_1   }\OtherTok{=} \FunctionTok{c}\NormalTok{(}\DecValTok{2}\NormalTok{,}\DecValTok{2}\NormalTok{)                                  }\CommentTok{\# wahrer, aber unbekannter, Normalverteilungsparameter \textbackslash{}mu\_1}
\NormalTok{Sigma  }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{( }\FloatTok{0.50}\NormalTok{, }\SpecialCharTok{{-}}\FloatTok{0.25}\NormalTok{,                  }\CommentTok{\# Kovarianzmatrixparameter}
                  \SpecialCharTok{{-}}\FloatTok{0.25}\NormalTok{,  }\FloatTok{0.50}\NormalTok{),}
                \AttributeTok{byrow =} \ConstantTok{TRUE}\NormalTok{,}
                \AttributeTok{nrow =}\NormalTok{ m)}

\CommentTok{\# Modellsampling}
\NormalTok{y      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,n)  , }\AttributeTok{nrow =} \DecValTok{1}\NormalTok{)          }\CommentTok{\# Labeldatenarray}
\NormalTok{x      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,n}\SpecialCharTok{*}\NormalTok{m), }\AttributeTok{nrow =}\NormalTok{ m)          }\CommentTok{\# Featurevektorarray}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n)\{}
\NormalTok{  y[i]  }\OtherTok{=} \FunctionTok{rbinom}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{1}\NormalTok{,mu)                         }\CommentTok{\# y\^{}\{(i)\} \textbackslash{}sim B(\textbackslash{}mu)}
\NormalTok{  x[,i] }\OtherTok{=}\NormalTok{ ((y[i] }\SpecialCharTok{==} \DecValTok{0}\NormalTok{)}\SpecialCharTok{*}\FunctionTok{rmvnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, mu\_0, Sigma)   }\CommentTok{\# x\^{}\{i\} \textbackslash{}sim N(\textbackslash{}mu\_0,\textbackslash{}Sigma)\^{}\{1{-}y\}N(\textbackslash{}mu\_1,\textbackslash{}Sigma)\^{}y}
          \SpecialCharTok{+}\NormalTok{(y[i] }\SpecialCharTok{==} \DecValTok{1}\NormalTok{)}\SpecialCharTok{*}\FunctionTok{rmvnorm}\NormalTok{(}\DecValTok{1}\NormalTok{, mu\_1, Sigma))}
\NormalTok{\}}

\CommentTok{\# Datensatzkonkatenation}
\NormalTok{D }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(x,y)}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Modellformulierung}
\protect\hypertarget{lineare-diskriminanzanalyse-modellformulierung-7}{}
\vspace{2mm}

Datengeneration \vspace{1mm}

\footnotesize

\begin{equation*}
\mu    =  0.5,
\mu_0  = \begin{pmatrix} 1 \\ 1 \end{pmatrix},
\mu_1  = \begin{pmatrix} 2 \\ 2 \end{pmatrix},
\Sigma = \begin{pmatrix*}[r] 0.50 & -0.10 \\ -0.10 & 0.50 \end{pmatrix*}
\end{equation*}

\vfill

\begin{center}\includegraphics[width=0.5\linewidth]{7_Abbildungen/mvda_7_lda_modell} \end{center}
\vfill
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Inferenz}
\protect\hypertarget{lineare-diskriminanzanalyse-inferenz}{}
\small
\begin{theorem}[LDA Inferenz]
\justifying
\normalfont
$p(x,y)$ sei die WMF/WDF eines LDA Model. Dann gilt
\begin{equation}
p(y = 1|x) = \frac{1}{1 + \exp(-\tilde{x}^T\beta)}
\mbox{ und  }
p(y = 0|x) = 1 - p(y = 1|x),
\end{equation}
wobei
\begin{equation}
\tilde{x} :=
\begin{pmatrix}
1 \\
x
\end{pmatrix}
\in \mathbb{R}^{m+1}
\end{equation}
der \textit{erweiterten Featurevektor} und
\begin{equation}
\beta :=
\begin{pmatrix}
\frac{1}{2}\left(\mu_0^T\Sigma^{-1}\mu_0 - \mu_1^T\Sigma^{-1} \mu_1\right) + \ln\left(\frac{\mu}{1- \mu}\right) \\
-\Sigma^{-1}(\mu_0 - \mu_1)
\end{pmatrix}
\in \mathbb{R}^{m+1}.
\end{equation}
der \textit{Inferenzparametervektor} sind.
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für einen Beweis verweisen wir auf den Appendix.
\item
  \(p(y|x)\) kann zur Prädiktion der Klasse eines \(x \in \mathbb{R}^m\)
  genutzt werden.
\item
  Diese Prädiktion hängt von den LDA Modellparametern
  \(\mu, \mu_0,\mu_1,\Sigma\) ab.
\end{itemize}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Klassifikation}
\protect\hypertarget{lineare-diskriminanzanalyse-klassifikation}{}
\small
\begin{definition}[Klassifikationsregel der linearen Diskriminanzanalyse]
\normalfont
\justifying
$p(x,y)$ sei die WMF/WDF eines LDA Modells. Dann ist die \textit{Klassifikationregel} definiert als
\begin{equation}
\delta : \mathbb{R}^m \to \{0,1\}, x \mapsto \delta(x) :=
\begin{cases}
0 & \mbox{ für } p(y = 0|x) \ge p(y = 1|x) \\
1 & \mbox{ für } p(y = 0|x)   < p(y = 1|x)
\end{cases}
\end{equation}
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  Es gilt \begin{equation}
  \delta(x) = 1
  \Leftrightarrow  p(y = 1|x) > p(y = 0|x)
  \Leftrightarrow  p(y = 1|x) >0.5.
  \end{equation}
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Lineare Diskriminanzanalyse \textbar{} Inferenz
und Klassifikation}
\protect\hypertarget{lineare-diskriminanzanalyse-inferenz-und-klassifikation}{}
\vspace{2mm}

Inferenz und Klassifikation bei bekannten Modellparametern \vspace{1mm}
\footnotesize \begin{equation*}
\mu    =  0.5,
\mu_0  = \begin{pmatrix} 1 \\ 1 \end{pmatrix},
\mu_1  = \begin{pmatrix} 2 \\ 2 \end{pmatrix},
\Sigma = \begin{pmatrix*}[r] 0.10 & -0.05 \\ -0.05 & 0.10 \end{pmatrix*}
\end{equation*} \vspace{1mm}

\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Inferenz und Klassifikation für die ersten k Datenpunkte}
\FunctionTok{library}\NormalTok{(matlib)                                                 }\CommentTok{\# Matrixtools}
\NormalTok{k          }\OtherTok{=}  \DecValTok{10}                                                \CommentTok{\# Anzahl Datenpunkte}
\NormalTok{x\_tilde    }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,k), x[,}\DecValTok{1}\SpecialCharTok{:}\NormalTok{k])                           }\CommentTok{\# erweiterte Featurevektoren}
\NormalTok{beta       }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(                                            }\CommentTok{\# Inferenzparametervektor}
             \FunctionTok{c}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(  }\FunctionTok{t}\NormalTok{(mu\_0) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_0}
                      \SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(mu\_1) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_1)}
                      \SpecialCharTok{+} \FunctionTok{log}\NormalTok{(mu}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{mu)),}
               \SpecialCharTok{{-}}\FunctionTok{inv}\NormalTok{(Sigma) }\SpecialCharTok{\%*\%}\NormalTok{ (mu\_0}\SpecialCharTok{{-}}\NormalTok{mu\_1)), }\AttributeTok{nrow =} \DecValTok{3}\NormalTok{)}
\NormalTok{p\_y\_giv\_x  }\OtherTok{=} \DecValTok{1}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{+}\FunctionTok{exp}\NormalTok{(}\SpecialCharTok{{-}}\FunctionTok{t}\NormalTok{(x\_tilde) }\SpecialCharTok{\%*\%}\NormalTok{ beta))                    }\CommentTok{\# p(y = 1|x)}
\NormalTok{delta      }\OtherTok{=} \FunctionTok{as.numeric}\NormalTok{(p\_y\_giv\_x }\SpecialCharTok{\textgreater{}=} \FloatTok{0.5}\NormalTok{)                       }\CommentTok{\# Klassifikationsregel}
\end{Highlighting}
\end{Shaded}

\vspace{1mm}
\footnotesize

\begin{longtable}[]{@{}
  >{\raggedright\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.2133}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0667}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0800}}@{}}
\toprule()
\begin{minipage}[b]{\linewidth}\raggedright
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
1
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
2
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
3
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
4
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
5
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
6
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
7
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
8
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
9
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
10
\end{minipage} \\
\midrule()
\endhead
x\_1 & 1.137 & 1.800 & 2.380 & 0.871 & 2.485 & 2.145 & 0.083 & 0.823 &
2.61 & 1.466 \\
x\_2 & 3.243 & 2.050 & 1.504 & 0.774 & 2.366 & 2.649 & 0.943 & 0.636 &
2.32 & 0.588 \\
p(y = 1\textbar x) & 0.996 & 0.968 & 0.972 & 0.004 & 0.999 & 0.999 &
0.000 & 0.002 & 1.00 & 0.022 \\
delta(x) & 1.000 & 1.000 & 1.000 & 0.000 & 1.000 & 1.000 & 0.000 & 0.000
& 1.00 & 0.000 \\
y & 1.000 & 1.000 & 1.000 & 0.000 & 1.000 & 1.000 & 0.000 & 0.000 & 1.00
& 0.000 \\
\bottomrule()
\end{longtable}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{}
Diskriminanzfunktion}
\protect\hypertarget{lineare-diskriminanzanalyse-diskriminanzfunktion}{}
\footnotesize
\begin{theorem}[LDA Diskriminanzfunktion]
\normalfont
\justifying
$p(x,y)$ sei die WMF/WDF eines LDA Mmodells und $\beta \in \mathbb{R}^{m+1}$ sei
der Inferenzparametervektor. Dann kann die LDA Klassifikationsregel $\delta$ als
eine lineare Diskriminanzfunktion der Form
\begin{equation}
h : \mathbb{R}^m \to \{0,1\}, x \mapsto h(x) := g(f(x)),
\end{equation}
mit
\begin{equation}
f : \mathbb{R}^{m} \to \mathbb{R}, x \mapsto f(x) := w^T x + w_0,
\end{equation}
und
\begin{equation}
g : \mathbb{R} \to \{0,1\}, f(x) \mapsto g(f(x)) :=
\begin{cases}
0, & f(x) \ge 0 \\
1, & f(x)  < 0
\end{cases}
\end{equation}
geschrieben werden, d.h. es gilt $\delta(x) = h(x)$ für alle $x \in \mathbb{R}^m$.
Inbesondere gilt dabei
\begin{equation}
w_0 = \beta_1 \mbox{ und } w = (\beta_2,...,\beta_{m+1})^T
\end{equation}
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für einen Beweis verweisen wir auf den Appendix.
\item
  Zur Visualisierung in zweidimensionalen Featureräumen dient die
  Graphgleichungen für Hyperebenen \begin{equation}
  f(x) = 0
  \Leftrightarrow
  w^T x + w_0 = 0
  \Leftrightarrow
  w_1 x_1 + w_2 x_2 + w_0 = 0
  \Leftrightarrow
  x_2 = - \frac{w_1}{w_2}x_1 - \frac{w_0}{w_2}
  \end{equation}
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Lineare Diskriminanzanalyse \textbar{}
Diskriminanzfunktion}
\protect\hypertarget{lineare-diskriminanzanalyse-diskriminanzfunktion-1}{}
Implementation der Diskriminanfunktion bei bekannten Modellparametern

\tiny
\setstretch{1}
\vspace{1mm}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Diskriminanzfunktion}
\NormalTok{x\_1  }\OtherTok{=} \FunctionTok{seq}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{3}\NormalTok{,}\AttributeTok{len =} \FloatTok{1e2}\NormalTok{)                       }\CommentTok{\# x\_1}
\NormalTok{w\_0  }\OtherTok{=}\NormalTok{ beta[}\DecValTok{1}\NormalTok{]                                  }\CommentTok{\# w\_0}
\NormalTok{w    }\OtherTok{=}\NormalTok{ beta[}\DecValTok{2}\SpecialCharTok{:}\NormalTok{(m}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)]                            }\CommentTok{\# w}
\NormalTok{x\_2  }\OtherTok{=} \SpecialCharTok{{-}}\NormalTok{(w[}\DecValTok{1}\NormalTok{]}\SpecialCharTok{/}\NormalTok{w[}\DecValTok{2}\NormalTok{])}\SpecialCharTok{*}\NormalTok{x\_1 }\SpecialCharTok{{-}}\NormalTok{ (w\_0}\SpecialCharTok{/}\NormalTok{w[}\DecValTok{2}\NormalTok{])            }\CommentTok{\# x\_2}
\end{Highlighting}
\end{Shaded}

\vfill

\begin{center}\includegraphics[width=0.5\linewidth]{7_Abbildungen/mvda_7_lda_diskriminanzfunktion} \end{center}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Parameterlernen}
\protect\hypertarget{lineare-diskriminanzanalyse-parameterlernen}{}
\footnotesize
\begin{theorem}[LDA Maximum Likelihood Schätzer]
\justifying
\normalfont
$p(x,y)$ sei die WMF/WDF eines LDA Modells mit Parametern $\{\mu,\mu_0,\mu_1,\Sigma\}$,
$\{(x^{(i)}, y^{(i)})\}_{i=1}^n$ sei ein LDA Trainingsdatensatz, und $1_{\{S\}}$
sei die Indikatorfunktion der Aussage $A$, d.h.  $1_{\{A\}} = 1$, wenn $A$ WAHR ist
uns $1_{\{A\}} = 0$, wenn $A$ FALSCH ist. Dann sind die Maximum Likelihood Schätzer
für $\mu,\mu_0,\mu_1$ und $\Sigma$ gegeben durch
\begin{align}
\begin{split}
\hat{\mu}       & = \frac{1}{n}\sum_{i=1}^n 1_{\{y^{(i)} = 1\}}, \\
\hat{\mu}_0     & = \frac{1}{\sum_{i=1}^n 1_{\{y^{(i)} = 0\}}}\sum_{i=1}^n 1_{\{y^{(i)} = 0\}}x^{(i)}, \\
\hat{\mu}_1     & = \frac{1}{\sum_{i=1}^n 1_{\{y^{(i)} = 1\}}}\sum_{i=1}^n 1_{\{y^{(i)} = 1\}}x^{(i)}, \\
\hat{\Sigma}    & = \frac{1}{n}\sum_{i=1}^n \left(x^{(i)} - \hat{\mu}_{y^{(i)}}\right)\left(x^{(i)} - \hat{\mu}_{y^{(i)}}\right)^T.
\end{split}
\end{align}
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für einen Beweis verweisen wir auf den Appendix
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Lineare Diskriminanzanalyse \textbar{}
Parameterlernen}
\protect\hypertarget{lineare-diskriminanzanalyse-parameterlernen-1}{}
\small

Bemerkungen (fortgeführt)

\footnotesize

\begin{itemize}
\tightlist
\item
  \(\mu\) wird als die relative Häufigkeit der 1en im Trainingsdatensatz
  geschätzt.
\item
  \(\mu_0\) und \(\mu_1\) werden als Stichprobenmittel aller \(x^{(i)}\)
  mit \(y^{(i)} = 0\) bzw. \(y^{(i)} = 1\) geschätzt.
\item
  \(\Sigma\) wird durch die empirische Kovarianzmatrix aller
  \(x^{(i)}, i = 1,...,n\) geschätzt.
\item
  Substitution ergibt die Schätzer \(\hat{\beta}\), \(\hat{w}\),
  \(\hat{w}_0\) und \(\hat{h}\)
\end{itemize}

\vspace{1mm}
\small

Implementation

\tiny
\vspace{1mm}
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Parameterlernen bei gegebenen Featurevektorset x \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{m \textbackslash{}times n\} und Labelset y \textbackslash{}in \{0,1\}\^{}n}
\NormalTok{n            }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x)                                                        }\CommentTok{\# n}
\NormalTok{m            }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(x)                                                        }\CommentTok{\# m}
\NormalTok{mu\_hat       }\OtherTok{=} \FunctionTok{mean}\NormalTok{(y)                                                        }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}mu\}}
\NormalTok{mu\_0\_hat     }\OtherTok{=} \FunctionTok{rowMeans}\NormalTok{(x[, y }\SpecialCharTok{==} \DecValTok{0}\NormalTok{])                                          }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}mu\}\_0}
\NormalTok{mu\_1\_hat     }\OtherTok{=} \FunctionTok{rowMeans}\NormalTok{(x[, y }\SpecialCharTok{==} \DecValTok{1}\NormalTok{])                                          }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}mu\}\_1}
\NormalTok{Sigma\_hat    }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{,m}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ m)                                   }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}Sigma\}}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n)\{}
\NormalTok{  Sigma\_hat  }\OtherTok{=}\NormalTok{ (Sigma\_hat }\SpecialCharTok{+}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n)}\SpecialCharTok{*}
\NormalTok{               ((y[i] }\SpecialCharTok{==} \DecValTok{0}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_0\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{((x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_0\_hat))}
               \SpecialCharTok{+}\NormalTok{(y[i] }\SpecialCharTok{==} \DecValTok{1}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{((x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat))))}
\NormalTok{\}}
\NormalTok{beta\_hat     }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{( }\FunctionTok{t}\NormalTok{(mu\_0\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_0\_hat  }\CommentTok{\# \textbackslash{}hat\{beta\}}
                              \SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(mu\_1\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_1\_hat)}
                              \SpecialCharTok{+} \FunctionTok{log}\NormalTok{(mu\_hat}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{mu\_hat)),}
                        \SpecialCharTok{{-}}\FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ (mu\_0\_hat}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat)),}
                      \AttributeTok{nrow =}\NormalTok{ m}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}
\NormalTok{w\_0\_hat      }\OtherTok{=}\NormalTok{ beta\_hat[}\DecValTok{1}\NormalTok{]                                                    }\CommentTok{\# \textbackslash{}hat\{w\}}
\NormalTok{w\_hat        }\OtherTok{=}\NormalTok{ beta\_hat[}\DecValTok{2}\SpecialCharTok{:}\NormalTok{(m}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)]                                              }\CommentTok{\# \textbackslash{}hat\{w\_0\}}
\NormalTok{x\_2\_hat      }\OtherTok{=} \SpecialCharTok{{-}}\NormalTok{(w\_hat[}\DecValTok{1}\NormalTok{]}\SpecialCharTok{/}\NormalTok{w\_hat[}\DecValTok{2}\NormalTok{])}\SpecialCharTok{*}\NormalTok{x\_1 }\SpecialCharTok{{-}}\NormalTok{ (w\_0\_hat}\SpecialCharTok{/}\NormalTok{w\_hat[}\DecValTok{2}\NormalTok{])                  }\CommentTok{\# \textbackslash{}hat\{h\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Parameterlernen}
\protect\hypertarget{lineare-diskriminanzanalyse-parameterlernen-2}{}
\vspace{2mm}

Implementation \vspace{1mm} \footnotesize \begin{equation*}
\hat{\mu}    =  0.52,
\hat{\mu}_0  = \begin{pmatrix} 0.94 \\ 1.01 \end{pmatrix},
\hat{\mu}_1  = \begin{pmatrix} 1.94 \\ 2.09 \end{pmatrix},
\hat{\Sigma} = \begin{pmatrix*}[r] 0.53 & -0.26 \\ -0.26 & 0.49 \end{pmatrix*}
\end{equation*} \vfill

\begin{center}\includegraphics[width=0.55\linewidth]{7_Abbildungen/mvda_7_lda_lernen} \end{center}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel}{}
\textcolor{darkblue}{Prädiktion des Studienerfolgs}

\small

Nach Rudolf and Buse (2020) Kapitel 4

Datensatz zum Verhältnis psychologischer Diagnostik und Studienerfolg

\(n = 30\) Studierende naturwissenschaftlicher Studiengänge

Featurevektor \(x \in \mathbb{R}^4\)

\begin{itemize}
\tightlist
\item
  \(x_1\) Intelligenztestscore
\item
  \(x_2\) Mathematiktestscore
\item
  \(x_3\) Gewissenhaftigkeitscore
\item
  \(x_4\) Verträglichkeitscore
\end{itemize}

Label \(y \in \{0,1\}\)

\begin{itemize}
\tightlist
\item
  0: ungenügend (Studienabbruch aufgrund nicht bestandener Prüfungen)
\item
  1: gut (Abschlussnote besser als 2.5)
\end{itemize}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-1}{}
\small

Datensatz \(i = 1,...,15\) \footnotesize

\begin{longtable}[]{@{}lrrrrrrrrrrrrrrr@{}}
\toprule()
& 1 & 2 & 3 & 4 & 5 & 6 & 7 & 8 & 9 & 10 & 11 & 12 & 13 & 14 & 15 \\
\midrule()
\endhead
X1 & 54 & 60 & 67 & 41 & 66 & 51 & 51 & 37 & 57 & 47 & 50 & 42 & 60 & 36
& 60 \\
X2 & 44 & 20 & 36 & 39 & 57 & 28 & 46 & 46 & 54 & 12 & 67 & 63 & 64 & 64
& 71 \\
X3 & 31 & 33 & 26 & 31 & 34 & 42 & 34 & 36 & 28 & 34 & 27 & 26 & 29 & 36
& 42 \\
X4 & 60 & 31 & 54 & 26 & 56 & 23 & 40 & 31 & 49 & 41 & 53 & 36 & 40 & 21
& 40 \\
y & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\
\bottomrule()
\end{longtable}

\small

Datensatz \(i = 16,...,30\) \footnotesize

\begin{longtable}[]{@{}lrrrrrrrrrrrrrrr@{}}
\toprule()
& 16 & 17 & 18 & 19 & 20 & 21 & 22 & 23 & 24 & 25 & 26 & 27 & 28 & 29 &
30 \\
\midrule()
\endhead
X1 & 71 & 65 & 67 & 68 & 75 & 71 & 68 & 63 & 48 & 53 & 62 & 69 & 67 & 74
& 76 \\
X2 & 41 & 28 & 76 & 54 & 33 & 82 & 64 & 72 & 54 & 86 & 71 & 25 & 72 & 92
& 75 \\
X3 & 37 & 33 & 38 & 34 & 25 & 32 & 34 & 32 & 41 & 27 & 31 & 32 & 31 & 35
& 37 \\
X4 & 30 & 38 & 28 & 53 & 54 & 49 & 33 & 36 & 34 & 35 & 53 & 25 & 28 & 50
& 12 \\
y & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\
\bottomrule()
\end{longtable}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-2}{}
Datensatz \vspace{2mm}

\begin{center}\includegraphics[width=1\linewidth]{7_Abbildungen/mvda_7_lda_anwendungsbeispiel_daten} \end{center}
\end{frame}

\begin{frame}[fragile]{Lineare Diskriminanzanalyse \textbar{}
Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-3}{}
Parameterlernen und lineare Diskriminanzfunktion

\vspace{2mm}
\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\FunctionTok{library}\NormalTok{(matlib)                                                               }\CommentTok{\# Matrixtools}
\NormalTok{D            }\OtherTok{=} \FunctionTok{read.table}\NormalTok{(}\FunctionTok{file.path}\NormalTok{(}\FunctionTok{getwd}\NormalTok{(), }\StringTok{"7\_Daten"}\NormalTok{, }\StringTok{"studienerfolg.csv"}\NormalTok{)) }\CommentTok{\# Datensatz}
\NormalTok{x            }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{2}\NormalTok{,])                                             }\CommentTok{\# Featureselektion}
\NormalTok{y            }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{5}\NormalTok{,])                                               }\CommentTok{\# Label}
\NormalTok{D            }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(x,y)                                                     }\CommentTok{\# Featureselected Datensatz}
\NormalTok{n            }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x)                                                        }\CommentTok{\# Datensatzgröße}
\NormalTok{m            }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(x)                                                        }\CommentTok{\# Featurevektordimensionalität}
\NormalTok{mu\_hat       }\OtherTok{=} \FunctionTok{mean}\NormalTok{(y)                                                        }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}mu\}}
\NormalTok{mu\_0\_hat     }\OtherTok{=} \FunctionTok{rowMeans}\NormalTok{(x[, y }\SpecialCharTok{==} \DecValTok{0}\NormalTok{])                                          }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}mu\}\_0}
\NormalTok{mu\_1\_hat     }\OtherTok{=} \FunctionTok{rowMeans}\NormalTok{(x[, y }\SpecialCharTok{==} \DecValTok{1}\NormalTok{])                                          }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}mu\}\_1}
\NormalTok{Sigma\_hat    }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{4}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)                                     }\CommentTok{\# \textbackslash{}hat\{\textbackslash{}Sigma\}}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n)\{}
\NormalTok{  Sigma\_hat  }\OtherTok{=}\NormalTok{ (Sigma\_hat }\SpecialCharTok{+}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n)}\SpecialCharTok{*}
\NormalTok{              ( (y[i] }\SpecialCharTok{==} \DecValTok{0}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_0\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{((x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_0\_hat))}
               \SpecialCharTok{+}\NormalTok{(y[i] }\SpecialCharTok{==} \DecValTok{1}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{((x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat))))}
\NormalTok{\}}
\NormalTok{beta\_hat     }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{( }\FunctionTok{t}\NormalTok{(mu\_0\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_0\_hat  }\CommentTok{\# \textbackslash{}hat\{beta\}}
                              \SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(mu\_1\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_1\_hat)}
                              \SpecialCharTok{+} \FunctionTok{log}\NormalTok{(mu\_hat}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{mu\_hat)),}
                      \SpecialCharTok{{-}}\FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ (mu\_0\_hat}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat)), }\AttributeTok{nrow =} \DecValTok{3}\NormalTok{)}
\NormalTok{w\_0\_hat      }\OtherTok{=}\NormalTok{ beta\_hat[}\DecValTok{1}\NormalTok{]                                                    }\CommentTok{\# \textbackslash{}hat\{w\}}
\NormalTok{w\_hat        }\OtherTok{=}\NormalTok{ beta\_hat[}\DecValTok{2}\SpecialCharTok{:}\NormalTok{(m}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)]                                              }\CommentTok{\# \textbackslash{}hat\{w\_0\}}
\NormalTok{x\_1          }\OtherTok{=} \FunctionTok{seq}\NormalTok{(}\FunctionTok{min}\NormalTok{(x[}\DecValTok{1}\NormalTok{,]), }\FunctionTok{max}\NormalTok{(x[}\DecValTok{1}\NormalTok{,]), }\AttributeTok{len =} \FloatTok{1e2}\NormalTok{)                         }\CommentTok{\# x\_1}
\NormalTok{x\_2\_hat      }\OtherTok{=} \SpecialCharTok{{-}}\NormalTok{(w\_hat[}\DecValTok{1}\NormalTok{]}\SpecialCharTok{/}\NormalTok{w\_hat[}\DecValTok{2}\NormalTok{])}\SpecialCharTok{*}\NormalTok{x\_1 }\SpecialCharTok{{-}}\NormalTok{ (w\_0\_hat}\SpecialCharTok{/}\NormalTok{w\_hat[}\DecValTok{2}\NormalTok{])                  }\CommentTok{\# \textbackslash{}hat\{h\}}
\NormalTok{x\_tilde      }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\DecValTok{1}\NormalTok{, x)}
\NormalTok{p\_y\_giv\_x    }\OtherTok{=} \DecValTok{1}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{+}\FunctionTok{exp}\NormalTok{(}\SpecialCharTok{{-}}\FunctionTok{t}\NormalTok{(x\_tilde) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat))}
\NormalTok{delta        }\OtherTok{=} \FunctionTok{as.numeric}\NormalTok{(p\_y\_giv\_x }\SpecialCharTok{\textgreater{}=} \FloatTok{0.5}\NormalTok{)}
\FunctionTok{cat}\NormalTok{(}\StringTok{"Accuracy: "}\NormalTok{, }\FunctionTok{mean}\NormalTok{(delta }\SpecialCharTok{==}\NormalTok{ y))}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> Accuracy:  0.833
\end{verbatim}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-4}{}
\vspace{1mm}

Parameterlernen und lineare Diskriminanzfunktion

\vspace{2mm}

\begin{center}\includegraphics[width=0.6\linewidth]{7_Abbildungen/mvda_7_lda_anwendungsbeispiel_parameterlernen} \end{center}
\end{frame}

\begin{frame}[fragile]{Lineare Diskriminanzanalyse \textbar{}
Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-5}{}
\vspace{1mm}

Lineare Diskriminanzanalyse \textbar{} Leave-One-Out Cross-Validation,
\(m = 2\)

\tiny
\setstretch{0.8}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Datensatz}
\NormalTok{D                }\OtherTok{=} \FunctionTok{read.table}\NormalTok{(}\FunctionTok{file.path}\NormalTok{(}\FunctionTok{getwd}\NormalTok{(), }\StringTok{"7\_Daten"}\NormalTok{, }\StringTok{"studienerfolg.csv"}\NormalTok{))}
\NormalTok{x                }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{2}\NormalTok{,])}
\NormalTok{y                }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{5}\NormalTok{,])}
\NormalTok{D                }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(x,y)}
\NormalTok{K                }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(D)}
\NormalTok{p\_y\_giv\_x        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, }\FunctionTok{ncol}\NormalTok{(y)), }\AttributeTok{nrow =} \DecValTok{1}\NormalTok{)}
\NormalTok{delta            }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, }\FunctionTok{ncol}\NormalTok{(y)), }\AttributeTok{nrow =} \DecValTok{1}\NormalTok{)}

\CommentTok{\# K{-}fache Leave{-}One{-}Out Cross{-}Validation}
\ControlFlowTok{for}\NormalTok{(k }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{K)\{}

    \CommentTok{\# Datensatzpartition}
\NormalTok{    x\_train      }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(x[,}\SpecialCharTok{{-}}\NormalTok{k])}
\NormalTok{    y\_train      }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(y[,}\SpecialCharTok{{-}}\NormalTok{k])}
\NormalTok{    x\_test       }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(x[, k])}
\NormalTok{    y\_test       }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(y[, k])}

    \CommentTok{\# Trainingsdatensatz{-}basiertes Parameterlernen}
\NormalTok{    n            }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x\_train)}
\NormalTok{    m            }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(x\_train)}
\NormalTok{    mu\_hat       }\OtherTok{=} \FunctionTok{mean}\NormalTok{(y\_train)}
\NormalTok{    mu\_0\_hat     }\OtherTok{=} \FunctionTok{rowMeans}\NormalTok{(x\_train[, y\_train }\SpecialCharTok{==} \DecValTok{0}\NormalTok{])}
\NormalTok{    mu\_1\_hat     }\OtherTok{=} \FunctionTok{rowMeans}\NormalTok{(x\_train[, y\_train }\SpecialCharTok{==} \DecValTok{1}\NormalTok{])}
\NormalTok{    Sigma\_hat    }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{,m}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ m)}
    \ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n)\{}
\NormalTok{      Sigma\_hat  }\OtherTok{=}\NormalTok{ (Sigma\_hat }\SpecialCharTok{+}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n)}\SpecialCharTok{*}
\NormalTok{                   ((y\_train[i] }\SpecialCharTok{==} \DecValTok{0}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(x\_train[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_0\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{((x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_0\_hat))}
                   \SpecialCharTok{+}\NormalTok{(y\_train[i] }\SpecialCharTok{==} \DecValTok{1}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(x\_train[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{((x[,i]}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat))))}
\NormalTok{    \}}
\NormalTok{    beta\_hat     }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{( }\FunctionTok{t}\NormalTok{(mu\_0\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_0\_hat  }\CommentTok{\# \textbackslash{}hat\{beta\}}
                                  \SpecialCharTok{{-}} \FunctionTok{t}\NormalTok{(mu\_1\_hat) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ mu\_1\_hat)}
                                  \SpecialCharTok{+} \FunctionTok{log}\NormalTok{(mu\_hat}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{mu\_hat)),}
                          \SpecialCharTok{{-}}\FunctionTok{inv}\NormalTok{(Sigma\_hat) }\SpecialCharTok{\%*\%}\NormalTok{ (mu\_0\_hat}\SpecialCharTok{{-}}\NormalTok{mu\_1\_hat)), }\AttributeTok{nrow =}\NormalTok{ m}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}

    \CommentTok{\# Prädiktion}
\NormalTok{    x\_test\_tilde }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\DecValTok{1}\NormalTok{, x\_test)}
\NormalTok{    p\_y\_giv\_x[k] }\OtherTok{=} \DecValTok{1}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{+}\FunctionTok{exp}\NormalTok{(}\SpecialCharTok{{-}}\FunctionTok{t}\NormalTok{(x\_test\_tilde) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat))}
\NormalTok{    delta[k]     }\OtherTok{=} \FunctionTok{as.numeric}\NormalTok{(p\_y\_giv\_x[k] }\SpecialCharTok{\textgreater{}=} \FloatTok{0.5}\NormalTok{)}
\NormalTok{\}}
\FunctionTok{cat}\NormalTok{(}\StringTok{"Accuracy: "}\NormalTok{, }\FunctionTok{mean}\NormalTok{(delta }\SpecialCharTok{==}\NormalTok{ y))}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> Accuracy:  0.667
\end{verbatim}
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-6}{}
Lineare Diskriminanzanalyse \textbar{} Leave-One-Out Cross-Validation,
\(m = 2\)

\tiny
\setstretch{0.8}

\begin{longtable}[]{@{}rrrrrr@{}}
\toprule()
k & x\_1 & x\_2 & p(y = 1\textbar x) & delta(x) & y \\
\midrule()
\endhead
1 & 54 & 44 & 1.0 & 1 & 0 \\
2 & 60 & 20 & 1.0 & 1 & 0 \\
3 & 67 & 36 & 1.0 & 1 & 0 \\
4 & 41 & 39 & 1.0 & 1 & 0 \\
5 & 66 & 57 & 0.0 & 0 & 0 \\
6 & 51 & 28 & 0.0 & 0 & 0 \\
7 & 51 & 46 & 0.0 & 0 & 0 \\
8 & 37 & 46 & 0.0 & 0 & 0 \\
9 & 57 & 54 & 0.1 & 0 & 0 \\
10 & 47 & 12 & 0.0 & 0 & 0 \\
11 & 50 & 67 & 0.2 & 0 & 0 \\
12 & 42 & 63 & 0.0 & 0 & 0 \\
13 & 60 & 64 & 0.9 & 1 & 0 \\
14 & 36 & 64 & 0.0 & 0 & 0 \\
15 & 60 & 71 & 1.0 & 1 & 0 \\
16 & 71 & 41 & 0.7 & 1 & 1 \\
17 & 65 & 28 & 0.1 & 0 & 1 \\
18 & 67 & 76 & 1.0 & 1 & 1 \\
19 & 68 & 54 & 0.9 & 1 & 1 \\
20 & 75 & 33 & 0.8 & 1 & 1 \\
21 & 71 & 82 & 1.0 & 1 & 1 \\
22 & 68 & 64 & 0.9 & 1 & 1 \\
23 & 63 & 72 & 0.9 & 1 & 1 \\
24 & 48 & 54 & 0.0 & 0 & 1 \\
25 & 53 & 86 & 0.5 & 0 & 1 \\
26 & 62 & 71 & 0.8 & 1 & 1 \\
27 & 69 & 25 & 0.5 & 0 & 1 \\
28 & 67 & 72 & 0.9 & 1 & 1 \\
29 & 74 & 92 & 1.0 & 1 & 1 \\
30 & 76 & 75 & 1.0 & 1 & 1 \\
\bottomrule()
\end{longtable}

\small

Prediction Accuracy = 0.67.
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-7}{}
Lineare Diskriminanzanalyse \textbar{} Leave-One-Out Cross-Validation,
\(m = 3\)

\tiny
\setstretch{0.8}

\begin{longtable}[]{@{}rrrrrrr@{}}
\toprule()
k & x\_1 & x\_2 & x\_3 & p(y = 1\textbar x) & delta(x) & y \\
\midrule()
\endhead
1 & 54 & 44 & 31 & 1.0 & 1 & 0 \\
2 & 60 & 20 & 33 & 1.0 & 1 & 0 \\
3 & 67 & 36 & 26 & 1.0 & 1 & 0 \\
4 & 41 & 39 & 31 & 0.0 & 0 & 0 \\
5 & 66 & 57 & 34 & 0.0 & 0 & 0 \\
6 & 51 & 28 & 42 & 0.0 & 0 & 0 \\
7 & 51 & 46 & 34 & 0.0 & 0 & 0 \\
8 & 37 & 46 & 36 & 0.0 & 0 & 0 \\
9 & 57 & 54 & 28 & 0.0 & 0 & 0 \\
10 & 47 & 12 & 34 & 0.0 & 0 & 0 \\
11 & 50 & 67 & 27 & 0.0 & 0 & 0 \\
12 & 42 & 63 & 26 & 0.0 & 0 & 0 \\
13 & 60 & 64 & 29 & 0.0 & 0 & 0 \\
14 & 36 & 64 & 36 & 0.0 & 0 & 0 \\
15 & 60 & 71 & 42 & 0.4 & 0 & 0 \\
16 & 71 & 41 & 37 & 0.0 & 0 & 1 \\
17 & 65 & 28 & 33 & 0.0 & 0 & 1 \\
18 & 67 & 76 & 38 & 0.4 & 0 & 1 \\
19 & 68 & 54 & 34 & 0.2 & 0 & 1 \\
20 & 75 & 33 & 25 & 0.2 & 0 & 1 \\
21 & 71 & 82 & 32 & 0.9 & 1 & 1 \\
22 & 68 & 64 & 34 & 0.6 & 1 & 1 \\
23 & 63 & 72 & 32 & 0.5 & 0 & 1 \\
24 & 48 & 54 & 41 & 0.0 & 0 & 1 \\
25 & 53 & 86 & 27 & 0.2 & 0 & 1 \\
26 & 62 & 71 & 31 & 0.7 & 1 & 1 \\
27 & 69 & 25 & 32 & 0.3 & 0 & 1 \\
28 & 67 & 72 & 31 & 0.9 & 1 & 1 \\
29 & 74 & 92 & 35 & 1.0 & 1 & 1 \\
30 & 76 & 75 & 37 & 1.0 & 1 & 1 \\
\bottomrule()
\end{longtable}

\small

Prediction Accuracy = 0.60.
\end{frame}

\begin{frame}{Lineare Diskriminanzanalyse \textbar{} Anwendungsbeispiel}
\protect\hypertarget{lineare-diskriminanzanalyse-anwendungsbeispiel-8}{}
Lineare Diskriminanzanalyse \textbar{} Leave-One-Out Cross-Validation,
\(m = 4\)

\tiny
\setstretch{0.8}

\begin{longtable}[]{@{}rrrrrrrr@{}}
\toprule()
k & x\_1 & x\_2 & x\_3 & x\_4 & p(y = 1\textbar x) & delta(x) & y \\
\midrule()
\endhead
1 & 54 & 44 & 31 & 60 & 0.0 & 0 & 0 \\
2 & 60 & 20 & 33 & 31 & 0.0 & 0 & 0 \\
3 & 67 & 36 & 26 & 54 & 0.0 & 0 & 0 \\
4 & 41 & 39 & 31 & 26 & 0.0 & 0 & 0 \\
5 & 66 & 57 & 34 & 56 & 0.0 & 0 & 0 \\
6 & 51 & 28 & 42 & 23 & 0.0 & 0 & 0 \\
7 & 51 & 46 & 34 & 40 & 0.0 & 0 & 0 \\
8 & 37 & 46 & 36 & 31 & 0.0 & 0 & 0 \\
9 & 57 & 54 & 28 & 49 & 0.0 & 0 & 0 \\
10 & 47 & 12 & 34 & 41 & 0.0 & 0 & 0 \\
11 & 50 & 67 & 27 & 53 & 0.0 & 0 & 0 \\
12 & 42 & 63 & 26 & 36 & 0.0 & 0 & 0 \\
13 & 60 & 64 & 29 & 40 & 0.0 & 0 & 0 \\
14 & 36 & 64 & 36 & 21 & 0.0 & 0 & 0 \\
15 & 60 & 71 & 42 & 40 & 0.0 & 0 & 0 \\
16 & 71 & 41 & 37 & 30 & 0.0 & 0 & 1 \\
17 & 65 & 28 & 33 & 38 & 0.0 & 0 & 1 \\
18 & 67 & 76 & 38 & 28 & 0.1 & 0 & 1 \\
19 & 68 & 54 & 34 & 53 & 0.0 & 0 & 1 \\
20 & 75 & 33 & 25 & 54 & 1.0 & 1 & 1 \\
21 & 71 & 82 & 32 & 49 & 1.0 & 1 & 1 \\
22 & 68 & 64 & 34 & 33 & 1.0 & 1 & 1 \\
23 & 63 & 72 & 32 & 36 & 1.0 & 1 & 1 \\
24 & 48 & 54 & 41 & 34 & 0.0 & 0 & 1 \\
25 & 53 & 86 & 27 & 35 & 0.9 & 1 & 1 \\
26 & 62 & 71 & 31 & 53 & 0.3 & 0 & 1 \\
27 & 69 & 25 & 32 & 25 & 1.0 & 1 & 1 \\
28 & 67 & 72 & 31 & 28 & 1.0 & 1 & 1 \\
29 & 74 & 92 & 35 & 50 & 1.0 & 1 & 1 \\
30 & 76 & 75 & 37 & 12 & 1.0 & 1 & 1 \\
\bottomrule()
\end{longtable}

\small

Prediction Accuracy = 0.80.
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-5}{}
\vfill
\setstretch{2.4}
\large

Vorbemerkungen

Lineare Diskriminanzanalyse

\textbf{Logistische Regression}

Selbstkontrollfragen

Appendix \vfill
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung}{}
\small
\begin{definition}[Generalisiertes Lineares Modell]
\justifying
$x \in \mathbb{R}^m$ sei ein erweiterter Featurevektor und $y$ das assoziierte
Label. Weiterhin sei für einen \textit{Parametervektor} $\beta \in \mathbb{R}^{m}$
\begin{equation}
\eta := x^T\beta
\end{equation}
ein  \textit{linearer Prädiktor}. Dann ist ein generalisierte lineares Modell definiert
mithilfe einer zweimal differenzierbaren und invertierbaren  \textit{link function}
\begin{equation}
g : \mathbb{R} \to \mathbb{R}, \mathbb{E}(y) \mapsto g(\mathbb{E}(y)) =: \eta.
\end{equation}
definiert. Die Inverse der link function,
\begin{equation}
g^{-1}:  \mathbb{R} \to \mathbb{R}, \eta \mapsto g^{-1}(\eta) = \mathbb{E}(y)
\end{equation}
heißt  \textit{mean function} und wird mit $f$ bezeichnet, so dass
\begin{equation}
f :  \mathbb{R} \to \mathbb{R}, \eta \mapsto f(\eta) = \mathbb{E}(y).
\end{equation}
\end{definition}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung-1}{}
\small
\begin{definition}[Allgemeines Lineares Modell als Generalisiertes Lineares Modell]
Das Allgemeine Lineare Modell mit u.i.v. Störvariablen ist das Generalisierte
Lineare Model, bei dem
\begin{enumerate}
\item die Labelvariable eine univariat normalverteilte Zufallsvariable
\begin{equation}
y \sim N(\mu,\sigma^2),
\end{equation}
ist und
\item die link function durch die Identität
\begin{equation}
g : \mathbb{R} \to \mathbb{R}, \mu \mapsto g(\mu) := \mu =: \eta.
\end{equation}
gegeben ist.
\end{enumerate}
Weil die Inverse der Identität wiederrum die Identität ist, folgt,
dass die mean function des ALM durch
\begin{equation}
f :  \mathbb{R} \to \mathbb{R}, \eta \mapsto f(\eta) = \eta =  \mu.
\end{equation}
gegeben ist. Die Parameter des Allgemeinen Linearen Modells sind die Komponenten
des Vektors $\beta \in \mathbb{R}^{m}$ des linearen Prädiktors $\eta = x^T\beta$
und der Parameter $\sigma^2>0$.
\end{definition}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung-2}{}
\small
\begin{definition}[Logistische Regression als Generalisiertes Lineares Modell]
Das Modell der Logistischen Regression (LR) ist das Generalisierte Lineare Modell, bei dem
\begin{enumerate}
\item die Labelvariable eine Bernoulli-Zufallsvariable
\begin{equation}
y \sim B(\mu)
\end{equation}
ist und
\item die link function durch die \textit{standard logit function}
\begin{equation}
g : [0,1] \to \mathbb{R}, \mu \mapsto g(\mu) := \ln \left(\frac{\mu}{1 - \mu} \right) =: \eta
\end{equation}
gegeben ist.
\end{enumerate}
Die Parameter des Logistischen Regressionsmodels sind die Komponenten
des Vektors $\beta \in \mathbb{R}^{m}$ des linearen Prädiktors $\eta = x^T\beta$.
\end{definition}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung-3}{}
\small
\begin{theorem}[Mean function der Logistischen Regression]
\justifying
\normalfont
Die Inverse der link function des Modells der Logistischen Regression
und somit seine mean function ist die
\textit{standard logistic function}
\begin{equation}
f : \mathbb{R} \to [0,1], \eta \mapsto f(\eta) = \frac{1}{1 + \exp(- \eta)}.
\end{equation}
\end{theorem}

\footnotesize

\underline{Beweis} \vspace{1mm}

Umformen der logit function ergibt \begin{align*}
\begin{split}
\eta & = \ln (\mu/(1-\mu))      \\
\Leftrightarrow
-\eta & = -\ln(\mu/(1-\mu))     \\
\Leftrightarrow
-\eta & = \ln((1-\mu)/\mu))     \\
\Leftrightarrow
\exp(-\eta) & = (1-\mu)/\mu     \\
\Leftrightarrow
\mu \exp(-\eta) & = 1 - \mu     \\
\Leftrightarrow
\exp(-\eta) & = \mu^{-1} - 1    \\
\mu & = 1/(\exp(-\eta) + 1)
\end{split}
\end{align*} \(\hfill \Box\)
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung-4}{}
Link und Mean Funktionen \vspace{2mm}

\begin{center}\includegraphics[width=0.9\linewidth]{7_Abbildungen/mvda_7_lr_link_mean} \end{center}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung-5}{}
\small
\begin{definition}[Modell der Logistischen Regression]
$y$ sei eine Zufallsvariable mit Ergebnisraum $\{0,1\}$. Dann ist das
\textit{Modell der Logistischen Regressionsmodell} definiert als die WMF
\begin{equation}
p(y) = B\left(y;\frac{1}{1 + \exp(-x^T \beta)}\right),
\end{equation}
wobei $x \in \mathbb{R}^{m+1}$ einen erweiterten Featurevektor und
$\beta \in \mathbb{R}^{m+1}$ den \textit{Parametervektor} bezeichnen
\end{definition}

\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  Aus generativer Sicht wird ein Trainingsdatensatz \begin{equation}
  \left\lbrace\left(x^{(i)},y^{(i)}\right)\right\rbrace_{i = 1}^{n} \mbox{ mit } x^{(i)} \in \mathbb{R}^{m+1} \mbox{ und } y^{(i)} \in \{0,1\}
  \end{equation} eines LR Modells wie folgt erzeugt:
\end{itemize}

\begin{enumerate}
[(1)]
\tightlist
\item
  Definition von \(x^{(i)}\),
\item
  Ziehen von \(y^{(i)}\) aus \(p(y) = B(y;\mu)\) mit
  Erwartungswertparameter
  \(\mu = \frac{1}{1 + \exp(-x^{(i)^T} \beta)}\).
\end{enumerate}
\end{frame}

\begin{frame}[fragile]{Logistische Regression \textbar{}
Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung-6}{}
Datengeneration bei einfacher Logistischer Regression (\(m = 1\))
\vspace{3mm}

\footnotesize

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Modellparameter}
\NormalTok{m    }\OtherTok{=} \DecValTok{1}                                \CommentTok{\# Featurevektoredimensionalität}
\NormalTok{n    }\OtherTok{=} \DecValTok{30}                               \CommentTok{\# Anzahl Datenpunkte}
\NormalTok{x    }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n),               }\CommentTok{\# Definition des erweiterten Featurevektors}
                \FunctionTok{seq}\NormalTok{(}\SpecialCharTok{{-}}\DecValTok{5}\NormalTok{,}\DecValTok{5}\NormalTok{, }\AttributeTok{len =}\NormalTok{ n)),}
              \AttributeTok{nrow  =} \DecValTok{2}\NormalTok{,}
              \AttributeTok{byrow =} \ConstantTok{TRUE}\NormalTok{)}
\NormalTok{beta }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\SpecialCharTok{{-}}\DecValTok{2}\NormalTok{,}\DecValTok{2}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)        }\CommentTok{\# wahrer, aber unbekannter, Parametervektor}
\NormalTok{eta  }\OtherTok{=} \FunctionTok{t}\NormalTok{(x) }\SpecialCharTok{\%*\%}\NormalTok{ beta                    }\CommentTok{\# wahrer, aber unbekannter linearer Prädiktor}
\NormalTok{mu   }\OtherTok{=} \DecValTok{1}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{+}\FunctionTok{exp}\NormalTok{(}\SpecialCharTok{{-}}\NormalTok{eta))                  }\CommentTok{\# wahrer, aber unbekannter, Bernoulliparametervektor}

\CommentTok{\# Dategeneration}
\FunctionTok{set.seed}\NormalTok{(}\DecValTok{2}\NormalTok{)                             }\CommentTok{\# Zufallsgeneratorzustand}
\NormalTok{y    }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,}\DecValTok{2}\NormalTok{)                       }\CommentTok{\# Datenarray}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n)\{}
\NormalTok{  y[i] }\OtherTok{=} \FunctionTok{rbinom}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{1}\NormalTok{,mu[i])              }\CommentTok{\# Bernoullivariablenrealisierung}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Modellformulierung}
\protect\hypertarget{logistische-regression-modellformulierung-7}{}
Datengeneration bei einfacher Logistischer Regression
(\(m = 1, \beta = (-2,2)^T, n = 30\)) \vspace{4mm}

\begin{center}\includegraphics[width=0.9\linewidth]{7_Abbildungen/mvda_7_lr_datengeneration} \end{center}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Klassifikationsregel}
\protect\hypertarget{logistische-regression-klassifikationsregel}{}
\small
\begin{definition}[Klassifikationsregel der Logistischen Regression]
\normalfont
\justifying
$p(y)$ sei die WMF eines Logistischen Regressionsmodells. Dann ist die
\textit{Klassifikationregel} definiert als
\begin{equation}
\delta : \mathbb{R}^m \to \{0,1\}, x \mapsto \delta(x) :=
\begin{cases}
0 & \mbox{ für } p(y = 0) \ge p(y = 1) \\
1 & \mbox{ für } p(y = 0)   < p(y = 1)
\end{cases}
\end{equation}
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  Es gilt \begin{equation}
  \delta(x) = 1
  \Leftrightarrow  p(y = 1) > p(y = 0)
  \Leftrightarrow  p(y = 1) > 0.5.
  \end{equation}
\end{itemize}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Diskriminanzfunktion}
\protect\hypertarget{logistische-regression-diskriminanzfunktion}{}
\footnotesize
\begin{theorem}[Lineare Diskriminanzfunktion der Logistischen Regression]
\normalfont
\justifying
$p(y)$ sei die WMF eines Logistischen Regressionsmodells und $\beta \in \mathbb{R}^{m+1}$
sei der Parametervektor. Dann kann die Klassifikationsregel $\delta$ der Logistischen Regression
als eine lineare Diskriminanzfunktion der Form
\begin{equation}
h : \mathbb{R}^m \to \{0,1\}, x \mapsto h(x) := g(f(x)),
\end{equation}
mit
\begin{equation}
f : \mathbb{R}^{m} \to \mathbb{R}, x \mapsto f(x) := w^T x + w_0,
\end{equation}
und
\begin{equation}
g : \mathbb{R} \to \{0,1\}, f(x) \mapsto g(f(x)) :=
\begin{cases}
0, & f(x) \ge 0 \\
1, & f(x)  < 0
\end{cases}
\end{equation}
geschrieben werden, d.h. es gilt $\delta(x) = h(x)$ für alle $x \in \mathbb{R}^m$.
Inbesondere gilt dabei
\begin{equation}
w_0 = \beta_1 \mbox{ und } w = (\beta_2,...,\beta_{m+1})^T
\end{equation}
\end{theorem}

\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  CAVE: \(f\) bezeichnet hier eine linear-affine Funktion, nicht die
  standard logistic function.
\item
  Ein Beweis ergibt sich in Analogie zum Fall der Linearen
  Diskriminanzanalyse
\end{itemize}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Parameterlernen}
\protect\hypertarget{logistische-regression-parameterlernen}{}
\footnotesize
\begin{theorem}[Log Likelihood Funktion der Logistischen Regression]
\justifying
\normalfont
$\lbrace(x^{(i)},y^{(i)})\rbrace_{i=1}^n$ sei ein Trainingsdatensatz aus erweiterten
Featurevektoren und assoziierten Labelvariablenrealisierungen und $f$ sei die
standard logistic function. Dann hat die Log Likelihood Funktion der Logistischen
Regression die Form
\begin{equation*}
\ell : \mathbb{R}^m \to \mathbb{R}, \beta \mapsto \ell(\beta)
:= \sum_{i=1}^n y^{(i)} \ln (f(x^{{(i)}^T}\beta))
              + (1 - y^{(i)}) \ln (1 - f(x^{{(i)}^T}\beta)).
\end{equation*}
\end{theorem}

\tiny
\setstretch{.8}

\underline{Beweis}

Wir halten zunächst fest, dass für u.i.v. Labelvariablen gilt, dass
\begin{equation*}
\ell(\beta)
:= \ln p(y^{(1)}, ...,y^{(n)})
 = \ln \prod_{i=1}^n p(y^{(i)})
 = \sum_{i=1}^n \ln p(y^{(i)})
\end{equation*} Mit der WMF der Bernoulliverteilung folgt dann
\begin{align*}
\begin{split}
\ell(\beta)
&  = \sum_{i=1}^n \ln  (f(x^{{(i)}^T}\beta)^{y^{(i)}}
                       (1 - f(x^{{(i)}^T}\beta))^{1 - y^{(i)}}) \\
& = \sum_{i=1}^n
y^{(i)}  \ln (f(x^{{(i)}^T}\beta)) +
(1 - {y^{(i)}}) \ln (1 - f(x^{{(i)}^T}\beta))   \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}[fragile]{Logistische Regression \textbar{}
Parameterlernen}
\protect\hypertarget{logistische-regression-parameterlernen-1}{}
Implementation der Log Likelihood Funktion

\vspace{2mm}
\tiny
\setstretch{.9}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Funktionsdefinitionen}
\CommentTok{\# {-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}}
\CommentTok{\# Standard Logistic Function}
\NormalTok{f }\OtherTok{=} \ControlFlowTok{function}\NormalTok{(eta)\{}
    \FunctionTok{return}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1} \SpecialCharTok{+} \FunctionTok{exp}\NormalTok{(}\SpecialCharTok{{-}}\NormalTok{eta)))}
\NormalTok{\}}

\CommentTok{\# Log Likelihood Function}
\NormalTok{llh }\OtherTok{=} \ControlFlowTok{function}\NormalTok{(x,y,beta)\{}
\NormalTok{    n   }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x)}
\NormalTok{    ell }\OtherTok{=} \DecValTok{0}
    \ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{n)\{}
\NormalTok{        ell }\OtherTok{=}\NormalTok{ ell }\SpecialCharTok{+}\NormalTok{ y[i]}\SpecialCharTok{*}\FunctionTok{log}\NormalTok{(}\FunctionTok{f}\NormalTok{(}\FunctionTok{t}\NormalTok{(x[,i]) }\SpecialCharTok{\%*\%}\NormalTok{ beta)) }\SpecialCharTok{+}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{y[i])}\SpecialCharTok{*}\FunctionTok{log}\NormalTok{(}\DecValTok{1}\SpecialCharTok{{-}}\FunctionTok{f}\NormalTok{(}\FunctionTok{t}\NormalTok{(x[,i]) }\SpecialCharTok{\%*\%}\NormalTok{ beta))}
\NormalTok{    \}}
    \FunctionTok{return}\NormalTok{(ell)}
\NormalTok{\}}

\CommentTok{\# Log Likelihood Funktion Auswertung}
\CommentTok{\# {-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}}
\NormalTok{beta\_min  }\OtherTok{=} \SpecialCharTok{{-}}\DecValTok{5}                                                   \CommentTok{\# beta Minimum}
\NormalTok{beta\_max  }\OtherTok{=}  \DecValTok{5}                                                   \CommentTok{\# beta Maximum}
\NormalTok{beta\_res  }\OtherTok{=} \FloatTok{5e1}                                                  \CommentTok{\# beta Auflösung}
\NormalTok{beta\_1    }\OtherTok{=} \FunctionTok{seq}\NormalTok{(beta\_min, beta\_max, }\AttributeTok{length.out =}\NormalTok{ beta\_res)       }\CommentTok{\# beta\_1 Raum}
\NormalTok{beta\_2    }\OtherTok{=} \FunctionTok{seq}\NormalTok{(beta\_min, beta\_max, }\AttributeTok{length.out =}\NormalTok{ beta\_res)       }\CommentTok{\# beta\_2 Raum}
\NormalTok{ell       }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, beta\_res}\SpecialCharTok{*}\NormalTok{beta\_res), }\AttributeTok{nrow =}\NormalTok{ beta\_res) }\CommentTok{\# Log Likelihood Funktion Array}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{beta\_res)\{}
    \ControlFlowTok{for}\NormalTok{(j }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{beta\_res)\{}
\NormalTok{        beta12   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(beta\_1[i], beta\_2[j]), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)}
\NormalTok{        ell[i,j] }\OtherTok{=} \FunctionTok{llh}\NormalTok{(x,y,beta12)}
\NormalTok{    \}}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Parameterlernen}
\protect\hypertarget{logistische-regression-parameterlernen-2}{}
\vspace{2mm}

Visualisierung der Log Likelihood Funktion \vspace{2mm}

\begin{center}\includegraphics[width=0.7\linewidth]{7_Abbildungen/mvda_7_lr_llh} \end{center}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Parameterlernen}
\protect\hypertarget{logistische-regression-parameterlernen-3}{}
\footnotesize
\begin{theorem}[Gradientverfahren der Logistischen Regression]
\normalfont
\justifying
$p(y)$ sei das Modell einer Logistischen Regression und $\{(x^{(i)},y^{(i)})\}_{i=1}^n$
sei ein entsprechender Trainingsdatensatz. Dann kann eine Maximum Likelihood Schätzer
$\hat{\beta}$ für den Parametervektor $\beta$ des LRM durch folgendes Gradientenverfahren
gewonnen werden:
\begin{itemize}
\item[(0)] Wähle $\beta^0 \in \mathbb{R}^{}, \alpha > 0, \delta > 0$
\item[(1)] Für $k = 0,1,2,...$ bis zur Konvergenz setze
\begin{equation}
\beta^{(k+1)} := \beta^{(k)} + \alpha \nabla \ell(\beta^{(k)}).
\end{equation}
\end{itemize}
wobei $\nabla \ell\left(\beta^k\right)$ den Gradienten der Log Likelihood Funktion
der Logistischen Regression bezeichnet und die Form
\begin{equation}
\nabla \ell(\beta)
=
\begin{pmatrix}
\frac{\partial}{\partial \beta_1} \ell(\beta)   \\
\frac{\partial}{\partial \beta_2} \ell(\beta)   \\
\vdots                                          \\
\frac{\partial}{\partial \beta_m} \ell(\beta)   \\
\end{pmatrix}
=
\begin{pmatrix}
\sum_{i=1}^n (y^{(i)} - f(x^{{(i)}^T} \beta ))x_1^{(i)}     \\
\sum_{i=1}^n (y^{(i)} - f(x^{{(i)}^T} \beta ))x_2^{(i)}     \\
\vdots                                                      \\
\sum_{i=1}^n (y^{(i)} - f(x^{{(i)}^T} \beta ))x_m^{(i)}     \\
\end{pmatrix}
\end{equation}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für einen Beweis verweisen wir auf den Appendix.
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Logistische Regression \textbar{}
Parameterlernen}
\protect\hypertarget{logistische-regression-parameterlernen-4}{}
\vspace{2mm}
\footnotesize

Bemerkungen (fortgeführt)

\begin{itemize}
\tightlist
\item
  Das reine Gradientenverfahren zum Lernen der Parameter eines LR
  Modells ist recht instabil.
\item
  Iteratively Weighted Least Squares Verfahren werden zur ML Schätzung
  in GLMs bevorzugt (Green 1984).
\item
  IWLS Verfahren nutzen Gradienten und Hesse-Matrix ähnlich wie
  Gauss-Newton Verfahren.
\item
  R implementiert in der \texttt{glm()} ein IWLS Verfahren.
\end{itemize}

\vspace{2mm}

\begin{Shaded}
\begin{Highlighting}[]
\NormalTok{lr        }\OtherTok{=} \FunctionTok{glm}\NormalTok{(y }\SpecialCharTok{\textasciitilde{}}\NormalTok{ x[}\DecValTok{2}\NormalTok{,], }\AttributeTok{family =} \StringTok{\textquotesingle{}binomial\textquotesingle{}}\NormalTok{)          }\CommentTok{\# generalized linear model fit}
\NormalTok{beta\_hat  }\OtherTok{=}\NormalTok{ lr}\SpecialCharTok{$}\NormalTok{coefficients                              }\CommentTok{\# Parametervektorschätzer}
\end{Highlighting}
\end{Shaded}

\begin{center}\includegraphics[width=0.45\linewidth]{7_Abbildungen/mvda_7_lr_schätzung} \end{center}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Anwendungsbeispiel}
\protect\hypertarget{logistische-regression-anwendungsbeispiel}{}
\textcolor{darkblue}{Prädiktion des Studienerfolgs} \small

Nach Rudolf and Buse (2020) Kapitel 4

Datensatz zum Verhältnis psychologischer Diagnostik und Studienerfolg

\(n = 30\) Studierende naturwissenschaftlicher Studiengänge

Featurevektor \(x \in \mathbb{R}^4\)

\begin{itemize}
\tightlist
\item
  \(x_1\) Intelligenztestscore
\item
  \(x_2\) Mathematiktestscore
\item
  \(x_3\) Gewissenhaftigkeitscore
\item
  \(x_4\) Verträglichkeitscore
\end{itemize}

Label \(y \in \{0,1\}\)

\begin{itemize}
\tightlist
\item
  0: ungenügend (Studienabbruch aufgrund nicht bestandener Prüfungen)
\item
  1: gut (Abschlussnote besser als 2.5)
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Logistische Regression \textbar{}
Anwendungsbeispiel}
\protect\hypertarget{logistische-regression-anwendungsbeispiel-1}{}
Parameterlernen, Prädiktion und lineare Diskriminanzfunktion

\vspace{2mm}
\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\FunctionTok{library}\NormalTok{(matlib)                                                               }\CommentTok{\# Matrixtools}
\NormalTok{D            }\OtherTok{=} \FunctionTok{read.table}\NormalTok{(}\FunctionTok{file.path}\NormalTok{(}\FunctionTok{getwd}\NormalTok{(), }\StringTok{"7\_Daten"}\NormalTok{, }\StringTok{"studienerfolg.csv"}\NormalTok{)) }\CommentTok{\# Datensatz}
\NormalTok{x            }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{2}\NormalTok{,])                                             }\CommentTok{\# Featureselektion}
\NormalTok{y            }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{5}\NormalTok{,])                                               }\CommentTok{\# Label}
\NormalTok{D            }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(x,y)                                                     }\CommentTok{\# Featureselected Datensatz}
\NormalTok{n            }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x)                                                        }\CommentTok{\# Datensatzgröße}
\NormalTok{m            }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(x)                                                        }\CommentTok{\# Featurevektordimensionalität}
\NormalTok{lr           }\OtherTok{=} \FunctionTok{glm}\NormalTok{(}\FunctionTok{t}\NormalTok{(y) }\SpecialCharTok{\textasciitilde{}} \FunctionTok{t}\NormalTok{(x), }\AttributeTok{family =} \StringTok{\textquotesingle{}binomial\textquotesingle{}}\NormalTok{)                            }\CommentTok{\# generalized linear model fit}
\NormalTok{beta\_hat     }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(lr}\SpecialCharTok{$}\NormalTok{coefficients, }\AttributeTok{nrow =}\NormalTok{ m }\SpecialCharTok{+} \DecValTok{1}\NormalTok{)                       }\CommentTok{\# Parameterschätzung}
\NormalTok{w\_0\_hat      }\OtherTok{=}\NormalTok{ beta\_hat[}\DecValTok{1}\NormalTok{]                                                    }\CommentTok{\# \textbackslash{}hat\{w\}}
\NormalTok{w\_hat        }\OtherTok{=}\NormalTok{ beta\_hat[}\DecValTok{2}\SpecialCharTok{:}\NormalTok{(m}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)]                                              }\CommentTok{\# \textbackslash{}hat\{w\_0\}}
\NormalTok{x\_1          }\OtherTok{=} \FunctionTok{seq}\NormalTok{(}\FunctionTok{min}\NormalTok{(x[}\DecValTok{1}\NormalTok{,]), }\FunctionTok{max}\NormalTok{(x[}\DecValTok{1}\NormalTok{,]), }\AttributeTok{len =} \FloatTok{1e2}\NormalTok{)                         }\CommentTok{\# x\_1}
\NormalTok{x\_2\_hat      }\OtherTok{=} \SpecialCharTok{{-}}\NormalTok{(w\_hat[}\DecValTok{1}\NormalTok{]}\SpecialCharTok{/}\NormalTok{w\_hat[}\DecValTok{2}\NormalTok{])}\SpecialCharTok{*}\NormalTok{x\_1 }\SpecialCharTok{{-}}\NormalTok{ (w\_0\_hat}\SpecialCharTok{/}\NormalTok{w\_hat[}\DecValTok{2}\NormalTok{])                  }\CommentTok{\# \textbackslash{}hat\{h\}}
\NormalTok{x\_tilde      }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\DecValTok{1}\NormalTok{, x)}
\NormalTok{p\_y          }\OtherTok{=} \DecValTok{1}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{+}\FunctionTok{exp}\NormalTok{(}\SpecialCharTok{{-}}\FunctionTok{t}\NormalTok{(x\_tilde) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat))}
\NormalTok{delta        }\OtherTok{=} \FunctionTok{as.numeric}\NormalTok{(p\_y }\SpecialCharTok{\textgreater{}=} \FloatTok{0.5}\NormalTok{)}
\FunctionTok{cat}\NormalTok{(}\StringTok{"Accuracy: "}\NormalTok{, }\FunctionTok{mean}\NormalTok{(delta }\SpecialCharTok{==}\NormalTok{ y))}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> Accuracy:  0.767
\end{verbatim}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Anwendungsbeispiel}
\protect\hypertarget{logistische-regression-anwendungsbeispiel-2}{}
\vspace{1mm}

Parameterlernen und lineare Diskriminanzfunktion

\vspace{2mm}

\begin{center}\includegraphics[width=0.6\linewidth]{7_Abbildungen/mvda_7_lr_anwendungsbeispiel_parameterlernen} \end{center}
\end{frame}

\begin{frame}[fragile]{Logistische Regression \textbar{}
Anwendungsbeispiel}
\protect\hypertarget{logistische-regression-anwendungsbeispiel-3}{}
\vspace{1mm}

Logistische Regression \textbar{} Leave-One-Out Cross-Validation,
\(m = 2\) \vspace{2mm}

\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Datensatz}
\NormalTok{D                }\OtherTok{=} \FunctionTok{read.table}\NormalTok{(}\FunctionTok{file.path}\NormalTok{(}\FunctionTok{getwd}\NormalTok{(), }\StringTok{"7\_Daten"}\NormalTok{, }\StringTok{"studienerfolg.csv"}\NormalTok{))}
\NormalTok{x                }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{2}\NormalTok{,])}
\NormalTok{y                }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(D[}\DecValTok{5}\NormalTok{,])}
\NormalTok{D                }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(x,y)}
\NormalTok{K                }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(D)}
\NormalTok{p\_y              }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, }\FunctionTok{ncol}\NormalTok{(y)), }\AttributeTok{nrow =} \DecValTok{1}\NormalTok{)}
\NormalTok{delta            }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, }\FunctionTok{ncol}\NormalTok{(y)), }\AttributeTok{nrow =} \DecValTok{1}\NormalTok{)}

\CommentTok{\# K{-}fache Leave{-}One{-}Out Cross{-}Validation}
\ControlFlowTok{for}\NormalTok{(k }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{K)\{}

    \CommentTok{\# Datensatzpartition}
\NormalTok{    x\_train      }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(x[,}\SpecialCharTok{{-}}\NormalTok{k])}
\NormalTok{    y\_train      }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(y[,}\SpecialCharTok{{-}}\NormalTok{k])}
\NormalTok{    x\_test       }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(x[, k])}
\NormalTok{    y\_test       }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(y[, k])}

    \CommentTok{\# Trainingsdatensatz{-}basiertes Parameterlernen}
\NormalTok{    n            }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x\_train)}
\NormalTok{    m            }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(x\_train)}
\NormalTok{    lr           }\OtherTok{=} \FunctionTok{glm}\NormalTok{(y\_train }\SpecialCharTok{\textasciitilde{}} \FunctionTok{t}\NormalTok{(x\_train), }\AttributeTok{family =} \StringTok{\textquotesingle{}binomial\textquotesingle{}}\NormalTok{)}
\NormalTok{    beta\_hat     }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(lr}\SpecialCharTok{$}\NormalTok{coefficients, }\AttributeTok{nrow =}\NormalTok{ m }\SpecialCharTok{+} \DecValTok{1}\NormalTok{)}

    \CommentTok{\# Prädiktion}
\NormalTok{    x\_test\_tilde }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\DecValTok{1}\NormalTok{, x\_test)}
\NormalTok{    p\_y[k]       }\OtherTok{=} \DecValTok{1}\SpecialCharTok{/}\NormalTok{(}\DecValTok{1}\SpecialCharTok{+}\FunctionTok{exp}\NormalTok{(}\SpecialCharTok{{-}}\FunctionTok{t}\NormalTok{(x\_test\_tilde) }\SpecialCharTok{\%*\%}\NormalTok{ beta\_hat))}
\NormalTok{    delta[k]     }\OtherTok{=} \FunctionTok{as.numeric}\NormalTok{(p\_y[k] }\SpecialCharTok{\textgreater{}=} \FloatTok{0.5}\NormalTok{)}
\NormalTok{\}}
\FunctionTok{cat}\NormalTok{(}\StringTok{"Accuracy: "}\NormalTok{, }\FunctionTok{mean}\NormalTok{(delta }\SpecialCharTok{==}\NormalTok{ y))}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> Accuracy:  0.733
\end{verbatim}
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Anwendungsbeispiel}
\protect\hypertarget{logistische-regression-anwendungsbeispiel-4}{}
\vspace{1mm}

Logistische Regression \textbar{} Leave-One-Out Cross-Validation,
\(m = 2\)

\tiny
\setstretch{0.8}

\begin{longtable}[]{@{}rrrrrr@{}}
\toprule()
k & x\_1 & x\_2 & p(y = 1) & delta(x) & y \\
\midrule()
\endhead
1 & 54 & 44 & 0.2 & 0 & 0 \\
2 & 60 & 20 & 0.2 & 0 & 0 \\
3 & 67 & 36 & 0.7 & 1 & 0 \\
4 & 41 & 39 & 0.0 & 0 & 0 \\
5 & 66 & 57 & 0.8 & 1 & 0 \\
6 & 51 & 28 & 0.1 & 0 & 0 \\
7 & 51 & 46 & 0.1 & 0 & 0 \\
8 & 37 & 46 & 0.0 & 0 & 0 \\
9 & 57 & 54 & 0.4 & 0 & 0 \\
10 & 47 & 12 & 0.0 & 0 & 0 \\
11 & 50 & 67 & 0.2 & 0 & 0 \\
12 & 42 & 63 & 0.0 & 0 & 0 \\
13 & 60 & 64 & 0.6 & 1 & 0 \\
14 & 36 & 64 & 0.0 & 0 & 0 \\
15 & 60 & 71 & 0.7 & 1 & 0 \\
16 & 71 & 41 & 0.8 & 1 & 1 \\
17 & 65 & 28 & 0.3 & 0 & 1 \\
18 & 67 & 76 & 0.9 & 1 & 1 \\
19 & 68 & 54 & 0.8 & 1 & 1 \\
20 & 75 & 33 & 0.8 & 1 & 1 \\
21 & 71 & 82 & 1.0 & 1 & 1 \\
22 & 68 & 64 & 0.9 & 1 & 1 \\
23 & 63 & 72 & 0.8 & 1 & 1 \\
24 & 48 & 54 & 0.0 & 0 & 1 \\
25 & 53 & 86 & 0.3 & 0 & 1 \\
26 & 62 & 71 & 0.7 & 1 & 1 \\
27 & 69 & 25 & 0.5 & 0 & 1 \\
28 & 67 & 72 & 0.9 & 1 & 1 \\
29 & 74 & 92 & 1.0 & 1 & 1 \\
30 & 76 & 75 & 1.0 & 1 & 1 \\
\bottomrule()
\end{longtable}

\small

Prediction Accuracy = 0.73.
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Anwendungsbeispiel}
\protect\hypertarget{logistische-regression-anwendungsbeispiel-5}{}
\vspace{1mm}

Logistische Regression \textbar{} Leave-One-Out Cross-Validation,
\(m = 3\)

\tiny
\setstretch{0.8}

\begin{longtable}[]{@{}rrrrrrr@{}}
\toprule()
k & x\_1 & x\_2 & x\_3 & p(y = 1) & delta(x) & y \\
\midrule()
\endhead
1 & 54 & 44 & 31 & 0.2 & 0 & 0 \\
2 & 60 & 20 & 33 & 0.2 & 0 & 0 \\
3 & 67 & 36 & 26 & 0.7 & 1 & 0 \\
4 & 41 & 39 & 31 & 0.0 & 0 & 0 \\
5 & 66 & 57 & 34 & 0.9 & 1 & 0 \\
6 & 51 & 28 & 42 & 0.1 & 0 & 0 \\
7 & 51 & 46 & 34 & 0.1 & 0 & 0 \\
8 & 37 & 46 & 36 & 0.0 & 0 & 0 \\
9 & 57 & 54 & 28 & 0.3 & 0 & 0 \\
10 & 47 & 12 & 34 & 0.0 & 0 & 0 \\
11 & 50 & 67 & 27 & 0.2 & 0 & 0 \\
12 & 42 & 63 & 26 & 0.0 & 0 & 0 \\
13 & 60 & 64 & 29 & 0.6 & 1 & 0 \\
14 & 36 & 64 & 36 & 0.0 & 0 & 0 \\
15 & 60 & 71 & 42 & 1.0 & 1 & 0 \\
16 & 71 & 41 & 37 & 0.9 & 1 & 1 \\
17 & 65 & 28 & 33 & 0.3 & 0 & 1 \\
18 & 67 & 76 & 38 & 0.9 & 1 & 1 \\
19 & 68 & 54 & 34 & 0.8 & 1 & 1 \\
20 & 75 & 33 & 25 & 0.7 & 1 & 1 \\
21 & 71 & 82 & 32 & 1.0 & 1 & 1 \\
22 & 68 & 64 & 34 & 0.9 & 1 & 1 \\
23 & 63 & 72 & 32 & 0.8 & 1 & 1 \\
24 & 48 & 54 & 41 & 0.0 & 0 & 1 \\
25 & 53 & 86 & 27 & 0.1 & 0 & 1 \\
26 & 62 & 71 & 31 & 0.7 & 1 & 1 \\
27 & 69 & 25 & 32 & 0.5 & 0 & 1 \\
28 & 67 & 72 & 31 & 0.9 & 1 & 1 \\
29 & 74 & 92 & 35 & 1.0 & 1 & 1 \\
30 & 76 & 75 & 37 & 1.0 & 1 & 1 \\
\bottomrule()
\end{longtable}

\small

Prediction Accuracy = 0.73.
\end{frame}

\begin{frame}{Logistische Regression \textbar{} Anwendungsbeispiel}
\protect\hypertarget{logistische-regression-anwendungsbeispiel-6}{}
\vspace{1mm}

Logistische Regression \textbar{} Leave-One-Out Cross-Validation,
\(m = 4\)

\tiny
\setstretch{0.8}

\begin{longtable}[]{@{}rrrrrrrr@{}}
\toprule()
k & x\_1 & x\_2 & x\_3 & x\_4 & p(y = 1) & delta(x) & y \\
\midrule()
\endhead
1 & 54 & 44 & 31 & 60 & 0.0 & 0 & 0 \\
2 & 60 & 20 & 33 & 31 & 0.5 & 0 & 0 \\
3 & 67 & 36 & 26 & 54 & 0.4 & 0 & 0 \\
4 & 41 & 39 & 31 & 26 & 0.0 & 0 & 0 \\
5 & 66 & 57 & 34 & 56 & 0.6 & 1 & 0 \\
6 & 51 & 28 & 42 & 23 & 0.3 & 0 & 0 \\
7 & 51 & 46 & 34 & 40 & 0.1 & 0 & 0 \\
8 & 37 & 46 & 36 & 31 & 0.0 & 0 & 0 \\
9 & 57 & 54 & 28 & 49 & 0.2 & 0 & 0 \\
10 & 47 & 12 & 34 & 41 & 0.0 & 0 & 0 \\
11 & 50 & 67 & 27 & 53 & 0.0 & 0 & 0 \\
12 & 42 & 63 & 26 & 36 & 0.0 & 0 & 0 \\
13 & 60 & 64 & 29 & 40 & 0.9 & 1 & 0 \\
14 & 36 & 64 & 36 & 21 & 0.1 & 0 & 0 \\
15 & 60 & 71 & 42 & 40 & 1.0 & 1 & 0 \\
16 & 71 & 41 & 37 & 30 & 1.0 & 1 & 1 \\
17 & 65 & 28 & 33 & 38 & 0.4 & 0 & 1 \\
18 & 67 & 76 & 38 & 28 & 1.0 & 1 & 1 \\
19 & 68 & 54 & 34 & 53 & 0.5 & 1 & 1 \\
20 & 75 & 33 & 25 & 54 & 0.6 & 1 & 1 \\
21 & 71 & 82 & 32 & 49 & 1.0 & 1 & 1 \\
22 & 68 & 64 & 34 & 33 & 1.0 & 1 & 1 \\
23 & 63 & 72 & 32 & 36 & 0.9 & 1 & 1 \\
24 & 48 & 54 & 41 & 34 & 0.0 & 0 & 1 \\
25 & 53 & 86 & 27 & 35 & 0.4 & 0 & 1 \\
26 & 62 & 71 & 31 & 53 & 0.4 & 0 & 1 \\
27 & 69 & 25 & 32 & 25 & 0.9 & 1 & 1 \\
28 & 67 & 72 & 31 & 28 & 1.0 & 1 & 1 \\
29 & 74 & 92 & 35 & 50 & 1.0 & 1 & 1 \\
30 & 76 & 75 & 37 & 12 & 1.0 & 1 & 1 \\
\bottomrule()
\end{longtable}

\small

Prediction Accuracy = 0.77.
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-6}{}
\vfill
\setstretch{2.4}
\large

Vorbemerkungen

Lineare Diskriminanzanalyse

Logistische Regression

\textbf{Selbstkontrollfragen}

Appendix
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen}{}
\footnotesize
\begin{enumerate}
\item Definieren Sie den Begriff des Binären Klassifikationsdatensatzes.
\item Definieren Sie die Bernoulli Verteilung.
\item Definieren Sie das Modell der Linearen Diskriminanzanalyse.
\item Erläutern Sie die Erzeugung von Daten unter dem Modell der Linearen Diskriminanzanalyse.
\item Erläutern Sie den Begriff der Inferenz im Modell der Linearen Diskriminanzanalyse.
\item Definieren Sie die Klassifikationsregel der Linearen Diskriminanzanalyse.
\item Wie werden die Parameter eines Linearen Diskriminanzanalysemodells gelernt?
\item Erläutern Sie den Ablauf einer Leave-One-Out Cross-Validation mithilfe der Linearen Diskriminanzanalyse.
\item Definieren Sie die standard logistic function.
\item Definieren Sie das Modell der Logistischen Regression.
\item Erläutern Sie die Erzeugung von Daten unter dem Modell der Logistischen Regression.
\item Warum gibt es im Modell der Logistischen Regression keine Inferenz?
\item Definieren Sie die Klassifikationsregel der Logistischen Regression.
\item Wie werden die Parameter eines Logistischen Regressionsmodells gelernt?
\item Erläutern Sie den Ablauf einer Leave-One-Out Cross-Validation mithilfe der Logistischen Regression.
\end{enumerate}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-7}{}
Vorbemerkungen

Lineare Diskriminanzanalyse

Logistische Regression

Selbstkontrollfragen

\textbf{Appendix} \vfill
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix}{}
\footnotesize

\underline{Beweis des LDA Inferenz Theorems}

Wir halten zunächst fest, dass \begin{align}
\begin{split}
p(y = 1|x)
& = \frac{p(x, y = 1)}{p(x,y = 0) + p(x,y = 1)}                                                             \\
& = \frac{\frac{p(x, y = 1)}{p(x, y = 1)}}{\frac{p(x,y = 0)}{p(x,y = 1)} + \frac{p(x,y = 1)}{p(x,y = 1)}}   \\
& = \frac{1}{1 + \frac{p(x,y = 0)}{p(x,y = 1)}}                                                             \\
& = \frac{1}{1 + \exp\left(\ln\left(\frac{p(x,y = 0)}{p(x,y = 1)} \right)\right)}                           \\
& = \frac{1}{1 + \exp\left(-\ln\left(\frac{p(x,y = 1)}{p(x,y = 0)} \right)\right)}                          \\
\end{split}
\end{align} Mit der Definition des LDA Modells gilt dann
\begin{equation}
p(x,y = 1) = p(x|y = 1)p(y = 1) = N(x; \mu_1, \Sigma) \mu
\end{equation} und \begin{equation}
p(x,y = 0) = p(x|y = 0)p(y = 0) = N(x; \mu_0, \Sigma) (1 - \mu)
\end{equation}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-1}{}
\footnotesize

\underline{Beweis des LDA Inferenz Theorems (fortgeführt)}

Wir erhalten also \tiny \begin{align*}
\begin{split}
& = \ln \left(\frac{p(x,y = 1)}{p(x,y = 0)}\right) \\
& = \ln \left(\frac{N(x;\mu_1,\Sigma)\mu}{N(x;\mu_0,\Sigma)(1-\mu)}\right) \\
& = \ln \left(N(x;\mu_1,\Sigma)\mu\right) - \ln \left(N(x;\mu_0,\Sigma)(1 - \mu)\right)\\
& = \ln(\mu) + \ln N(x;\mu_1,\Sigma) - \ln (1 - \mu) - \ln N(x;\mu_0,\Sigma)  \\
& =
\ln \mu - \ln (1 - \mu)
- \frac{m}{2}\ln 2\pi - \ln |\Sigma| - \frac{1}{2}(x - \mu_1)^T\Sigma^{-1}(x-\mu_1) \\
& \hspace{20mm}
+ \frac{m}{2}\ln 2\pi + \ln |\Sigma| + \frac{1}{2}(x - \mu_0)^T\Sigma^{-1}(x-\mu_0) \\
& =
-\frac{1}{2}(x - \mu_1)^T\Sigma^{-1}(x-\mu_1)
+\frac{1}{2}(x - \mu_0)^T\Sigma^{-1}(x-\mu_0)
+ \ln \mu - \ln (1 - \mu)
\\
& =
-\frac{1}{2}x^T\Sigma^{-1}x + x^T \Sigma^{-1}\mu_1 -\frac{1}{2} \mu_1^T \Sigma^{-1}\mu_1
+\frac{1}{2}x^T\Sigma^{-1}x - x^T \Sigma^{-1}\mu_0 +\frac{1}{2} \mu_0^T \Sigma^{-1}\mu_0
+ \ln \left(\frac{\mu}{1 -\mu}\right) \\
& =
 \frac{1}{2} \mu_0^T \Sigma^{-1}\mu_0
-\frac{1}{2} \mu_1^T \Sigma^{-1}\mu_1
- x^T \Sigma^{-1}(\mu_0 - \mu_1)
+ \ln \left(\frac{\mu}{1 -\mu}\right) \\
& = \left(\begin{matrix}
1 &  x^T
\end{matrix} \right)
\left(\begin{matrix}
\frac{1}{2}\left(\mu_0^T \Sigma^{-1}\mu_0 - \mu_1^T \Sigma^{-1}\mu_1\right)
+ \ln \left(\frac{\mu}{1 -\mu}\right)
\\
-\Sigma^{-1}(\mu_0 - \mu_1)
\end{matrix}\right) =: \tilde{x}^T\beta
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-2}{}
\footnotesize

\underline{Beweis des LDA Diskriminanzfunktion Theorems}

Wir zeigen die Äquivalenz von \(\delta(x) = 0\) und \(f(x) \ge 0\) womit
der Rest des Theorems sofort folgt. Es ergibt sich \begin{align*}
\begin{split}
\delta(x) & = 0 \\
\Leftrightarrow
p(y = 0|x) & \ge p(y = 1|x) \\
\Leftrightarrow
\frac{p(y = 0|x)}{p(y = 1|x)} & \ge 1 \\
\Leftrightarrow
\ln \left(\frac{p(y = 0|x)}{p(y = 1|x)}  \right) & \ge \ln 1 \\
\Leftrightarrow
\ln \left(\frac{1 - \frac{1}{1 + \exp(-\tilde{x}^T\beta)}}{\frac{1}{1 + \exp(-\tilde{x}^T\beta)}}  \right) & \ge 0 \\
\Leftrightarrow
\ln \left(\frac{\frac{1 + \exp(-\tilde{x}^T\beta)}{1 + \exp(-\tilde{x}^T\beta)} - \frac{1}{1 + \exp(-\tilde{x}^T\beta)}}{\frac{1}{1 + \exp(-\tilde{x}^T\beta)}}  \right) & \ge 0 \\
\Leftrightarrow
\ln \left(\frac{\frac{\exp(-\tilde{x}^T\beta)}{1 + \exp(-\tilde{x}^T\beta)}}{\frac{1}{1 + \exp(-\tilde{x}^T\beta)}}  \right) & \ge 0 \\
\Leftrightarrow
\ln \left(\exp(-\tilde{x}^T\beta)\right) & \ge 0 \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-3}{}
\footnotesize

\underline{Beweis des LDA Diskriminanzfunktion Theorems (fortgeführt)}

Es ergibt sich also \begin{align*}
\begin{split}
\delta(x) & = 0 \\
\Leftrightarrow
-\tilde{x}^T\beta & \ge 0 \\
\Leftrightarrow
-\begin{pmatrix}
1 & x^T
\end{pmatrix}
\begin{pmatrix}
\frac{1}{2}\mu_0\Sigma^{-1}\mu_0 - \ln(1 - \mu) -\frac{1}{2}\mu_1 \Sigma \mu_1 + \ln \mu \\
-\Sigma^{-1}(\mu_0 - \mu_1)
\end{pmatrix}
& \ge 0 \\
\Leftrightarrow
x^T\Sigma^{-1}(\mu_0 - \mu_1) + \frac{1}{2}\mu_1 \Sigma \mu_1 + \ln (1- \mu) - \frac{1}{2}\mu_0\Sigma^{-1}\mu_0 - \ln \mu
& \ge 0 \\
\Leftrightarrow
\left(x^T\Sigma^{-1}(\mu_0 - \mu_1)\right)^T + \frac{1}{2}\mu_1 \Sigma \mu_1 + \ln (1- \mu) - \frac{1}{2}\mu_0\Sigma^{-1}\mu_0 - \ln \mu
& \ge 0 \\
\Leftrightarrow
(\mu_0 - \mu_1)^T\Sigma^{-1}x + \frac{1}{2}\left(\mu_1 - \mu_0\right)^T \Sigma^{-1} \left(\mu_1 - \mu_0\right)
+ \ln\left(\frac{1 -\mu}{\mu} \right)
& \ge 0 \\
\Leftrightarrow :
w^Tx + w_0 & \ge 0 \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-4}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems}

\tiny

\noindent (1) Formulierung der Log Likelihood Funktion

\begin{align*}
\begin{split}
& \ell(\mu,\mu_0,\mu_1,\Sigma) :=  \\
& \ln \prod_{i=1}^n p\left(x^{(i)},y^{(i)}\right) \\
& = \sum_{i=1}^n \ln p\left(x^{(i)},y^{(i)}\right) \\
& = \sum_{i=1}^n \ln p\left(x^{(i)}|y^{(i)}\right)p\left(y^{(i)}\right) \\
& = \sum_{i=1}^n \ln p\left(x^{(i)}|y^{(i)}\right) + \ln p\left(y^{(i)}\right) \\
& = \sum_{i=1}^n \ln \left(N(x^{(i)}; \mu_0,\Sigma)\right)^{1 - y^{(i)}}\left(N(x^{(i)}; \mu_1,\Sigma)\right)^{y^{(i)}}
     + \ln \left(\mu^{y^{(i)}}(1 - \mu)^{1 - \mu^{y^{(i)}}}\right) \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-5}{}
\tiny

\begin{align*}
\begin{split}
& \ell(\mu,\mu_0,\mu_1,\Sigma) = \\
& = \sum_{i=1}^n
\left(1 - y^{(i)}\right) \ln N\left(x^{(i)}; \mu_0,\Sigma\right)
               + y^{(i)} \ln N\left(x^{(i)}; \mu_1,\Sigma\right)
              +  y^{(i)} \ln \mu
              + \left(1 - y^{(i)}\right)\ln (1- \mu) \\
& = \quad  \sum_{i=1}^n \left(1 - y^{(i)}\right) \left(-\frac{n}{2} \ln 2\pi -\frac{1}{2} \ln |\Sigma|
-  \frac{1}{2}\left(x^{(i)} - \mu_0\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_0 \right)\right) \\
& \quad +  \sum_{i=1}^n  y^{(i)} \left(-\frac{n}{2} \ln 2\pi -\frac{1}{2} \ln |\Sigma|
-   \frac{1}{2}\left(x^{(i)} - \mu_1\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_1 \right)\right) \\
& \quad + \sum_{i=1}^n y^{(i)} \ln \mu  + \sum_{i=1}^n \left(1 - y^{(i)} \right) \ln (1 - \mu).
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-6}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}

\noindent (2) Gradient der Log Likelihood Funktion

\tiny

Der Gradient der Log Likelihood Funktion des LDA Modells besteht aus den
partiellen Ableitungen von \(\ell\) hinsichtlich von \(\mu,\mu_0,\mu_1\)
und \(\Sigma\). Wie unten gezeigt ergibt er sich als

\begin{align*}\label{eq:lda_gradient}
\renewcommand{\arraystretch}{1.5}
\begin{split}
\nabla \ell\left(\mu,\mu_0,\mu_1,\Sigma\right)
& =
\left(\begin{matrix}
\frac{\partial}{\partial \mu}   \ell\left(\mu,\mu_0,\mu_1,\Sigma\right) \\
\frac{\partial}{\partial \mu_0}   \ell\left(\mu,\mu_0,\mu_1,\Sigma\right) \\
\frac{\partial}{\partial \mu_1}   \ell\left(\mu,\mu_0,\mu_1,\Sigma\right) \\
\frac{\partial}{\partial \Sigma}   \ell\left(\mu,\mu_0,\mu_1,\Sigma\right) \\
\end{matrix}\right) \\
& =
\left(\begin{matrix}
\frac{1}{\mu}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 1 \rbrace}  -
\frac{1}{1-\mu}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 0 \rbrace} \\
-\frac{1}{2}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 0 \rbrace} \left(\left(x^{(i)} - \mu_0\right)^T \Sigma^{-1}\right) \\
-\frac{1}{2}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 1 \rbrace} \left(\left(x^{(i)} - \mu_1\right)^T \Sigma^{-1}\right) \\
\frac{n}{2}\Sigma - \frac{1}{2} \sum_{i=1}^n
\left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}}\right) \left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}} \right)^T
\end{matrix}\right).
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-7}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}

\tiny

Für die partielle Ableitung hinsichtlich \(\mu_0\) und ähnlich für
\(\mu_1\) ergibt sich \begin{align*}
\begin{split}
\frac{\partial}{\partial \mu_0} \ell(\mu,\mu_0,\mu_1, \Sigma)
& = \frac{\partial}{\partial \mu_0}
\sum_{i=1}^n \left(1 - y^{(i)}\right) \left(-\frac{n}{2} \ln 2\pi -\frac{1}{2} \ln |\Sigma|
-  \frac{1}{2}\left(x^{(i)} - \mu_0\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_0 \right)\right) \\
& = \sum_{i=1}^n \left(1 - y^{(i)}\right) \frac{\partial}{\partial \mu_0} \left(-\frac{n}{2} \ln 2\pi -\frac{1}{2} \ln |\Sigma| -  \frac{1}{2}\left(x^{(i)} - \mu_0\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_0 \right)\right) \\
& = \sum_{i=1}^n \left(1 - y^{(i)}\right) \left(- \frac{1}{2} \frac{\partial}{\partial \mu_0} \left(x^{(i)} - \mu_0\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_0 \right)\right) \\
& = \sum_{i=1}^n \left(1 - y^{(i)}\right) \left( - \frac{1}{2} \left(x^{(i)} - \mu_0\right)^T \Sigma^{-1} \right) \\
& = -\frac{1}{2}\sum_{i=1}^n \left(1 - y^{(i)}\right) \left( \left(x^{(i)} - \mu_0\right)^T \Sigma^{-1} \right). \\
& = -\frac{1}{2}\sum_{i=1}^n 1_{\{y^{(i)} = 0\}} \left( \left(x^{(i)} - \mu_0\right)^T \Sigma^{-1} \right). \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-8}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}

\tiny

Für die partielle Ableitung hinsichtlich \(\Sigma\) ergibt sich
\begin{align}
\begin{split}
& \frac{\partial}{\partial \Sigma} \ell(\mu,\mu_1,\mu_0,\Sigma) \\
& = \quad \frac{\partial}{\partial \Sigma}
     \sum_{i=1}^n \left(1 - y^{(i)}\right) \left(-\frac{n}{2} \ln 2\pi -\frac{1}{2} \ln |\Sigma|
      -  \frac{1}{2}\left(x^{(i)} - \mu_0\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_0 \right)\right) \\
& \quad +   \frac{\partial}{\partial \Sigma}
    \sum_{i=1}^n  y^{(i)}  \left(-\frac{n}{2} \ln 2\pi -\frac{1}{2} \ln |\Sigma|
-  \frac{1}{2}\left(x^{(i)} - \mu_1\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_1 \right)\right) \\
& = \quad \sum_{i=1}^n \left(1 - y^{(i)}\right) \left(-\frac{1}{2} \frac{\partial}{\partial \Sigma} \ln |\Sigma|
      -  \frac{1}{2}\frac{\partial}{\partial \Sigma} \left(x^{(i)} - \mu_0\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_0 \right)\right) \\
& \quad +  \sum_{i=1}^n y^{(i)} \left( -\frac{1}{2} \frac{\partial}{\partial \Sigma} \ln |\Sigma|
-  \frac{1}{2}\frac{\partial}{\partial \Sigma}\left(x^{(i)} - \mu_1\right)^T \Sigma^{-1}\left(x^{(i)} - \mu_1 \right)\right) \\
\end{split}
\end{align}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-9}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}

\tiny

\ldots{} und damit \begin{align}
\begin{split}
& \frac{\partial}{\partial \Sigma} \ell(\mu,\mu_1,\mu_0,\Sigma)
 = \quad \sum_{i=1}^n \left(1 - y^{(i)}\right) \left(-\frac{1}{2} \Sigma
      -  \frac{1}{2} \left(x^{(i)} - \mu_0\right) \left(x^{(i)} - \mu_0 \right)^T\right) \\
& \quad +  \sum_{i=1}^n  y^{(i)}  \left( -\frac{1}{2} \Sigma
-  \frac{1}{2}\left(x^{(i)} - \mu_1\right)\left(x^{(i)} - \mu_1 \right)^T\right) \\
& = \frac{n}{2}\Sigma  -\frac{1}{2} \sum_{i=1}^n
    \left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}}\right) \left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}} \right)^T.
\end{split}
\end{align}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-10}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}

\tiny

Für die partielle Ableitung hinsichtlich \(\mu\) ergibt sich
\begin{align*}
\begin{split}
\frac{\partial}{\partial \mu} \ell(\mu,\mu_1,\mu_0,\Sigma)
& =  \frac{\partial}{\partial \mu}
\left(\sum_{i=1}^n  y^{(i)} \ln \mu  +
\sum_{i=1}^n \left(1 - y^{(i)}\right) \ln (1 - \mu) \right) \\
& = \sum_{i=1}^n  y^{(i)} \frac{\partial}{\partial \mu} \ln \mu  +
\sum_{i=1}^n  \left(1 - y^{(i)}\right) \frac{\partial}{\partial \mu} \ln (1 - \mu) \\
& = \frac{1}{\mu}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 1 \rbrace}  -
\frac{1}{1-\mu}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 0 \rbrace}. \\
\end{split}
\end{align*}

\vspace{2mm}

\noindent (4) Auflösen der Maximum Likelihood Gleichungen \vspace{2mm}

Nullsetzen der partiellen Ableitungen des Gradienten der Log Likelihood
Funktion und Auflösen der resultierenden Log Likelihood Gleichungen
ergibt dann die Maximum Likelihood Schätzer des LDA Modells.
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-11}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}
\tiny

Nullsetzen der ersten Gradientenkomponente ergibt \begin{align*}
\begin{split}
\frac{1}{\hat{\mu}}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 1 \rbrace}  - \frac{1}{1-\hat{\mu}}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 0 \rbrace}
& = 0 \\
\Leftrightarrow
\frac{1}{\hat{\mu}}\sum_{i=1}^n y^{(i)} - \frac{1}{1-\hat{\mu}}\sum_{i=1}^n \left(1 - y^{(i)}\right)
& = 0 \\
\Leftrightarrow
\frac{1-\hat{\mu}}{\hat{\mu}}\sum_{i=1}^n y^{(i)} - \sum_{i=1}^n \left(1 - y^{(i)}\right)
& = 0 \\
\Leftrightarrow
\frac{1-\hat{\mu}}{\hat{\mu}}\sum_{i=1}^n y^{(i)} - n +  \sum_{i=1}^n  y^{(i)}
& = 0 \\
\Leftrightarrow
(1-\hat{\mu})\sum_{i=1}^n y^{(i)} - \hat{\mu} n + \hat{\mu}\sum_{i=1}^n  y^{(i)}
& = 0 \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-12}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}

\tiny

\ldots{} und weiter \begin{align*}
\begin{split}
\Leftrightarrow
(1-\hat{\mu})\sum_{i=1}^n y^{(i)} - \hat{\mu} n + \hat{\mu}\sum_{i=1}^n  y^{(i)}
& = 0 \\
\Leftrightarrow
(1-\hat{\mu} + \hat{\mu})\sum_{i=1}^n y^{(i)}
& = \hat{\mu} n \\
\Leftrightarrow
\hat{\mu} n
& = \sum_{i=1}^n y^{(i)} \\
\Leftrightarrow
\hat{\mu}
& = \frac{1}{n}\sum_{i=1}^n 1_{\lbrace y^{(i)} = 1 \rbrace}. \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-13}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}
\tiny

Nullsetzen der zweiten Gradientenkomponente ergibt

\begin{tiny}
\begin{align*}
\begin{split}
\sum_{i=1}^n \left(1 - y^{(i)} \right)\left(\left(x^{(i)} - \hat{\mu}_0 \right)^T \Sigma^{-1}\right)
& =
0 \\
\Leftrightarrow
\sum_{i=1}^n 1_{\lbrace y^{(i)} = 0\rbrace } \left(x^{(i)} - \hat{\mu}_0 \right)^T
& =
0 \\
\Leftrightarrow
\sum_{i=1}^n 1_{\lbrace y^{(i)} \rbrace } x^{(i)}  - \sum_{i=1}^n 1_{\lbrace y^{(i)} = 0 \rbrace} \hat{\mu}_0
& =
0 \\
\Leftrightarrow
\sum_{i=1}^n 1_{\lbrace y^{(i)} = 0 \rbrace} \hat{\mu}_0
& = \sum_{i=1}^n 1_{\lbrace y^{(i)} \rbrace } x^{(i)}
\\
\Leftrightarrow
\hat{\mu}_0 & =
\frac{1}{\sum_{i=1}^n 1_{\lbrace y^{(i)} = 0 \rbrace} } \sum_{i=1}^n 1_{\lbrace y^{(i)} \rbrace } x^{(i)}.
\end{split}
\end{align*}
\end{tiny}

Nullsetzen der dritten Gradientenkomponente ergibt dann in ähnlicher
Weise den Maximum Likelihood Schätzer \(\hat{\mu}_1\).
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-14}{}
\footnotesize

\underline{Beweis des LDA Maximum Likelihood Schätzer Theorems (fortgeführt)}
\tiny

Nullsetzen der vierten Gradientenkomponente ergibt dann schließlich

\begin{align*}
\begin{split}
0 & = \frac{n}{2}\hat{\Sigma} - \frac{1}{2}
\sum_{i=1}^n
\left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}}\right)
\left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}} \right)^T
\\
\Leftrightarrow
n\hat{\Sigma}
& =
\sum_{i=1}^n
\left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}}\right)
\left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}} \right)^T \\
\hat{\Sigma}
& =
\frac{1}{n}
\sum_{i=1}^n
\left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}}\right)
\left(x^{(i)} - \mu_{1_{\lbrace y^{(i)} = 1 \rbrace}} \right)^T \\
\end{split}.
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-15}{}
\footnotesize

\underline{Beweis des LR Gradientenverfahrens}

Um die \(j\)te partielle Ableitung der Log Likelihood Funktion zu
bestimmen, halten wir zunächst fest, dass sich die Ableitung der
logistic function \(f\) hinsichtlich \(\eta\) zu
\begin{equation}\label{eq:deta_f}
\frac{d}{d\eta}f : \mathbb{R} \to \mathbb{R}, \eta \mapsto \frac{d}{d\eta}f(\eta) = f(\eta)(1 - f(\eta))
\end{equation} ergibt. Dies kann wie folgt eingesehen werden:
\begin{align*}
\begin{split}
\frac{d}{d\eta}f(\eta)
& = \frac{d}{d\eta}\left({1 + \exp(-\eta)}\right)^{-1} \\
& = -\left({1 + \exp(-\eta)}\right)^{-2}\cdot \exp(-\eta)\cdot(-1) \\
& = \frac{\exp(-\eta)}{(1 + \exp(-\eta))^2} \\
& = \frac{1 + \exp(-\eta) - 1}{(1 + \exp(-\eta))^2} \\
& = \frac{1 + \exp(-\eta)}{(1 + \exp(-\eta))^2} - \frac{1}{(1 + \exp(-\eta))^2} \\
& = \frac{1}{1 + \exp(-\eta)} - \frac{1}{(1 + \exp(-\eta))^2} \\
& = \frac{1}{1 + \exp(-\eta)}\left(1 - \frac{1}{1 + \exp(-\eta)}\right) \\
& = f(\eta)(1 - f(\eta))
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-16}{}
\footnotesize

\underline{Beweis des LR Gradientenverfahrens (fortgeführt)}

Damit ergibt sich dann für
\(\frac{\partial}{\partial \beta_j} \ell, j = 1,...,m\): \begin{align*}
\begin{split}
& \frac{\partial}{\partial \beta_j} \ell(\beta) \\
& = \frac{\partial}{\partial \beta_j}
\left(\sum_{i=1}^n y^{(i)} \ln \left(f\left(x^{(i)^T} \beta\right)\right)  + \left(1 - y^{(i)}\right) \ln \left(1 - f\left(x^{(i)^T}\beta\right)\right)\right) \\
& =
\sum_{i=1}^n y^{(i)}
\frac{\partial}{\partial \beta_j} \left(\ln \left(f\left(x^{(i)^T} \beta\right)\right)\right)
+ \left(1 - y^{(i)}\right) \frac{\partial}{\partial \beta_j}\left( \ln \left(1 - f\left(x^{(i)^T}\beta\right)\right)\right) \\
& =
\sum_{i=1}^n y^{(i)}
\frac{1}{f\left(x^{(i)^T} \beta\right)} \left(\frac{\partial}{\partial \beta_j}\left(f\left(x^{(i)^T} \beta\right)\right)\right)
+ \left(1 - y^{(i)}\right)
\frac{1}{1 - f\left(x^{(i)^T} \beta\right)}
\frac{\partial}{\partial \beta_j}\left(1 - f\left(x^{(i)^T}\beta\right)\right) \\
& =
\sum_{i=1}^n \left(y^{(i)}
\frac{1}{f\left(x^{(i)^T} \beta\right)}
- \left(1 - y^{(i)}\right)
\frac{1}{1 - f\left(x^{(i)^T} \beta\right)} \right)
\frac{\partial}{\partial \beta_j}\left(f\left(x^{(i)^T} \beta\right)\right) \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-17}{}
\footnotesize

\underline{Beweis des LR Gradientenverfahrens (fortgeführt)}

\tiny

\begin{align*}
\begin{split}
\frac{\partial}{\partial \beta_j} \ell(\beta)
& =
\sum_{i=1}^n \left(y^{(i)}
\frac{1}{f\left(x^{(i)^T} \beta\right)} -
\left(1 - y^{(i)}\right)
\frac{1}{1 - f\left(x^{(i)^T} \beta\right)} \right) \\
& \quad\quad \times
f\left(x^{(i)^T}\beta\right) \left(1 - f\left(x^{(i)^T}\beta\right)\right)
\frac{\partial}{\partial \beta_j}\left(x^{(i)^T}\beta\right) \\
& =
\sum_{i=1}^n \left(y^{(i)}
\frac{1}{f\left(x^{(i)^T} \beta\right)} -
\left(1 - y^{(i)}\right)
\frac{1}{1 - f\left(x^{(i)^T} \beta\right)} \right)
f\left(x^{(i)^T} \beta\right) \left(1 - f\left(x^{(i)^T}\beta\right)\right)x_j^{(i)} \\
& =
\sum_{i=1}^n \left(y^{(i)}
\frac{f\left(x^{(i)^T}\beta\right) \left(1 - f\left(x^{(i)^T}\beta\right)\right)}{f\left(x^{(i)^T} \beta\right)} -
\left(1 - y^{(i)}\right)
\frac{f\left(x^{(i)^T }\beta\right) \left(1 - f\left(x^{(i)^T}\beta\right)\right)}{1 - f\left(x^{(i)^T} \beta\right)} \right)x_j^{(i)} \\
& =
\sum_{i=1}^n \left(y^{(i)}
\left(1 - f\left(x^{(i)^T}\beta\right)\right) -
\left(1 - y^{(i)}\right) f\left(x^{(i)^T}\beta\right) \right) x_j^{(i)}\\
& =
\sum_{i=1}^n \left(y^{(i)} - y^{(i)}f\left(x^{(i)^T}\beta\right) -
f\left(x^{(i)^T}\beta\right) + y^{(i)} f\left(x^{(i)^T}\beta\right)\right) x_j^{(i)} \\
& =
\sum_{i=1}^n \left(y^{(i)} - f\left(x^{(i)^T}\beta\right) \right)x_j^{(i)}. \\
\end{split}
\end{align*}
\end{frame}

\begin{frame}{References}
\protect\hypertarget{references}{}
\footnotesize

\hypertarget{refs}{}
\begin{CSLReferences}{1}{0}
\leavevmode\vadjust pre{\hypertarget{ref-dwyer_2018}{}}%
Dwyer, Dominic B., Peter Falkai, and Nikolaos Koutsouleris. 2018.
{``Machine {Learning Approaches} for {Clinical Psychology} and
{Psychiatry}.''} \emph{Annual Review of Clinical Psychology} 14 (1):
91--118. \url{https://doi.org/10.1146/annurev-clinpsy-032816-045037}.

\leavevmode\vadjust pre{\hypertarget{ref-green_1984}{}}%
Green, P. J. 1984. {``Iteratively {Reweighted Least Squares} for
{Maximum Likelihood Estimation}, and {Some Robust} and {Resistant
Alternatives}.''} \emph{Journal of the Royal Statistical Society: Series
B (Methodological)} 46 (2): 149--70.
\url{https://doi.org/10.1111/j.2517-6161.1984.tb01288.x}.

\leavevmode\vadjust pre{\hypertarget{ref-rudolf_2020}{}}%
Rudolf, Matthias, and Johannes Buse. 2020. \emph{Multivariate
{Verfahren}}. {Göttingen}: {Hogrefe}.

\end{CSLReferences}
\end{frame}

\end{document}
