% Options for packages loaded elsewhere
\PassOptionsToPackage{unicode}{hyperref}
\PassOptionsToPackage{hyphens}{url}
%
\documentclass[
  8pt,
  ignorenonframetext,
]{beamer}
\usepackage{pgfpages}
\setbeamertemplate{caption}[numbered]
\setbeamertemplate{caption label separator}{: }
\setbeamercolor{caption name}{fg=normal text.fg}
\beamertemplatenavigationsymbolsempty
% Prevent slide breaks in the middle of a paragraph
\widowpenalties 1 10000
\raggedbottom
\setbeamertemplate{part page}{
  \centering
  \begin{beamercolorbox}[sep=16pt,center]{part title}
    \usebeamerfont{part title}\insertpart\par
  \end{beamercolorbox}
}
\setbeamertemplate{section page}{
  \centering
  \begin{beamercolorbox}[sep=12pt,center]{part title}
    \usebeamerfont{section title}\insertsection\par
  \end{beamercolorbox}
}
\setbeamertemplate{subsection page}{
  \centering
  \begin{beamercolorbox}[sep=8pt,center]{part title}
    \usebeamerfont{subsection title}\insertsubsection\par
  \end{beamercolorbox}
}
\AtBeginPart{
  \frame{\partpage}
}
\AtBeginSection{
  \ifbibliography
  \else
    \frame{\sectionpage}
  \fi
}
\AtBeginSubsection{
  \frame{\subsectionpage}
}
\usepackage{amsmath,amssymb}
\usepackage{lmodern}
\usepackage{iftex}
\ifPDFTeX
  \usepackage[T1]{fontenc}
  \usepackage[utf8]{inputenc}
  \usepackage{textcomp} % provide euro and other symbols
\else % if luatex or xetex
  \usepackage{unicode-math}
  \defaultfontfeatures{Scale=MatchLowercase}
  \defaultfontfeatures[\rmfamily]{Ligatures=TeX,Scale=1}
\fi
% Use upquote if available, for straight quotes in verbatim environments
\IfFileExists{upquote.sty}{\usepackage{upquote}}{}
\IfFileExists{microtype.sty}{% use microtype if available
  \usepackage[]{microtype}
  \UseMicrotypeSet[protrusion]{basicmath} % disable protrusion for tt fonts
}{}
\makeatletter
\@ifundefined{KOMAClassName}{% if non-KOMA class
  \IfFileExists{parskip.sty}{%
    \usepackage{parskip}
  }{% else
    \setlength{\parindent}{0pt}
    \setlength{\parskip}{6pt plus 2pt minus 1pt}}
}{% if KOMA class
  \KOMAoptions{parskip=half}}
\makeatother
\usepackage{xcolor}
\newif\ifbibliography
\usepackage{color}
\usepackage{fancyvrb}
\newcommand{\VerbBar}{|}
\newcommand{\VERB}{\Verb[commandchars=\\\{\}]}
\DefineVerbatimEnvironment{Highlighting}{Verbatim}{commandchars=\\\{\}}
% Add ',fontsize=\small' for more characters per line
\usepackage{framed}
\definecolor{shadecolor}{RGB}{248,248,248}
\newenvironment{Shaded}{\begin{snugshade}}{\end{snugshade}}
\newcommand{\AlertTok}[1]{\textcolor[rgb]{0.94,0.16,0.16}{#1}}
\newcommand{\AnnotationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\AttributeTok}[1]{\textcolor[rgb]{0.77,0.63,0.00}{#1}}
\newcommand{\BaseNTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\BuiltInTok}[1]{#1}
\newcommand{\CharTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\CommentTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\CommentVarTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ConstantTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ControlFlowTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\DataTypeTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{#1}}
\newcommand{\DecValTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\DocumentationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ErrorTok}[1]{\textcolor[rgb]{0.64,0.00,0.00}{\textbf{#1}}}
\newcommand{\ExtensionTok}[1]{#1}
\newcommand{\FloatTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\FunctionTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ImportTok}[1]{#1}
\newcommand{\InformationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\KeywordTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\NormalTok}[1]{#1}
\newcommand{\OperatorTok}[1]{\textcolor[rgb]{0.81,0.36,0.00}{\textbf{#1}}}
\newcommand{\OtherTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{#1}}
\newcommand{\PreprocessorTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\RegionMarkerTok}[1]{#1}
\newcommand{\SpecialCharTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\SpecialStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\StringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\VariableTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\VerbatimStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\WarningTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\usepackage{longtable,booktabs,array}
\usepackage{calc} % for calculating minipage widths
\usepackage{caption}
% Make caption package work with longtable
\makeatletter
\def\fnum@table{\tablename~\thetable}
\makeatother
\setlength{\emergencystretch}{3em} % prevent overfull lines
\providecommand{\tightlist}{%
  \setlength{\itemsep}{0pt}\setlength{\parskip}{0pt}}
\setcounter{secnumdepth}{-\maxdimen} % remove section numbering
\newlength{\cslhangindent}
\setlength{\cslhangindent}{1.5em}
\newlength{\csllabelwidth}
\setlength{\csllabelwidth}{3em}
\newlength{\cslentryspacingunit} % times entry-spacing
\setlength{\cslentryspacingunit}{\parskip}
\newenvironment{CSLReferences}[2] % #1 hanging-ident, #2 entry spacing
 {% don't indent paragraphs
  \setlength{\parindent}{0pt}
  % turn on hanging indent if param 1 is 1
  \ifodd #1
  \let\oldpar\par
  \def\par{\hangindent=\cslhangindent\oldpar}
  \fi
  % set entry spacing
  \setlength{\parskip}{#2\cslentryspacingunit}
 }%
 {}
\usepackage{calc}
\newcommand{\CSLBlock}[1]{#1\hfill\break}
\newcommand{\CSLLeftMargin}[1]{\parbox[t]{\csllabelwidth}{#1}}
\newcommand{\CSLRightInline}[1]{\parbox[t]{\linewidth - \csllabelwidth}{#1}\break}
\newcommand{\CSLIndent}[1]{\hspace{\cslhangindent}#1}
% type setting
% ------------------------------------------------------------------------------
\usepackage[german]{babel}     

% fonts
% ------------------------------------------------------------------------------
\usefonttheme{professionalfonts}

% slide title and horizontal line
% ------------------------------------------------------------------------------
\setbeamertemplate{frametitle}{%
    \vskip-30pt \color{black}\large%
    \begin{minipage}[b][23pt]{120mm}%
    \flushleft\insertframetitle%
    \end{minipage}%
}

\setbeamertemplate{headline}										
{
\vskip10pt\hfill\hspace{3.5mm} 										 
\vskip15pt\color{black}\rule{\textwidth}{0.4pt} 					 
}

% slide number
% ---------------------------------------------------------------
\setbeamertemplate{navigation symbols}{}
\setbeamertemplate{footline}
{
\vskip5pt
\vskip2pt
\makebox[123mm]{\hspace{7.5mm}
\hfill Multivariate Datenanalyse $\vert$ 
\copyright $ $ 2022 Dirk Ostwald CC BY-NC-SA 4.0 $\vert$ 
Folie \insertframenumber}
\vskip4pt
}

% block color scheme
% ------------------------------------------------------------------------------
% colors
\definecolor{white}{RGB}{255,255,255}
\definecolor{grey}{RGB}{235,235,235}
\definecolor{lightgrey}{RGB}{245,245,245}
\definecolor{LightBlue}{RGB}{220,220,255}
\definecolor{darkblue}{RGB}{51, 51, 153}

% definitions and theorems
\setbeamercolor{block title}{fg = black, bg = grey}
\setbeamercolor{block body}{fg = black, bg = lightgrey}

% general line spacing 
% ------------------------------------------------------------------------------
\linespread{1.3}

% local line spacing
% ------------------------------------------------------------------------------
\usepackage{setspace}

% colors
% -----------------------------------------------------------------------------
\usepackage{color}

% justified text
% ------------------------------------------------------------------------------
\usepackage{ragged2e}
\usepackage{etoolbox}
\apptocmd{\frame}{}{\justifying}{}

% bullet point lists
% -----------------------------------------------------------------------------
\setbeamertemplate{itemize item}[circle]
\setbeamertemplate{itemize subitem}[circle]
\setbeamertemplate{itemize subsubitem}[circle]
\setbeamercolor{itemize item}{fg = black}
\setbeamercolor{itemize subitem}{fg = black}
\setbeamercolor{itemize subsubitem}{fg = black}
\setbeamercolor{enumerate item}{fg = black}
\setbeamercolor{enumerate subitem}{fg = black}
\setbeamercolor{enumerate subsubitem}{fg = black}
\setbeamerfont{itemize/enumerate body}{}
\setbeamerfont{itemize/enumerate subbody}{size = \normalsize}
\setbeamerfont{itemize/enumerate subsubbody}{size = \normalsize}

% color links
% ------------------------------------------------------------------------------
\usepackage{hyperref}
\definecolor{urls}{RGB}{204,0,0}
\hypersetup{colorlinks, citecolor = darkblue, urlcolor = urls}


% additional math commands
% ------------------------------------------------------------------------------
\usepackage{bm}                               % bold math symbols
\usepackage{mathtools}                        % pmatrix* environment
\newcommand{\niton}{\not\owns}

% text highlighting
% ------------------------------------------------------------------------------
\usepackage{soul}
\makeatletter
\let\HL\hl
\renewcommand\hl{%
  \let\set@color\beamerorig@set@color
  \let\reset@color\beamerorig@reset@color
  \HL}
\makeatother

% equation highlighting
% -----------------------------------------------------------------------------
\newcommand{\highlight}[2][yellow]{\mathchoice%
  {\colorbox{#1}{$\displaystyle#2$}}%
  {\colorbox{#1}{$\textstyle#2$}}%
  {\colorbox{#1}{$\scriptstyle#2$}}%
  {\colorbox{#1}{$\scriptscriptstyle#2$}}}%

% additional mathematical operators
% ------------------------------------------------------------------------------
\DeclareMathOperator*{\argmax}{arg\,max}
\DeclareMathOperator*{\argmin}{arg\,min}

\ifLuaTeX
  \usepackage{selnolig}  % disable illegal ligatures
\fi
\IfFileExists{bookmark.sty}{\usepackage{bookmark}}{\usepackage{hyperref}}
\IfFileExists{xurl.sty}{\usepackage{xurl}}{} % add URL line breaks if available
\urlstyle{same} % disable monospaced font for URLs
\hypersetup{
  hidelinks,
  pdfcreator={LaTeX via pandoc}}

\author{}
\date{\vspace{-2.5em}}

\begin{document}

\begin{frame}[plain]{}
\protect\hypertarget{section}{}
\center

\begin{center}\includegraphics[width=0.2\linewidth]{5_Abbildungen/mvda_5_otto} \end{center}

\vspace{2mm}

\Huge

Multivariate Datenanalyse \vspace{6mm}

\large

MSc Psychologie WiSe 2021/22

\vspace{6mm}
\large

Prof.~Dr.~Dirk Ostwald
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-1}{}
\vfill
\center
\huge

\textcolor{black}{(5) Faktorenanalyse} \vfill
\end{frame}

\begin{frame}{Überblick}
\protect\hypertarget{uxfcberblick}{}
\small
\justifying

Generative Perspektive zu konfirmatorischer und exploratorischer
Faktoranalyse

\begin{itemize}
\tightlist
\item
  ``Generativ'' bedeutet hier probabilistisch und modell-basiert.
\end{itemize}

Einführung zum Expectation-Maximization (EM) Algorithmus.

\begin{itemize}
\item
  Generischer Algorithmus zur Schätzung von Parametern in Modellen mit
  latenten Variablen.
\item
  Moderne Sichtweise von EM als Evidende Lower Bound Maximierung.
\item
  Ein Schritt in Richtung eines Verständnisses von Variational
  Inference.
\end{itemize}

\begin{itemize}
\justifying
\item[$\Rightarrow$] Integrative Perspektive von Inferenz und Lernen in Modellen mit
latenten Variablen mit einer natürlichen Generalisierung zu kontemporären Modellen
des maschinellen Lernens und der künstlicher Intelligenz (Variational Bayesian Filtering
oder ``Variational Autoencoders'' für die Generation Deep Learning)
\item[$\Rightarrow$]Ein Schritt zu einem Verständnis zeitgenössischer Theorien
zur Funktionsweise des Gehirns (Free Energy Principle, Active Inference,
Agent-based behavioral models)
\end{itemize}
\end{frame}

\begin{frame}{Überblick}
\protect\hypertarget{uxfcberblick-1}{}
\vfill

\begin{center}\includegraphics[width=1\linewidth]{5_Abbildungen/mvda_5_wissenschaft} \end{center}
\vfill
\end{frame}

\begin{frame}{Literaturhinweise}
\protect\hypertarget{literaturhinweise}{}
\small
\vfill

Wir folgen der Darstellung Linearer Normalverteilungsmodelle in Roweis
and Ghahramani (1999). Dempster, Laird, and Rubin (1977) bietet eine
inhaltsreiche Einführung zum EM Algorithmus. Die Anwendung des EM
Algorithmus im Rahmen der Faktorenanalyse geht auf Rubin and Thayer
(1982) zurück. Probabilistische Hauptkomponentenanalye wird in Tipping
and Bishop (1999) und Roweis (1998) diskutiert und geht auf Arbeiten von
Lawley (1953) zurück. Ursprünglich wurde die Hauptkomponentenanalyse von
Pearson (1901) vorgeschlagen und insbesondere von Hotelling (1933)
verfeinert. Das Anwendungsbeispiel aus dem Gebiet der kognitiven
Fähigkeitsforschung geht auf das Beispiel zur konfirmatorischen
Faktorenanalyse in Rosseel (2012) basierend auf Joreskog (1969) und
Holzinger and Swineford (1939). \vfill
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-2}{}
\large
\setstretch{2}
\vfill

Grundlagen

Inferenz und Lernen

Faktorenanalyse

Hauptkomponentenanalyse Revisited

Anwendungsbeispiel

Selbstkontrollfragen

Appendix \vfill
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-3}{}
\large
\setstretch{2}
\vfill

\textbf{Grundlagen}

Inferenz und Lernen

Faktorenanalyse

Hauptkomponentenanalyse Revisited

Anwendungsbeispiel

Selbstkontrollfragen

Appendix \vfill
\end{frame}

\begin{frame}{Grundlagen}
\protect\hypertarget{grundlagen}{}
\setstretch{1.3}
\small
\begin{definition}[Multivariate Normalverteilung]
\justifying
$X$ sei ein $n$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^n$ und WDF
\begin{equation}
p : \mathbb{R}^n \to \mathbb{R}_{>0},\, x \mapsto p(x)
:= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
Dann sagen wird, dass $X$ einer \textit{multivariaten (oder $n$-dimensionalen)
Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^n$ und
positive-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{n \times n}$
unterliegt und nennen $X$ einen \textit{(multivariat) normalverteilten Zufallsvektor}.
Wir kürzen dies mit $X \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat
normalverteilten Zufallsvektors bezeichnen wir mit
\begin{equation}
N(x;\mu,\Sigma):= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Parameter \(\mu \in \mathbb{R}^n\) entspricht dem Wert höchster
  Wahrscheinlichkeitsdichte
\item
  Die Diagonalelemente von \(\Sigma\) spezifizieren die Breite der WDF
  bezüglich \(X_1,...,X_n\).
\item
  Das \(i,j\)te Element von \(\Sigma\) spezifiziert die Kovarianz on
  \(X_i\) und \(X_j\).
\item
  Der Term \((2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\) ist die
  Normalsieriungskonstante für den Exponentialfunktionsterm.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen}
\protect\hypertarget{grundlagen-1}{}
\small

\textcolor{darkblue}{Zweidimensionale Normalverteilungen} \vspace{2mm}

\begin{center}\includegraphics[width=1\linewidth]{5_Abbildungen/mvda_5_normalverteilungen} \end{center}
\end{frame}

\begin{frame}{Grundlagen}
\protect\hypertarget{grundlagen-2}{}
\small
\begin{definition}[Lineares Normalverteilungsmodell]
\justifying
$X$ sei ein kontinuierlicher nicht-beobachtbarer $k$-dimensionaler Zufallsvektor
und $Y$ sei ein kontinuierlicher beobachbarer $m$-dimensionaler Zufallsvektor.
$B \in \mathbb{R}^{m \times k}$ sei eine Matrix und $R \in \mathbb{R}^{m \times m}$
sei eine positiv-definite Matrix. Dann heißt ein probabilistisches Modell mit WDF
\begin{equation}
p(x,y) = p(y|x)p(x),
\end{equation}
wobei
\begin{equation}
p(y|x) := N(y;Bx,R)
\mbox{ und }
p(x) := N(x;0_k, I_k)
\end{equation}
gilt, ein \textit{lineares Normalverteilungsmodell (LNM)}. Die Parametermenge eines
LNMs ist $\theta := \{B,R\}$ und wir schreiben die WDFen von LNMen allgemein als
\begin{equation}
p_\theta(x,y) := N(y;Bx,R)N(x;0_k,I_k).
\end{equation}
\end{definition}
\end{frame}

\begin{frame}{Grundlagen}
\protect\hypertarget{grundlagen-3}{}
Bemerkungen

\small

\begin{itemize}
\item
  Der Zufallsvektor \(X\) heißt auch \emph{Zustandsvektor} oder
  \emph{latenter Vektor}
\item
  Der Zufallsvektor \(Y\) heißt auch \emph{Datenvektor}.
\item
  In hierarchischer Form kann ein LNM geschrieben werden als
  \begin{align}
  \begin{split}
  X & = \xi           \quad\quad\quad\quad\,  \xi  \sim N(0_k,I_k) \\
  Y & = BX + \eta     \quad                       \eta \sim N(0_m,R).
  \end{split}
  \end{align}
\item
  \(\xi\) heißt dabei \emph{Zustandsrauschen}, \(\eta\) heißt dabei
  \emph{Beobachtungsrauschen/fehler}.
\item
  Samplen eines LNMs resultiert in Realisierungen \((x^{(i)}, y^{(i)})\)
  mit \(i = 1,...,n\).
\item
  Die \(x^{(i)} \in \mathbb{R}^k\) modellieren nicht
  beobachtbare/latente/virtuelle Daten.
\item
  Die \(y^{(i)} \in \mathbb{R}^m\) modellieren beobachtbare Daten.
\item
  LNMe sind spezielle lineare normalverteilte Zustandsraummodelle.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen}
\protect\hypertarget{grundlagen-4}{}
\small
\begin{theorem}[LNM Datenverteilung]
\justifying
\normalfont
Die Datenverteilung des LNMs
\begin{equation}
p_\theta(x,y) = N(y;Bx,R)N(x;0_k,I_k)
\end{equation}
ist gegeben durch
\begin{equation}
p_\theta(y) = N(y;0_m, BB^T + R)
\end{equation}
und wird auch als \textit{marginale Datenverteilung} oder \textit{marginale Likelihood}
bezeichnet.
\end{theorem}

\footnotesize

\underline{Beweis} \vspace{1mm}

Wir halten zunächst fest, dass mit dem Theorem zu Gemeinsamen
Normalverteilungen aus (3) Wahrscheinlichkeitstheorie direkt folgt, dass
die WDF der gemeinsamen Verteilung von \(X\) und \(Y\) gegeben ist durch
\begin{equation}
p_\theta(x,y) =
N\left(
\begin{pmatrix} x       \\ y    \end{pmatrix} ;
\begin{pmatrix} 0_k     \\ 0_m  \end{pmatrix},
\begin{pmatrix}
I_k     & B^T \\
B       & BB^T + R
\end{pmatrix}
\right).
\end{equation} Mit dem Theorem zu Marginalen Normalverteilungen aus (3)
Wahrscheinlichkeitstheorie folgt dann aber soforft, dass die WDF der
marginalen Verteilung von \(Y\) durch \begin{equation}
p_\theta(y) = N\left(y; 0_m, BB^T + R \right).
\end{equation} gegeben ist. \(\hfill \Box\)
\end{frame}

\begin{frame}{Grundlagen}
\protect\hypertarget{grundlagen-5}{}
\setstretch{2}
\small

Bemerkungen

\begin{itemize}
\tightlist
\item
  LNMs modellieren zentrierte multivariat normalverteilte Datensätze mit
  Kovarianzmatrix. \begin{equation}
  \mathbb{C}(Y) =  BB^T + R.
  \end{equation}
\item
  ``Modellieren'' bedeutet hier insbesondere, die Datenkovarianzmatrix
  \(\mathbb{C}(Y)\) zu erklären.
\item
  Die Form von \(\mathbb{C}(Y)\) resultiert dabei aus der Transformation
  einer latenten Normalverteilung.
\item
  Die Matrizen \(B\) und \(R\) generieren/erklären \(\mathbb{C}(Y)\)
  mechanistisch.
\item
  \(B\) und \(R\) ermöglichen so oft eine kondensiertere Erklärung als
  \(\mathbb{C}(Y)\) \textit{per se}.
\item
  Verschiedene LNMe haben unterschiedliche Potentiale,
  Datenkovarianzmatrizen zu erklären.
\end{itemize}
\end{frame}

\begin{frame}{Grudlagen}
\protect\hypertarget{grudlagen}{}
\begin{center}\includegraphics[width=1\linewidth]{5_Abbildungen/mvda_5_lnm} \end{center}

\footnotesize
\setstretch{1.6}

\begin{itemize}
\tightlist
\item
  Der latente Zufallsvektor \(X\) ist in \(\mathbb{R}^k\) (hier
  \(k = 2\)) spärisch verteilt.
\item
  Durch \(B\) wird diese Sphäre gedehnt, rotiert, und nach
  \(\mathbb{R}^m\) (hier \(m = 2\)) transformiert.
\item
  Bei \(m < p\) sieht die Sphäre von \(X\) zum Beispiel wie ein
  Pfannkuchen aus.
\item
  Dieser Pfannkuchen wird dann noch mit der Kovarianz von des
  Beobachtungsrauschens \(\eta\) konvolviert.
\item
  Es mag helfen, sich diese Konvolution (Faltung) als ``Addition von
  Rauschen'' vorzustellen.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen}
\protect\hypertarget{grundlagen-6}{}
\setstretch{1.8}

\textcolor{darkblue}{Spezielle lineare Normalverteilungsmodelle}

\small
\begin{itemize}
\item Das Ziel der Datenmodellierung mit LNMe ist die Erklärung der Datenkovarianmatrixstruktur.
\item Die Datenkovarianmatrixstruktur kann durch Wahl von $B$ und $R$ erklärt werden
\item Spezielle LNMe entsprechen spezifischen Randbedingungen für $R$.
\item[] $\Rightarrow$ In der konfirmatorischen Faktorenanalyse wird $R$ als Diagonalmatrix vorausgesetzt.
\item[] $\Rightarrow$ In der probabilistischen PCA wird $R$ als sphärisch vorausgesetzt.
\item[] $\Rightarrow$ In der exploratorischen Faktorenanalyse (PCA) wird $R = 0_{mm}$ vorausgesetzt.
\end{itemize}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-4}{}
\large
\setstretch{2}
\vfill

Grundlagen

\textbf{Inferenz und Lernen}

Faktorenanalyse

Hauptkomponentenanalyse Revisited

Anwendungsbeispiel

Selbstkontrollfragen

Appendix
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen}{}
\setstretch{1.2}
\footnotesize
\begin{definition}[Verteilungen von LNM Datensätzen]
\justifying
\begin{equation}
Y := \begin{pmatrix}y^{(1)} & \cdots & y^{(n)} \end{pmatrix} \in \mathbb{R}^{m \times n}
\mbox{ und }
X := \begin{pmatrix}x^{(1)} & \cdots & x^{(n)} \end{pmatrix} \in \mathbb{R}^{k \times n}
\end{equation}
seien ein beobachteter Datensatz (Realisierungen des beobachtbaren Zufallsvektors)
und der assoziierte unbeobachtete Datensatz (Realisierungen des latenten Zufallsvektors).
Unter der Annahme unabhängier und identischer Verteilung der gemeinsamen Realisationen
$(x^{(i)},y^{(i)})$ für $i = 1,...,n$ ist die WDF der gemeinsamen Verteilung
eines LNM Datensatz durch
\begin{equation}
p_\theta(X,Y)
= \prod_{i=1}^n p_\theta\left(x^{(i)}, y^{(i)}\right)
= \prod_{i=1}^n N\left(y^{(i)}; Bx^{(i)}, R\right)N\left(x^{(i)};0_k,I_k\right)
\end{equation}
und die marginale WDF des beobachtbaren Datensatzes gegeben durch
\begin{equation}
p_\theta(Y)
= \prod_{i=1}^n N\left(y^{(i)}; 0_m, BB^T + R \right).
\end{equation}
\end{definition}

\small

Bemerkungen

\begin{itemize}
\tightlist
\item
  \textbf{\(X\) und \(Y\) bezeichnen ab jetzt keine Zufallsvektoren
  mehr.}
\item
  \textbf{\(X \in \mathbb{R}^{k \times n}\) und
  \(Y \in \mathbb{R}^{m \times n}\) bezeichnen ab jetzt Matrizen.}
\end{itemize}
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-1}{}
\justifying

\textcolor{darkblue}{Inferenz}

\small

Was ist die Verteilung der latenten Zufallsvektoren und was sind ihre
wahrscheinlichsten Werte für feste Werte der LNM Parameter
\(\theta := \{B,R\}\)?

\(\Rightarrow\) Die Antwort gibt das Theorem zu bedingten multivariaten
Normalverteilungen. \vspace{3mm}

\normalsize

\textcolor{darkblue}{Lernen}

\small

Welche Parameterwerte maximieren die Marginal-Likelihood Funktion
\begin{equation}
L : \Theta \to \mathbb{R}_{\ge 0}, \theta \mapsto L(\theta)
:= p_\theta(Y) = \int p_\theta(X,Y)\,dX,
\end{equation} oder, äquivalent, die Log Marginal-Likelihood Funktion
\begin{equation}
\ell : \Theta \to \mathbb{R}, \theta \mapsto \ell(\theta)
:= \ln p_\theta(Y) =  \ln \int p_\theta(X,Y)\,dX \mbox{ ?}
\end{equation} für einen festen beobachteten Datensatz
\(Y \in \mathbb{R}^{m \times n}\)?

\(\Rightarrow\) Die Antwort gibt der Expectation-Maximization
Algorithmus.
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-2}{}
\small
\begin{theorem}[LNM Inferenz]
\justifying
\normalfont
Es sei
\begin{equation*}
p_\theta(x,y) = N(y;Bx,R)N(x;0,I_k),
\end{equation*}
ein LNM. Dann ist die WDF der bedingten Verteilung des latenten Zufallsvektors
gegeben durch
\begin{equation}
p_\theta(x|y) = N\left(x; B^T(BB^T + R)^{-1}y, I_k - B^T(BB^T + R)^{-1}B\right).
\end{equation}
\end{theorem}
\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die bedingte Verteilung des latenten Zufallsvektors ist eine
  Normalverteilung.
\item
  Der wahrscheinlichste Wert des latenten ZVs gegeben eine Beobachtung
  des beobachtbaren ZVs ist also \begin{equation}
  \hat{x} := \mu_{x|y} = B^T(BB^T + R)^{-1}y.
  \end{equation}
\item
  Die mit diesem Wert assoziierte Unsicherheit ist
  \(\Sigma_{x|y} := I_k - B^T(BB^T + R)^{-1}B\).
\end{itemize}
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-3}{}
\footnotesize

\underline{Beweis} \vspace{1mm}

Wir hatten oben bereits gesehen, dass die WDF der gemeinsamen Verteilung
von latentem und beobachtbarem Zufallsvektor gegeben ist durch
\begin{equation}
p_\theta(x,y) =
N\left(
\begin{pmatrix} x     \\ y \end{pmatrix} ;
\begin{pmatrix} 0_k     \\ 0_m \end{pmatrix},
\begin{pmatrix}
I_k     & B^T \\
B       & BB^T + R
\end{pmatrix}
\right)
\end{equation} Mit dem Theorem zu Bedingten Normalverteilungen aus
Einheit (3) Wahrscheinlichkeitstheorie gilt dann mit Identifikation von
\begin{equation}
\mu_x := 0_k,
\mu_y := 0_m,
\Sigma_{xx} := I_k,
\Sigma_{xy} := B^T,
\Sigma_{yx} := B, \mbox{ und }
\Sigma_{yy} := BB^T + R,
\end{equation} dass \begin{equation}
p_\theta(x|y) = N\left(x; \mu_{x|y},\Sigma_{x|y}\right),
\end{equation} wobei \begin{equation}
\mu_{x|y}
= \mu_x + \Sigma_{xy}\Sigma_{yy}^{-1}(y - \mu_y)
= B^T(BB^T + R)^{-1}y,
\end{equation} und wobei \begin{equation}
\Sigma_{x|y}
= \Sigma_{xx} -  \Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}
= I_k - B^T(BB^T + R)^{-1}B.
\end{equation} ist. \(\hfill \Box\)
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-4}{}
\small
\begin{theorem}[LNM Datensatzinferenz]
\justifying
\normalfont
$p_\theta(X,Y)$ sei die gemeinsame Verteilung eines LNM Datenatzes. Dann ist die
WDF der bedingten Vertilung von $X$ gegeben $Y$ gegeben durch
\begin{equation}
p_\theta(X|Y) =
\prod_{i=1}^n N\left(x^{(i)}; B^T(BB^T + R)^{-1}y^{(i)}, I_k - B^T(BB^T + R)^{-1}B\right).
\end{equation}
\end{theorem}

\footnotesize

\underline{Beweis} \vspace{1mm}

Mit den Ausdrücken für die WDFen der gemeinsamen und marginalen LNM
Datensatzverteilungen gilt \begin{align*}
p_\theta(X|Y)
= \frac{p_\theta(X,Y)}{p_\theta(Y)}
= \frac{\prod_{i=1}^n p_\theta(x^{(i)},y^{(i)})}{\prod_{i=1}^n p_\theta\left(y^{(i)} \right)}
= \prod_{i=1}^n\frac{p_\theta(x^{(i)},y^{(i)})}{p_\theta(y^{(i)})}
= \prod_{i=1}^n p_\theta\left(x^{(i)}|y^{(i)}\right).
\end{align*} Das Theorem folgt dann direkt mit dem Theorem zur LNM
Inferenz.

\(\hfill \Box\)
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-5}{}
\footnotesize
\begin{theorem}[Evidence Lower Bound]
\justifying
\normalfont
Für einen Datensatz $Y\in \mathbb{R}^{m\times n}$ sei $\ln p_\theta(Y)$ die WDF
der Log Marginal-Likelihood Verteilung eines LNMs. Dann gilt für jede WDF $q(X)$,
dass
\begin{align*}
\ln p_\theta(Y)
\ge  \int q(X) \ln p_\theta(X,Y) \,dX - \int q(X) \ln q(X) \,dX
=: \mbox{ELBO}(q(X),\theta).
\end{align*}
$\mbox{ELBO}(q(X),\theta)$ heißt \textit{Evidence Lower Bound}.
\end{theorem}

\setstretch{1.0}

\underline{Beweis}

Mit der Jensenschen Ungleichung (Appendix) gilt \begin{equation*}
\ln p_\theta(Y)
:= \ln \int p_\theta(X,Y)\,dX
 = \ln \int q(X) \left(\frac{p_\theta(X,Y)}{q(X)}\right) \,dX
\ge \int q(X) \ln \left(\frac{p_\theta(X,Y)}{q(X)} \right)\,dX.
\end{equation*} Damit aber folgt \begin{align*}
\ln p_\theta(Y)
 \ge    \int q(X) \ln \left(\frac{p_\theta(X,Y)}{q(X)} \right)\,dX
& =     \int q(X) \left(\ln p_\theta(X,Y) - \ln q(X) \right)\,dX    \\
& =     \int q(X) \ln p_\theta(X,Y) \,dX - \int q(X) \ln q(X) \,dX.
\end{align*}
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-6}{}
\setstretch{1.8}

Bemerkungen \small

\begin{itemize}
\tightlist
\item
  Für einen festen Datensatz \(Y\) ist \(\mbox{ELBO}(q(X),\theta)\) eine
  Funktion von \(q(X)\) und \(\theta\).
\item
  Die Bezeichnung Evidence Lower Bound geht auf den Term ``Evidence''
  für \(p_\theta(Y)\) zurück.
\item
  In den kognitiven Neurowissenschaften ist die ELBO als ``Freie
  Energie'' bekannt.
\item
  Die Signifikanz der ELBO geht weit über LNMe hinaus:

  \begin{itemize}
  \tightlist
  \item
    \small \justifying Die ELBO ist für die Variational Inference
    zentral.
  \item
    Variational Inference ist für moderne Theorien zur Funktion des
    Gehirns zentral.
  \end{itemize}
\item
  Für Einführungen zur Variational Inference siehe zum Beispiel

  \begin{itemize}
  \tightlist
  \item
    \small Ostwald et al. (2014), Starke and Ostwald (2017), Blei and
    Smyth (2017).
  \end{itemize}
\end{itemize}
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-7}{}
\small
\begin{definition}[Expectation-Maximization Algorithmus]
\justifying
Die iterative koordinatenweise Maximierung der ELBO hinsichtlich $q(X)$ und $\theta$
heißt \textit{Expectation-Maximization (EM) Algorithmus}. Der Algorithmus
hat die allgemeine Form
\vspace{2mm}

\underline{EM Algorithmus}
\vspace{1mm}

0. Initialisierung von $q^{(0)}(X)$ und $\theta^{(0)}$
\vspace{1mm}

Für $j = 1,2,...$
\begin{itemize}
\item[1.] E Schritt: Setze  $q^{(j)}(X) := \argmax_{q(X)} \mbox{ELBO}\left(q(X),\theta^{(j-1)}\right)$
\item[2.] M Schritt: Setze  $\,\,\,\,\,\,\,\,\theta^{(j)} := \argmax_{\theta} \mbox{ELBO}\left(q^{(j)}(X),\theta\right)$
\end{itemize}
Nach Konvergenz, nutze $\hat{\theta} := \theta^{(j)}$ als Parameterschätzer.
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  ``Expectation Schritt'' ist eine Fehlbezeichnung, es handelt sich auch
  um einen Maximization Schritt\ldots{}
\item
  \ldots{} allerdings ergibt die Bezeichnung im sogenannten ``exakten''
  EM Algorithmus Sinn.
\end{itemize}
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-8}{}
\small
\begin{theorem}[Exakter Expectation-Maximization Algorithmus]
\justifying
\normalfont
Das Setzen von
\begin{equation}
q^{(j)}(X) := p_{\theta^{(j-1)}}(X|Y) \mbox{ für alle } j = 1,2,...
\end{equation}
im E Schritt des EM Algorithmus maximiert die ELBO hinsichtlich $q(X)$ und
heißt \textit{exakter E Schritt}. Der Algorithmus hat dann die folgende Form

\vspace{2mm}

\underline{Exakter EM Algorithmus}
\vspace{1mm}

0. Initialisierung von  $\theta^{(0)}$
\vspace{1mm}

Für $j = 1,2,...$
\begin{itemize}
\item[1.] E Step
$q^{(j)}(X) := p_{\theta^{(j-1)}}(X|Y)$
\item[2.] M Step
$\,\,\,\,\,\,\,\,\theta^{(j)} := \argmax_{\theta} \int p_{\theta^{(j-1)}}(X|Y) \ln p_\theta(X,Y) \,dX$
\end{itemize}
Nach Konvergenz, nutze $\hat{\theta} := \theta^{(j)}$ als Parameterschätzer.
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für LNMe kann \(p_{\theta^{(j-1)}}(X|Y)\) analytisch evaluiert werden
  \(\Rightarrow\) Inferenz.
\item
  Der M Schritt des exakten EM Algorithmus für LNM Parameterschätzung
  \(\Rightarrow\) Lernen.
\end{itemize}
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-9}{}
\footnotesize
\setstretch{1.1}

\underline{Beweis}

Wir zeigen zunächst, dass die ELBO
\(q^{(j)}(X) := p_{\theta^{(j-1)}}(X|Y)\) den maximalen Wert
\(\ln p_{\theta^{(j-1)}}(Y)\) annimmt: \begin{align*}
\mbox{ELBO}(p_{\theta^{(j-1)}}(X|Y),\theta)
& = \int p_{\theta^{(j-1)}}(X|Y) \ln \left(\frac{p_{\theta^{(j-1)}}(X,Y)}{p_{\theta^{(j-1)}}(X|Y)}\right) \,dX      \\
& = \int p_{\theta^{(j-1)}}(X|Y) \ln \left(\frac{p_{\theta^{(j-1)}}(Y)p_{\theta^{(j-1)}}(X|Y)}{p_{\theta^{(j-1)}}(X|Y)}\right) \,dX     \\
& = \int p_{\theta^{(j-1)}}(X|Y) \ln p_{\theta^{(j-1)}}(Y) \,dX                                         \\
& = \ln  p_{\theta^{(j-1)}}(Y) \int p_{\theta^{(j-1)}}(X|Y) \,dX \\
&  = \ln  p_{\theta^{(j-1)}}(Y).
\end{align*} Der M Schritt hat dementsprechend die Form \begin{align*}
\theta^{(j)}
& = \argmax_{\theta} \mbox{ELBO}\left(p_{\theta^{(j-1)}}(X|Y),\theta\right)     \\
& = \argmax_{\theta} \int p_{\theta^{(j-1)}}(X|Y) \ln p_\theta(X,Y) \,dX - \int p_{\theta^{(j-1)}}(X|Y) \ln p_{\theta^{(j-1)}}(X|Y) \,dX.
\end{align*} Der M Schritt des exakten EM Algorithmus folgt dann damit,
dass der zweite Integralterm hier nicht von \(\theta\) abhängt.
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-10}{}
\vspace{2mm}

\textcolor{darkblue}{Visuelle Intuition} \vspace{2mm}

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_exakter_em_algorithmus} \end{center}
\end{frame}

\begin{frame}{Inferenz und Lernen}
\protect\hypertarget{inferenz-und-lernen-11}{}
Weitere Bemerkungen

\small

\begin{itemize}
\tightlist
\item
  \justifying Der M Step der \(i\)ten Iteration des exakten EM
  Algorithmus entspricht der Maximierung des Erwartungswertes der
  logarithmierten WDF der gemeinsamen Datenverteilung \(p_\theta(X,Y)\)
  hinsichtlich \(\theta\), wobei der Erwartungswert hinsichtlihch der
  WDF der bedingten Datenverteilung von \(X\) gegeben \(Y\) basierend
  auf der Parameterschätzung \(\theta^{(j-1)}\), die in der \((j-1)\)ten
  Iteration des exakten EM Algorithmus gewonnen wurde. \vspace{1mm}
\item
  Überraschenderweise garantiert aufgrund der inherenten Logik des EM
  Algrithmus die Maximierung des Erwartungswertes \begin{equation}
  \mathbb{E}_{p_{\theta^{(j-1)}}(X|Y)} \left(\ln p_\theta(X,Y)\right)
  = \int p_{\theta^{(j-1)}}(X|Y) \ln p_\theta(X,Y) \,dX
  \end{equation} auch die Maximierung der tatsächlichen Funktion von
  Interesse, \(\ln p_\theta(Y)\).
\item
  Für konkrete Algorithmen und für spezifische LNMe muss obiger
  Erwartungswert analytisch als Funktion von \(\theta^{(j-1)}\)
  ausgewertet werden und dann hinsichtlich \(\theta\) entweder
  analytisch oder numerisch maximiert werden um die Parameterschätzung
  \(\theta^{(j)}\). zu erhalten.
\end{itemize}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-5}{}
\large
\setstretch{2}
\vfill

Grundlagen

Inferenz und Lernen

\textbf{Faktorenanalyse}

Hauptkomponentenanalyse Revisited

Anwendungsbeispiel

Selbstkontrollfragen

Appendix
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse}{}
\small
\begin{definition}[Faktorenanalysemodell]
Es sei
\begin{equation}
p_\theta(x,y) = N(y; Bx, R)N(x; 0, I_k)
\end{equation}
ein LGM mit diagonaler Beobachtungsrauschen Kovarianzmatrix
\begin{equation}
R = \mbox{diag}(\sigma_1^2,\sigma_2^2,...,\sigma_m^2) \in \mathbb{R}^{m\times m}, \sigma_i^2 > 0,\,i = 1,...,m.
\end{equation}
Dann heißt $p_\theta(x,y)$ \textit{Faktorenanalysemodell}.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Das Modell heißt auch \textbf{Modell der konfirmatorischen
  Faktorenanalyse}.
\item
  Die Komponenten (Zufallsvariablen) des latenten Zufallsvektors werden
  \textbf{Faktoren} genannt.
\item
  Die Matrix \(B\) des Faktorenanalysemodells wird
  \textbf{Faktorenladungsmatrix} genannt.
\item
  Die Diagonalelemente von \(R\) werden \textbf{Uniquenesses} genannt.
\end{itemize}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-1}{}
\textcolor{darkblue}{Visuelle Intuition} \vspace{4mm}

\begin{center}\includegraphics[width=1\linewidth]{5_Abbildungen/mvda_5_faktorenanalysemodell} \end{center}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-2}{}
\setstretch{1.8}
\small
\justifying

Bemerkungen

\small

\begin{itemize}
\item
  Faktorenenalysemodelle erklären die Struktur Datenkovarianzmatrizen
  dadurch, dass

  \begin{itemize}
  \tightlist
  \item
    \footnotesize \small alle Korrelationen zwischen Datendimensionen
    durch \(B\) erklärt werden,
  \item
    alle Varianzen dimensionsspezifisch durch \(R\) erklärt werden und
  \item
    die Komponenten des beobachtbaren ZVs als bedingt unabhängig
    angenommen werden.
  \end{itemize}
\item
  Faktorenanalysemodelle behandeln Datenkovarianzen und Varianzen nicht
  identisch.
\item
  Die Datenkovarianzstruktur wird als bedeutsam angesehen

  \(\quad\quad\quad\quad\quad\quad\Leftrightarrow\) Das
  Beobachtungsrauschen wird als unkorreliert angenommen.
\item
  Exploratorische und konfirmatorische FA entsprechen unterschiedlichen
  Bedingungen an \(R\).
\item
  Die Parameter des Modells können mit dem exakten EM Algorithmus
  geschätzt werden.
\end{itemize}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-3}{}
\footnotesize
\setstretch{1.2}
\begin{theorem}[Exakter EM Algorithmus für Faktorenanalysemodelle]
\justifying
\normalfont
\vspace{1mm}

0. Initialisiere $B^{(0)}$ und $R^{(0)}$.
\vspace{1mm}

Für $i = 1,2,...$

\begin{enumerate}
\item E Schritt. Setze $\tilde{B} := B^{(j-1)}$ und $\tilde{R} := R^{(j-1)}$ und
\begin{equation}
\begin{split}
q^{(j)}(X)
:= \prod_{j=1}^n N\left(x^{(i)}; \hat{x}^{(i)}, \hat{\Sigma}^{(i)} \right),
\end{split}
\end{equation}
wobei
\begin{equation}
\hat{x}^{(i)}       := \tilde{B}^T(\tilde{B}\tilde{B}^T  + \tilde{R})^{-1}y^{(i)} \mbox{ und }
\hat{\Sigma}^{(i)}  := I_k - \tilde{B}^T(\tilde{B}\tilde{B}^T  + \tilde{R})^{-1}\tilde{B}.
\end{equation}
\item M Schritt. Setze
\begin{equation}
B^{(j)}
:= \sum_{i=1}^n y^{(i)}\hat{x}^{(i)^T}\left(\sum_{i=1}^n \hat{x}^{(i)}\hat{x}^{(i)^T} + \hat{\Sigma}^{(i)}\right)^{-1}
\end{equation}
und
\begin{equation}
R^{(j)}
:= \frac{1}{n}\mbox{diag}\left(\sum_{i=1}^n y^{(i)}y^{(i)^T} - \sum_{i=1}^n y^{(i)}\hat{x}^{(i)^T} B^{(i)^T}\right).
\end{equation}
\end{enumerate}
\end{theorem}

Siehe Appendix für einen Beweis.
\end{frame}

\begin{frame}[fragile]{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-4}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

Datengeneration

\vspace{1mm}
\footnotesize
\setstretch{.9}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# mvrnorm() Paket}
\FunctionTok{library}\NormalTok{(MASS)}

\CommentTok{\# Paramterspezifikation}
\NormalTok{k     }\OtherTok{=} \DecValTok{3}                                \CommentTok{\# Dimension des latenten Zufallsvektors}
\NormalTok{m     }\OtherTok{=} \DecValTok{9}                                \CommentTok{\# Dimension des beobachtbaren Zufallsvektors}
\NormalTok{B     }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{( }\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,                 }\CommentTok{\# Faktorenladungsmatrix}
                  \DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}
                  \DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}
                  \DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}
                  \DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}
                  \DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}
                  \DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}
                  \DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}
                  \DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{),}
                 \AttributeTok{nrow  =}\NormalTok{ m,}
                 \AttributeTok{byrow =} \ConstantTok{TRUE}\NormalTok{)}
\NormalTok{u      }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,m)                        }\CommentTok{\# Uniquenesses}
\NormalTok{R      }\OtherTok{=} \FunctionTok{diag}\NormalTok{(u)                         }\CommentTok{\# Beobachtungsrauschenkovarianmatrix}
\NormalTok{mu     }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{,k}\SpecialCharTok{+}\NormalTok{m)                      }\CommentTok{\# Erwartungswertparameter  p\_\textbackslash{}theta(x,y)}
\NormalTok{Sigma  }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(}\FunctionTok{diag}\NormalTok{(k), }\FunctionTok{t}\NormalTok{(B)),     }\CommentTok{\# Kovarianzmatrixparameter p\_\textbackslash{}theta(x,y)}
         \FunctionTok{cbind}\NormalTok{(B, B }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B) }\SpecialCharTok{+}\NormalTok{ R))}

\CommentTok{\# Datengeneration}
\NormalTok{n      }\OtherTok{=} \FloatTok{1e3}                             \CommentTok{\# Beobachtungsanzahl}
\NormalTok{XY     }\OtherTok{=} \FunctionTok{t}\NormalTok{(}\FunctionTok{mvrnorm}\NormalTok{(n,mu,Sigma))          }\CommentTok{\# p\_theta(x,y) sampling und z{-}score normalization}
\NormalTok{X      }\OtherTok{=}\NormalTok{ XY[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{k,]                        }\CommentTok{\# virtuelle Daten    X \textbackslash{}in R\^{}\{k x n\}}
\NormalTok{Y      }\OtherTok{=}\NormalTok{ XY[(k}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\FunctionTok{nrow}\NormalTok{(XY),]             }\CommentTok{\# Beobachtete Daten  Y \textbackslash{}in R\^{}\{m x n\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-5}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

Wahre, aber unbekannte, Parameter

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_B_R} \end{center}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-6}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

Marginale Kovarianzmatrix und marginale Korrelationsmatrix

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_Sigma_y_rho_y} \end{center}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-7}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

Vollständiger Datensatz (n = 100)

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_XY} \end{center}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-8}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

Stichprobenkovarianzmatrix und Stichprobenkorrelationsmatrix

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_S_y_R_y} \end{center}
\end{frame}

\begin{frame}[fragile]{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-9}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

Parameterschätzung mit R's \texttt{factanal()} Funktion

\footnotesize

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Lawley \& Maxwell (1971) Schätzverfahren für Faktorenanalyse}
\NormalTok{fa              }\OtherTok{=} \FunctionTok{factanal}\NormalTok{(}\FunctionTok{t}\NormalTok{(Y), }\AttributeTok{factors =} \DecValTok{3}\NormalTok{, }\AttributeTok{rotation =} \StringTok{"none"}\NormalTok{)  }\CommentTok{\# Parameterschätzung}
\NormalTok{B\_hat\_fa        }\OtherTok{=}\NormalTok{ fa}\SpecialCharTok{$}\NormalTok{loadings[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{9}\NormalTok{,}\DecValTok{1}\SpecialCharTok{:}\DecValTok{3}\NormalTok{]                            }\CommentTok{\# \textbackslash{}hat\{B\}}
\NormalTok{R\_hat\_fa        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(fa}\SpecialCharTok{$}\NormalTok{uniquenesses)                           }\CommentTok{\# \textbackslash{}hat\{R\}}

\CommentTok{\# Parametschätzer{-}basierte Kovarianz und Korrelationsmatrix}
\NormalTok{Sigma\_hat\_y\_fa  }\OtherTok{=}\NormalTok{ B\_hat\_fa }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B\_hat\_fa) }\SpecialCharTok{+}\NormalTok{ R\_hat\_fa}
\NormalTok{D\_hat\_y\_fa      }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\FunctionTok{sqrt}\NormalTok{(}\FunctionTok{diag}\NormalTok{(Sigma\_hat\_y\_fa)))}
\NormalTok{rho\_hat\_y\_fa    }\OtherTok{=}\NormalTok{ D\_hat\_y\_fa }\SpecialCharTok{\%*\%}\NormalTok{ Sigma\_hat\_y\_fa }\SpecialCharTok{\%*\%}\NormalTok{ D\_hat\_y\_fa}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}[fragile]{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-10}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

\texttt{factanal()} basierte Parameterschätzer

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_B_hat_R_hat_fa} \end{center}
\end{frame}

\begin{frame}[fragile]{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-11}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

\texttt{factanal()} basierte marginale Kovarianmatrix und
Korrelationsmatrix

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_Sigma_hat_y_rho_hat_y_fa} \end{center}
\end{frame}

\begin{frame}[fragile]{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-12}{}
\setstretch{1.2}

\textcolor{darkblue}{Simulationsbeispiel}

\small

EM Algorithmus

\tiny
\setstretch{.9}

\begin{Shaded}
\begin{Highlighting}[]
\FunctionTok{library}\NormalTok{(matlib)                                   }\CommentTok{\# Matrizenrechnungspaket}
\NormalTok{max\_j }\OtherTok{=} \DecValTok{2}\SpecialCharTok{\^{}}\DecValTok{2}                                       \CommentTok{\# Maximale Anzahl Iterationen}

\CommentTok{\# EM Initialisierung}
\NormalTok{B\_j }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{runif}\NormalTok{(m}\SpecialCharTok{*}\NormalTok{k), }\AttributeTok{nrow =}\NormalTok{ m)}
\NormalTok{R\_j }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\FunctionTok{runif}\NormalTok{(}\DecValTok{0}\NormalTok{,m))}

\CommentTok{\# Iterations}
\ControlFlowTok{for}\NormalTok{(j }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{max\_j)\{}

  \CommentTok{\# E Schritt}
\NormalTok{  X\_hat\_j      }\OtherTok{=} \FunctionTok{t}\NormalTok{(B\_j) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(B\_j }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B\_j) }\SpecialCharTok{+}\NormalTok{ R) }\SpecialCharTok{\%*\%}\NormalTok{ Y}
\NormalTok{  Sigma\_hat\_j  }\OtherTok{=} \FunctionTok{diag}\NormalTok{(k) }\SpecialCharTok{{-}}\NormalTok{ (}\FunctionTok{t}\NormalTok{(B\_j) }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(B\_j }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B\_j) }\SpecialCharTok{+}\NormalTok{ R) }\SpecialCharTok{\%*\%}\NormalTok{ B\_j)}

  \CommentTok{\# M Schritt}
\NormalTok{  yxT }\OtherTok{=}\NormalTok{ Y }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(X\_hat\_j)}
\NormalTok{  xxT }\OtherTok{=}\NormalTok{ X\_hat\_j }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(X\_hat\_j)}
\NormalTok{  yyT }\OtherTok{=}\NormalTok{ Y }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(Y)}
\NormalTok{  B\_j }\OtherTok{=}\NormalTok{ yxT }\SpecialCharTok{\%*\%} \FunctionTok{inv}\NormalTok{(xxT }\SpecialCharTok{+}\NormalTok{ Sigma\_hat\_j)}
\NormalTok{  R\_j }\OtherTok{=}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n) }\SpecialCharTok{*} \FunctionTok{diag}\NormalTok{(}\FunctionTok{diag}\NormalTok{((yyT }\SpecialCharTok{{-}}\NormalTok{ (yxT }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B\_j)))))}
\NormalTok{\}}
\FunctionTok{print}\NormalTok{(yyT)}
\FunctionTok{print}\NormalTok{(Y }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(Y))}
\CommentTok{\# Parameterschätzer}
\NormalTok{B\_hat\_em }\OtherTok{=}\NormalTok{ B\_j}
\NormalTok{R\_hat\_em }\OtherTok{=}\NormalTok{ R\_j}

\CommentTok{\# Parametschätzer{-}basierte Kovarianz und Korrelationsmatrix}
\NormalTok{Sigma\_hat\_y\_em  }\OtherTok{=}\NormalTok{ B\_hat\_em }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B\_hat\_em) }\SpecialCharTok{+}\NormalTok{ R\_hat\_em}
\NormalTok{D\_hat\_y\_em      }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\FunctionTok{sqrt}\NormalTok{(}\FunctionTok{diag}\NormalTok{(Sigma\_hat\_y\_em)))}
\NormalTok{rho\_hat\_y\_em    }\OtherTok{=}\NormalTok{ D\_hat\_y\_em }\SpecialCharTok{\%*\%}\NormalTok{ Sigma\_hat\_y\_em }\SpecialCharTok{\%*\%}\NormalTok{ D\_hat\_y\_em}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-13}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

EM Algorithmus-basierte Parameterschätzer

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_B_hat_R_hat_em} \end{center}
\end{frame}

\begin{frame}{Faktorenanalyse}
\protect\hypertarget{faktorenanalyse-14}{}
\textcolor{darkblue}{Simulationsbeispiel}

\small

EM Algorithmus basierte marginale Kovarianmatrix und Korrelationsmatrix

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_simulation_Sigma_hat_y_rho_hat_y_em} \end{center}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-6}{}
\large
\setstretch{2}
\vfill

Grundlagen

Inferenz und Lernen

Faktorenanalyse

\textbf{Hauptkomponentenanalyse Revisited}

Selbstkontrollfragen

Appendix
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited}{}
\small
\begin{definition}[Modell der probabilistischen Hauptkomponentenanalyse]
Es sei
\begin{equation}
p_\theta(x,y) = N(y; Bx, R)N(x; 0_k, I_k)
\end{equation}
ein LNM mit der sphärischen Beobachtungsrauschen Kovarianzmatrix
\begin{equation}
R := \sigma^2 I_m.
\end{equation}
Dann heißt $p_\theta(x,y)$ \textit{probabilistisches Hauptkomponentanalysemodell}.
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die Matrix \(B\) bedingt die Beziehung zur klassischen
  Hauptkomponentenanalyse.
\item
  \(\sigma^2\) heißt \emph{globales Rauschlevel}.
\item
  \(B\) and \(\sigma^2\) können durch den EM Algorithmus geschätzt
  werden.
\item
  \(B\) and \(\sigma^2\) können auch durch direkte Maximierung der
  marginalen Likelihood Funktion geschätzt werden.
\end{itemize}
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited-1}{}
\textcolor{darkblue}{Visuelle Intuition zur probabilistischen Hauptkomponentenanalyse}
\vspace{6mm}

\begin{center}\includegraphics[width=1\linewidth]{5_Abbildungen/mvda_5_ppcamodell} \end{center}
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited-2}{}
\small
\begin{theorem}[Parameter der probabilistischen Hauptkomponentnanalyse]
\justifying
\normalfont
Es sei
\begin{equation}
p_\theta(x,y) = N(y; Bx, \sigma^2 I_m)N(x; 0, I_k)
\end{equation}
ein probabilitisches Hauptkomponentenanalysemodell und es sei
\begin{equation}
\mathbb{C}(Y) = Q\Lambda Q^T
\end{equation}
die Orthogonalzerlegung der Kovarianzmatrix des beobachtbaren Zufallsvektors.
Dann kann der Parameter $B$ des probabilistischen Hauptkomponentnanalysemodells
geschrieben werden als
\begin{equation}
B = Q\left(\Lambda - \sigma^2I_m\right)^{1/2}.
\end{equation}
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir haben \(\mathbb{C}(Y) = Q\Lambda Q^T\) Hauptkomponentenanalyse von
  \(\mathbb{C}(Y)\) genannt.
\item
  \(Q\) besteht aus den Eigenvektoren von \(\mathbb{C}(y)\), \(\Lambda\)
  aus den assoziierten Eigenwerten.
\item
  Wir haben die Eigenvektoren von \(\mathbb{C}(Y)\) die Hauptkomponenten
  von \(\mathbb{C}(Y)\) genannt.
\item
  Die Spalten von \(B\) sind die Hauptkomponenten gewichtet mit
  \((\Lambda - \sigma^2I_m)^{1/2}\).
\end{itemize}
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited-3}{}
\footnotesize

\underline{Beweis}

Wir halten zunächst fest, dass die marginale Datenverteilung eines
probabilistischen Hauptkomponentenanalysemodells gegeben ist durch
\begin{equation}
p_\theta(y) = N(y;0_m, BB^T + \sigma^2 I_m)
\mbox{ and thus }
\mathbb{C}(Y) =  BB^T + \sigma^2 I_m.
\end{equation} Einsetzen von \(B = Q(\Lambda - \sigma^2I_m)^{1/2}\)
ergibt dann \begin{align}
\begin{split}
\mathbb{C}(Y)
& =
BB^T
+ \sigma^2 I_m
\\
& = Q(\Lambda - \sigma^2I_m)^{1/2}(Q(\Lambda - \sigma^2I_m)^{1/2})^T + \sigma^2 I_m
\\
& = Q(\Lambda - \sigma^2I_m)^{1/2}((\Lambda - \sigma^2I_m)^{1/2})^TQ^T + \sigma^2 I_m \\
& = Q(\Lambda - \sigma^2I_m)^{1/2}(\Lambda - \sigma^2I_m)^{1/2}Q^T + \sigma^2 I_m \\
& = Q(\Lambda - \sigma^2I_m)Q^T + \sigma^2 I_m \\
& = (Q\Lambda - \sigma^2QI_m)Q^T + \sigma^2 I_m \\
& = Q\Lambda Q^T - \sigma^2QQ^T + \sigma^2 I_m \\
& = Q\Lambda Q^T - \sigma^2 I_m + \sigma^2 I_m \\
& = Q\Lambda Q^T.
\end{split}
\end{align} Also ergibt sich die Äquivalenz \begin{equation}
\mathbb{C}(y) = Q\Lambda Q^T
\Leftrightarrow
B = Q(\Lambda - \sigma^2I_m)^{\frac{1}{2}}.
\end{equation}
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited-4}{}
\footnotesize
\begin{theorem}[Direkte Marginal-Maximum Likelihood Schätzung]
\normalfont
\justifying
Es sei
\begin{equation}
p_\theta(x,y) = N(y;Bx,\sigma^2 I_m)N(x;0,I_k)
\end{equation}
ein probabilistisches Hauptkomponentenanalyse model und $Y \in \mathbb{R}^{m \times n}$
sei ein von diesem Modell generierter Datensatz. Weiterhin sei
\begin{equation}
C = \frac{1}{n}YY^T
\mbox{ und }
C = Q \Lambda Q^T
\end{equation}
die unkorrigierte Stichprobenkovarianzmatrix und ihre Orhtogonazerlegung, respektive.
Schließlich seien $Q_q \in \mathbb{R}^{m \times q}$ und $\Lambda_q \in \mathbb{R}^{q \times q}$
die Matrizen die durch die spaltenweise Konkatenation der höchsten Eigenwerte und
ihrer assoziierten Eigenvektoren entstehen. Dann sind Maximum Marginal Likelihood
Schätzer von $B$ und $\sigma^{2}$ durch
\begin{equation}
\hat{B} = Q_q(\Lambda_q - \sigma^2 I_m)^{1/2}
\mbox{ and }
\hat{\sigma}^2 = \frac{1}{m - l} \sum_{j = l + 1}^m \lambda_j,
\end{equation}
gegeben.
\end{theorem}

Siehe Appendix für einen Beweis.
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited-5}{}
\small
\begin{definition}[Modell der Hauptkomponentenanalyse]
Es sei
\begin{equation}
p_\theta(x,y) = N(y; Bx, R)N(x; 0, I_k)
\end{equation}
ein LNM mit der Beobachtungsrauschenkovarianzmatrix
\begin{equation}
R := \lim_{\sigma^2  \to 0} \sigma^2  I_m \in \mathbb{R}^{m\times m}.
\end{equation}
Dann heißt $p_\theta(x,y)$ \textit{Modell der Hauptkomponentenanalyse}.
\end{definition}

Bemerkungen

\begin{itemize}
\item $B$ enkodiert die Beziehung zur klassischen Hauptkomponentenanalyse.
\item Das Beobachtungsrauschen wird als nicht-existent angenommen.
\end{itemize}
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited-6}{}
\textcolor{darkblue}{Visuelle Intuition zur Hauptkomponentenanalyse}
\vspace{6mm}

\begin{center}\includegraphics[width=1\linewidth]{5_Abbildungen/mvda_5_pcamodell} \end{center}
\end{frame}

\begin{frame}{Hauptkomponentenanalyse Revisited}
\protect\hypertarget{hauptkomponentenanalyse-revisited-7}{}
\small
\begin{theorem}[Parameter der Hauptkomponentenanalyse]
\justifying
\normalfont
Es sei
\begin{equation}
p_\theta(x,y) = N\left(y; Bx, \lim_{\sigma^2  \to 0} \sigma^2 I_m\right)N(x; 0_k, I_k)
\end{equation}
ein Hauptkomponentenanalysemodell und es sei
\begin{equation}
\mathbb{C}(Y) = Q^T \Lambda Q
\end{equation}
die Hauptkomponentenanalyse der zugehörigen marginalen Datenverteilung. Dann gilt
\begin{equation}
B = Q\Lambda^{\frac{1}{2}}.
\end{equation}
\end{theorem}

\footnotesize

\underline{Beweis}

Wir halten zunächst fest, dass die marginale Datenverteilung des
Hauptkomponentenanalysemodells im Limit \(\sigma^2 \to 0\) gegeben ist
durch \begin{equation}
p_\theta(y) = N(y;0_m, BB^T)
\mbox{ and thus }
\mathbb{C}(y) = BB^T.
\end{equation} Es ergibt sich also \begin{equation}
\mathbb{C}(y) = BB^T \Leftrightarrow Q\Lambda Q^T = BB^T \Leftrightarrow B = Q \Lambda^{\frac{1}{2}}.
\end{equation} \(\hfill \Box\)
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-7}{}
\large
\setstretch{2}
\vfill

Grundlagen

Inferenz und Lernen

Faktorenanalyse

Hauptkomponentenanalyse Revisited

\textbf{Anwendungsbeispiel}

Selbstkontrollfragen

Appendix \vfill
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel}{}
\textcolor{darkblue}{Nine mental ability tests | Intelligenzforschungsdatensatz}

Holzinger and Swineford (1939)

\small

Visualization

\begin{enumerate}
\tightlist
\item
  Visual Perception
\item
  Cubes
\item
  Lozenges
\end{enumerate}

Verbal intelligence

\begin{enumerate}
\setcounter{enumi}{3}
\tightlist
\item
  Paragraph Comprehension
\item
  Sentence Completion
\item
  Word Meaning
\end{enumerate}

Speed

\begin{enumerate}
\setcounter{enumi}{6}
\tightlist
\item
  Addition
\item
  Counting dots
\item
  Straight-Curved Capitals
\end{enumerate}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-1}{}
\textcolor{darkblue}{Beobachteter Datensatz (n = 301)} \small

301 Proband:innen \textbar{} 11 - 16 Jahre

Probandin:innen 1 - 10

\footnotesize

\begin{longtable}[]{@{}
  >{\raggedright\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.2188}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}
  >{\raggedleft\arraybackslash}p{(\columnwidth - 20\tabcolsep) * \real{0.0781}}@{}}
\toprule()
\begin{minipage}[b]{\linewidth}\raggedright
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
1
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
2
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
3
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
4
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
5
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
6
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
7
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
8
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
9
\end{minipage} & \begin{minipage}[b]{\linewidth}\raggedleft
10
\end{minipage} \\
\midrule()
\endhead
Perception & 3.33 & 5.33 & 4.50 & 5.33 & 4.83 & 5.33 & 2.83 & 5.67 &
4.50 & 3.50 \\
Cubes & 7.75 & 5.25 & 5.25 & 7.75 & 4.75 & 5.00 & 6.00 & 6.25 & 5.75 &
5.25 \\
Lozenges & 0.38 & 2.12 & 1.88 & 3.00 & 0.88 & 2.25 & 1.00 & 1.88 & 1.50
& 0.75 \\
Comprehension & 2.33 & 1.67 & 1.00 & 2.67 & 2.67 & 1.00 & 3.33 & 3.67 &
2.67 & 2.67 \\
Completion & 5.75 & 3.00 & 1.75 & 4.50 & 4.00 & 3.00 & 6.00 & 4.25 &
5.75 & 5.00 \\
Word Meaning & 1.29 & 1.29 & 0.43 & 2.43 & 2.57 & 0.86 & 2.86 & 1.29 &
2.71 & 2.57 \\
Addition & 3.39 & 3.78 & 3.26 & 3.00 & 3.70 & 4.35 & 4.70 & 3.39 & 4.52
& 4.13 \\
Counting & 5.75 & 6.25 & 3.90 & 5.30 & 6.30 & 6.65 & 6.20 & 5.15 & 4.65
& 4.55 \\
Capitals & 6.36 & 7.92 & 4.42 & 4.86 & 5.92 & 7.50 & 4.86 & 3.67 & 7.36
& 4.36 \\
\bottomrule()
\end{longtable}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-2}{}
\textcolor{darkblue}{Beobachteter Datensatz (n = 301)}

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_anwendung_Y} \end{center}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-3}{}
\textcolor{darkblue}{Stichprobenkovarianzmatrix und Stichprobenkorrelationsmatrix}

\begin{center}\includegraphics[width=0.9\linewidth]{5_Abbildungen/mvda_5_anwendung_S_y_R_y} \end{center}
\end{frame}

\begin{frame}[fragile]{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-4}{}
\textcolor{darkblue}{Modellschätzung} \small

Die Art der Tests motiviert ein 3-Faktor-Modell mit Faktoren

\begin{itemize}
\tightlist
\item
  Visualisierungsvermögen
\item
  Verbale Intelligenz
\item
  Schnelligkeit
\end{itemize}

\vspace{2mm}
\footnotesize

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Lawley \& Maxwell (1971) Schätzverfahren für Faktorenanalyse}
\NormalTok{fa              }\OtherTok{=} \FunctionTok{factanal}\NormalTok{(}\FunctionTok{t}\NormalTok{(Y), }\AttributeTok{factors =} \DecValTok{3}\NormalTok{, }\AttributeTok{rotation =} \StringTok{"none"}\NormalTok{)  }\CommentTok{\# Parameterschätzung}
\NormalTok{B\_hat\_fa        }\OtherTok{=}\NormalTok{ fa}\SpecialCharTok{$}\NormalTok{loadings[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{9}\NormalTok{,}\DecValTok{1}\SpecialCharTok{:}\DecValTok{3}\NormalTok{]                            }\CommentTok{\# \textbackslash{}hat\{B\}}
\NormalTok{R\_hat\_fa        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(fa}\SpecialCharTok{$}\NormalTok{uniquenesses)                           }\CommentTok{\# \textbackslash{}hat\{R\}}

\CommentTok{\# Parametschätzer{-}basierte Kovarianz und Korrelationsmatrix}
\NormalTok{Sigma\_hat\_y\_fa  }\OtherTok{=}\NormalTok{ B\_hat\_fa }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B\_hat\_fa) }\SpecialCharTok{+}\NormalTok{ R\_hat\_fa}
\NormalTok{D\_hat\_y\_fa      }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\FunctionTok{sqrt}\NormalTok{(}\FunctionTok{diag}\NormalTok{(Sigma\_hat\_y\_fa)))}
\NormalTok{rho\_hat\_y\_fa    }\OtherTok{=}\NormalTok{ D\_hat\_y\_fa }\SpecialCharTok{\%*\%}\NormalTok{ Sigma\_hat\_y\_fa }\SpecialCharTok{\%*\%}\NormalTok{ D\_hat\_y\_fa}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-5}{}
\textcolor{darkblue}{Modellschätzung}

\begin{center}\includegraphics[width=0.8\linewidth]{5_Abbildungen/mvda_5_anwendung_B_hat_R_hat_fa} \end{center}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-6}{}
\textcolor{darkblue}{Marginale Kovarianmatrix und Korrelationsmatrix}

\begin{center}\includegraphics[width=0.9\linewidth]{5_Abbildungen/mvda_5_anwendung_Sigma_hat_y_rho_hat_y_fa} \end{center}

\normalsize
\begin{center}
$\Rightarrow$ Modellierung des Datensatzes mit einem 3-Faktor Modell ist möglich.
\end{center}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-7}{}
\textcolor{darkblue}{Modellvergleich | Welche Anzahl von Faktoren zwischen 1 und 5 ist am besten?}

\small

Bayesian Information Criterion (cf. Horvath et al. (2021), Schwarz
(1978)) \normalsize \begin{equation}
\mbox{BIC} := \ln p_{\hat{\theta}}(Y) - \frac{l}{2} \ln n
\end{equation}

\(\ln p_{\hat{\theta}}(Y)\)

\small

\begin{itemize}
\tightlist
\item
  Logarithmierte marginale Datenwahrscheinlichkeit(sdichte) bei
  optimierten Parametern
\item
  Maß für die Passungsgüte des Modells
\end{itemize}

\normalsize

\(\frac{l}{2} \ln n\)

\small

\begin{itemize}
\tightlist
\item
  Stichprobengröße gewichtete Anzahl an Parametern \(l\)
\item
  Maß für die Komplexität des Modells
\end{itemize}

\normalsize

\begin{equation}
\mbox{BIC} = \mbox{Passungsgüte} - \mbox{Komplexität}
\end{equation}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-8}{}
\textcolor{darkblue}{Modellvergleich | Welche Anzahl von Faktoren zwischen 1 und 5 ist am besten?}

\vfill
\small
\begin{theorem}[BIC für Faktorenanalysemodelle]
\normalfont
\justifying
$p_\theta(X,Y)$ sei die WDF der gemeinsamen Verteilung eines Faktorenanalysemodelldatensatzes
mit $X \in \mathbb{R}^{k \times n}$ und $Y \in \mathbb{R}^{m \times n}$.  Weiterhin 
seien $\hat{\theta} := \{\hat{B},\hat{R}\}$ (marginale) Maximum Likelihood Schätzer 
von $\theta := \{B,R\}$ und es sei
\begin{equation}
\hat{\Sigma} := \hat{B}\hat{B}^T + \hat{R}.
\end{equation}
Dann ergibt sich das Bayesian Information Criterion zu  
\begin{equation}
\mbox{BIC} =  -\frac{nm}{2}\ln 2\pi - \frac{n}{2} \ln |\hat{\Sigma}| - \frac{1}{2} \mbox{tr}\left(\hat{\Sigma}^{-1}YY^T\right)  - \frac{mk + m}{2}\ln n
\end{equation}
\end{theorem}
\vfill
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-9}{}
\textcolor{darkblue}{Modellvergleich | Welche Anzahl von Faktoren zwischen 1 und 5 ist am besten?}
\footnotesize

\setstretch{1}

\underline{Beweis}

Nach Definition der Verteilung von LNM Datensätzen gilt \begin{equation}
p_{\hat{\theta}}(Y) = \prod_{i=1}^n N\left(y^{(i)}; 0_m, \hat{B}\hat{B}^T + \hat{R} \right).
\end{equation} Die Anzahl der Parameter eines Faktorenanalysemodells
ergibt sich als \(l = mk + m\), wobei \(mk\) die Anzahl der Einträge in
\(B\) und \(m\) die Anzahl der Einträge in \(R\) sind. Mit der
Eigenschaft \begin{equation}
x^T Ax = \mbox{tr}(Axx^T) 
\end{equation} der Matrix Spur \begin{equation}
\mbox{tr}(A) := \sum_{i=1}^n a_ii \mbox{ für } A := (a_{ij})_{1\le i,j\le n} \in \mathbb{R}^{n \times n}
\end{equation} und der Definition von \begin{equation}
\hat{\Sigma} := \hat{B}\hat{B}^T + \hat{R}
\end{equation} ergibt sich dann \begin{align}
\begin{split}
\mbox{BIC} = \ln p_{\hat{\theta}}(Y) - \frac{l}{2} \ln n = \ln \left(\prod_{i=1}^n N\left(y^{(i)}; 0_m, \hat{\Sigma} \right) \right) - \frac{mk + m}{2}\ln n
\end{split}
\end{align}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-10}{}
\textcolor{darkblue}{Modellvergleich | Welche Anzahl von Faktoren zwischen 1 und 5 ist am besten?}
\footnotesize \vspace{1mm} \underline{Beweis (fortgeführt)}

Es ergibt sich also \setstretch{.9} \vspace{-2mm} \tiny \begin{align}
\begin{split}
\mbox{BIC}
& = \sum_{i=1}^n \ln N\left(y^{(i)}; 0_m, \hat{\Sigma}  \right)  - \frac{mk + m}{2}\ln n \\
& = \sum_{i=1}^n \ln \left((2\pi)^{-\frac{m}{2}} |\hat{\Sigma}|^{-\frac{1}{2}} \exp\left(-\frac{1}{2}y^{(i)^T}\Sigma^{-1}y^{(i)} \right) \right)  - \frac{mk + m}{2}\ln n \\
& = \sum_{i=1}^n \left( -\frac{m}{2}\ln 2\pi - \frac{1}{2} \ln |\hat{\Sigma}| -\frac{1}{2}y^{(i)^T}\Sigma^{-1}y^{(i)}\right) - \frac{mk + m}{2}\ln n \\
& = -\frac{nm}{2}\ln 2\pi - \frac{n}{2} \ln |\hat{\Sigma}| - \frac{1}{2} \sum_{i=1}^n y^{(i)^T}\Sigma^{-1}y^{(i)}  - \frac{mk + m}{2}\ln n \\
& = -\frac{nm}{2}\ln 2\pi - \frac{n}{2} \ln |\hat{\Sigma}| - \frac{1}{2} \mbox{tr}\left(\Sigma^{-1}\sum_{i=1}^n y^{(i)}y^{{(i)}^T}\right)  - \frac{mk + m}{2}\ln n \\
& = -\frac{nm}{2}\ln 2\pi - \frac{n}{2} \ln |\hat{\Sigma}| - \frac{1}{2} \mbox{tr}\left(\hat{\Sigma}^{-1}YY^T\right)  - \frac{mk + m}{2}\ln n \\
\end{split}
\end{align}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-11}{}
\textcolor{darkblue}{Modellvergleich | Welche Anzahl von Faktoren zwischen 1 und 5 ist am besten?}

\small

Simulationsbasierte Validierung des BIC bei \(k = 3, n = 301\) und
\(R := uI_m\) mit \(u > 0\).

\vspace{5mm}
\footnotesize
\setstretch{.9}

\begin{center}\includegraphics[width=1\linewidth]{5_Abbildungen/mvda_5_bic_simulation} \end{center}

\begin{center}
$\Rightarrow$ BIC erlaubt Model Recovery in Szenarien mit niedrigem bis mittlerem Beobachtungsrauschen.
\end{center}
\end{frame}

\begin{frame}[fragile]{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-12}{}
\textcolor{darkblue}{Modellvergleich | Welche Anzahl von Faktoren zwischen 1 und 5 ist am besten?}

\small

BIC Modellevaluation \vspace{1mm}

\footnotesize
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Datensatz}
\FunctionTok{library}\NormalTok{(lavaan)                                      }\CommentTok{\# Lavaan SEM Paket}
\FunctionTok{data}\NormalTok{(HolzingerSwineford1939)                         }\CommentTok{\# Datensatz}
\NormalTok{Y             }\OtherTok{=} \FunctionTok{t}\NormalTok{(HolzingerSwineford1939[,}\DecValTok{7}\SpecialCharTok{:}\DecValTok{15}\NormalTok{])     }\CommentTok{\# Datenmatrix}
\NormalTok{m             }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(Y)                              }\CommentTok{\# Anzahl Tests/Variablen}
\NormalTok{n             }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(Y)                              }\CommentTok{\# Anzahl Proband:innen}
\NormalTok{max\_k         }\OtherTok{=} \DecValTok{5}                                    \CommentTok{\# Maximale Faktorenanzahl}
\NormalTok{BIC           }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{,max\_k)                       }\CommentTok{\# BIC}

\CommentTok{\# Modell Iterationen}
\ControlFlowTok{for}\NormalTok{(k }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{max\_k)\{}
  
  \CommentTok{\# Modellformulierung und Modellschätzung }
\NormalTok{  fa        }\OtherTok{=} \FunctionTok{factanal}\NormalTok{(}\FunctionTok{t}\NormalTok{(Y), }\AttributeTok{factors =}\NormalTok{ k, }\AttributeTok{rotation =} \StringTok{"none"}\NormalTok{)}
\NormalTok{  B\_hat     }\OtherTok{=}\NormalTok{ fa}\SpecialCharTok{$}\NormalTok{loadings[,}\DecValTok{1}\SpecialCharTok{:}\NormalTok{k]}
\NormalTok{  R\_hat     }\OtherTok{=} \FunctionTok{diag}\NormalTok{(fa}\SpecialCharTok{$}\NormalTok{uniquenesses)}
  
  \CommentTok{\# Modellschätzer}
\NormalTok{  Sigma\_hat }\OtherTok{=}\NormalTok{ B\_hat }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(B\_hat) }\SpecialCharTok{+}\NormalTok{ R\_hat}
  
  \CommentTok{\# Modellevaluation}
\NormalTok{  BIC[k]     }\OtherTok{=}\NormalTok{ (}\SpecialCharTok{{-}}\NormalTok{((n}\SpecialCharTok{*}\NormalTok{m)}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\FunctionTok{log}\NormalTok{(}\DecValTok{2}\SpecialCharTok{*}\NormalTok{pi)}
               \SpecialCharTok{{-}}\NormalTok{(n}\SpecialCharTok{/}\DecValTok{2}\SpecialCharTok{*}\FunctionTok{log}\NormalTok{(}\FunctionTok{det}\NormalTok{(Sigma\_hat)))}
               \SpecialCharTok{{-}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\FunctionTok{sum}\NormalTok{(}\FunctionTok{diag}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_hat)}\SpecialCharTok{\%*\%}\NormalTok{Y}\SpecialCharTok{\%*\%}\FunctionTok{t}\NormalTok{(Y)))}
               \SpecialCharTok{{-}}\NormalTok{(((m}\SpecialCharTok{*}\NormalTok{k)}\SpecialCharTok{+}\NormalTok{m)}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\FunctionTok{log}\NormalTok{(n))}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Anwendungsbeispiel}
\protect\hypertarget{anwendungsbeispiel-13}{}
\textcolor{darkblue}{Modellvergleich | Welche Anzahl von Faktoren zwischen 1 und 5 ist am besten?}

\small

BIC Modellevaluation \vspace{3mm}

\begin{center}\includegraphics[width=0.5\linewidth]{5_Abbildungen/mvda_5_bic_anwendung} \end{center}
\begin{center}
$\Rightarrow$ Das BIC Modellvergleichskriterium legt ein Modell mit 2 Faktoren nahe.
\end{center}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-8}{}
\large
\setstretch{2}
\vfill

Grundlagen

Inferenz und Lernen

Faktorenanalyse

Hauptkomponentenanalyse Revisited

Anwendungsbeispiel

\textbf{Selbstkontrollfragen}

Appendix \vfill
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen}{}
\footnotesize
\begin{enumerate}
\item Definieren Sie den Begriff des Linearen Normalverteilungsmodells (LNMs).
\item Erläutern Sie die hierarchische Form eines LNMs.
\item Geben Sie das Theorem zur LNM Datenverteilung wieder.
\item Was modellieren/erklären LNMs?
\item Definieren Sie die WDFen der gemeinsamen und marginalen Datenverteilungen eines LNM Datensatzes.
\item Erläutern Sie die Fragestellungen der Inferenz und des Lernens bei der Schätzung von LNMen.
\item Geben Sie das Theorem zum Exakten Expectation-Maximization Algorithmus wieder.
\item Erläutern Sie das Theorem zum Exakten Expectation-Maximization Algorithmus.
\item Geben Sie die Definition eines Faktorenanalysemodells wieder.
\item Erläutern Sie das Verhältnis von Datenkomponentenkovarianzen und -varianzen im Faktorenanalysemodell.
\item Geben Sie die Definition eines Hauptkomponentenanalysemodells wieder.
\item Geben Sie das Theorem zum Parameter des Hauptkomponentenanalysemodells wieder.
\item Erläutern Sie den Zusammenhang von modell-freier PCA (Einheit (4)) und modell-basierter PCA  (Einheit (5)).
\item Definieren Sie das Bayesian Information Criterion (BIC).
\item Erläutern Sie die Intuition zum BIC im Kontext von Modellvergleichen.
\end{enumerate}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-9}{}
\large
\setstretch{2}
\vfill

Grundlagen

Inferenz und Lernen

Faktorenanalyse

Hauptkomponentenanalyse Revisited

Selbstkontrollfragen

\textbf{Appendix} \vfill
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix}{}
\footnotesize
\setstretch{1}
\begin{theorem}[Jensen's inequality]
\justifying
\normalfont
Let $x$ be a random variable and $g$ be a convex function, i.e.
\begin{equation}
g(\lambda x_1 + (1-\lambda)x_2) \le \lambda g(x_1) + (1-\lambda)g(x_2).
\end{equation}
Then
\begin{equation}
\mathbb{E}(g(x)) \ge g(\mathbb{E}(x)).
\end{equation}
Conversely, let $g$ be a concave function, i.e.
\begin{equation}
g(\lambda x_1 + (1-\lambda)x_2) \ge \lambda g(x_1) + (1-\lambda)g(x_2).
\end{equation}
Then
\begin{equation}
\mathbb{E}(g(x)) \le g(\mathbb{E}(x)).
\end{equation}
\end{theorem}

\underline{Proof}

By adapting the proof of Theorem 4.7.8 in Casella and Berger (2012) , we
show the inequality for the concave case. Let \(f\) be a tangent line at
the point \(g(\mathbb{E}(x))\), i.e.~is a linear-affine function of the
form \(f(x) := ax + b\) for some \(a,b\in \mathbb{R}\) with
\(f(\mathbb{E}(x)) = g(\mathbb{E}(x))\). Because \(g\) is concave, we
have \(g(x) \le ax + b\) for all \(x \in \mathbb{R}\) and thus als
\(g(x) \le ax + b\). Hence, \begin{equation}
\mathbb{E}(g(x)) \le \mathbb{E}(ax + b) = a\mathbb{E}(x) + b = f(\mathbb{E}(x)) = g(\mathbb{E}(x)).
\end{equation}

Remarks

\begin{itemize}
\item For convex $g$ the function's graph lies below the straight line $g(x_1)$ to $g(x_2)$.
\item For concave $g$ the function's graph lies above the straight line $g(x_1)$ to $g(x_2)$.
\item The logarithm is a concave function, hence $\mathbb{E}(\ln x) \le \ln \mathbb{E}(x)$.
\end{itemize}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-1}{}
\footnotesize

\textbf{\underline{Beweis des Theorems zum exakten EM Algorithmus eines Faktorenanalysemodells}}
\setstretch{1.2}

The E Step of the algorithm follows directly with the LGM data set
inference theorem. We thus focus on the derivation of the M Step. To
this end, recall that the M Step of the exact EM algorithm takes the
form \begin{equation}
\theta^{(j)} := \argmax_{\theta} \int p_{\theta^{(j-1)}}(X|Y) \ln p_\theta(X,Y) \,dX
\end{equation} For LGMs, the maximization of the expected joint
likelihood with respect to \(\theta\) can be carried out analytically
and in the sense of the necessary condition for a maximum.

To ease notation, we will write \(\tilde{\theta} := \theta^{(j-1)}\) in
the following and denote the expectation of a function \(f\) of the
unobserved data \(X\) under the conditional distribution
\(p_{\tilde{\theta}}(X|Y)\) as a conditional expectation:
\begin{equation}
\mathbb{E}_{\tilde{\theta}}(f(X)|Y)
:= \mathbb{E}_{p_{\tilde{\theta}}(X|Y)}(f(X))
= \int f(X)\,p_{\tilde{\theta}}(X|Y)\,dX.
\end{equation}

\setstretch{0.5}

With these simplifications, we thus aim to evaluate \begin{equation}
\frac{\partial}{\partial B} \mathbb{E}_{p_{\tilde{\theta}}(X|Y)}\left(\ln p_\theta(X,Y)\right)
\mbox{ and }
\frac{\partial}{\partial R} \mathbb{E}_{p_{\tilde{\theta}}(X|Y)}\left(\ln p_\theta(X,Y)\right),
\end{equation} \noindent set the results to zero, and solve for update
equations for \(B^{(j)}\) and \(R^{(j)}\).

We proceed in four steps. (1) We first use the IID data assumption and
the linearity of conditional expectations and derivatives to simplify
the problem of evaluating the expected data set joint likelihood and its
partial derivatives for a single data point \((x^{(i)}, y^{(i)})\). We
then (2) evaluate the conditional expectation and (3) evaluate the
respective partial derivatives. By capitalizing on the results form the
first step, we then (4) evaluate and simplify the ensuing parameter
update equations.
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-2}{}
\setstretch{1}
\footnotesize

\noindent (1) Expected joint likelihood partial derivatives under IID
data assumptions \tiny \begin{align}
\begin{split}
\frac{\partial}{\partial B} \mathbb{E}_{p_{\tilde{\theta}}(X|Y)}\left(\ln p_\theta(X,Y)\right)
& =
\frac{\partial}{\partial B}
\left(
\mathbb{E}_{p_{\tilde{\theta}}(X|Y)}
\left(\ln \prod_{i=1}^n p_\theta\left(x^{(i)},y^{(i)}\right)\right)
\right) \\
& =
\frac{\partial}{\partial B}
\left(
\mathbb{E}_{p_{\tilde{\theta}}(X|Y)}\left(\sum_{i=1}^n \ln p_\theta\left(x^{(i)},y^{(i)}\right)\right)
\right) \\
& =
\frac{\partial}{\partial B}
\sum_{i=1}^n \mathbb{E}_{\prod_{i=1}^n p_{\tilde{\theta}}\left(x^{(i)},y^{(i)}\right)}
\left(\ln p_\theta\left(x^{(i)},y^{(i)}\right)\right)
\\
& =
\frac{\partial}{\partial B}
\sum_{i=1}^n \mathbb{E}_{p_{\tilde{\theta}}\left(x^{(i)},y^{(i)}\right)}
\left(\ln p_\theta\left(x^{(i)},y^{(i)}\right)\right) \\
& =
\sum_{i=1}^n
\frac{\partial}{\partial B}
\mathbb{E}_{p_{\tilde{\theta}}\left(x^{(i)},y^{(i)}\right)}
\left(\ln p_\theta\left(x^{(i)},y^{(i)}\right)\right),
\end{split}
\end{align} \begin{equation}
\frac{\partial}{\partial R} \mathbb{E}_{p_{\tilde{\theta}}(X|Y)}\left(\ln p_\theta(X,Y)\right)
= \sum_{i=1}^n
\frac{\partial}{\partial R}
\mathbb{E}_{p_{\tilde{\theta}}\left(x^{(i)},y^{(i)}\right)}
\left(\ln p_\theta\left(x^{(i)},y^{(i)}\right)\right).
\end{equation}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-3}{}
\setstretch{1}
\footnotesize

\noindent (2) Expected joint likelihood for a single data point

For ease of notation, we omit the \((i)\) superscript indexing the data
realizations in this step. \vspace{-2mm}

\begin{tiny}
\begin{align*}
\begin{split}
& \mathbb{E}_{p_{\tilde{\theta}}(x|y)}\left(\ln p_\theta(x,y)\right)        \\
& = \mathbb{E}_{\tilde{\theta}}\left(\ln p_\theta(x,y)| y \right)                   \\
& = \mathbb{E}_{\tilde{\theta}}\left(\ln\left(N(y;Bx,R)N(x;0,I_k)\right)|y \right)  \\
& = \mathbb{E}_{\tilde{\theta}}\left( \ln N(y;Bx,R) + \ln N(x;0,I_k)|y \right)      \\
& =
\mathbb{E}\left(
\ln \left((2\pi)^{-\frac{m}{2}}|R  |^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(y - Bx)^T R^{-1}(y-Bx) \right) \right) +
\ln \left((2\pi)^{-\frac{k}{2}}|I_k|^{-\frac{1}{2}}\exp\left(-\frac{1}{2} x^Tx \right)  \right)
|y\right)
\\
& =
\mathbb{E}_{\tilde{\theta}}\left(
- \frac{m+k}{2} \ln 2\pi - \frac{1}{2} \ln |R|
- \frac{1}{2}\left(y^TR^{-1}y - 2y^TR^{-1}Bx + x^TB^TR^{-1}Bx \right)
- \frac{1}{2} \ln 1 - \frac{1}{2}x^Tx
|y\right)
\\
& =
\mathbb{E}_{\tilde{\theta}}\left(
- \frac{m+k}{2} \ln 2\pi - \frac{1}{2} \ln |R|
- \frac{1}{2}y^TR^{-1}y + y^TR^{-1}Bx -\frac{1}{2} x^TB^TR^{-1}Bx - \frac{1}{2}x^Tx
|y\right)
\\
& =
\mathbb{E}_{\tilde{\theta}}\left(
- \frac{m+k}{2} \ln 2\pi - \frac{1}{2} \ln |R|
- \frac{1}{2}y^TR^{-1}y + y^TR^{-1}Bx -\frac{1}{2} \mbox{tr}\left(B^TR^{-1}Bxx^T\right) - \frac{1}{2}x^Tx
|y\right)
\\
& =
- \frac{m+k}{2} \ln 2\pi
- \frac{1}{2} \ln |R|
- \frac{1}{2}y^TR^{-1}y
+ y^TR^{-1}B\mathbb{E}_{\tilde{\theta}}(x|y)
- \frac{1}{2}\mbox{tr}\left(B^TR^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)\right)
- \frac{1}{2}\mathbb{E}_{\tilde{\theta}}\left(x^Tx|y\right)
\\
\end{split}
\end{align*}
\end{tiny}

where in the 7th equality, we made use of the fact that
\(x^TAx = \mbox{tr}(Axx^T)\) for
\(x \in \mathbb{R}^n, A \in \mathbb{R}^{n \times n}\).
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-4}{}
\footnotesize
\setstretch{1}

\noindent (3) Partial derivatives

To evaluate the partial derivatives of the conditional expected joint
likelihood with respect to the matrices \(B\) and \(R\), we require the
following identities from matrix calculus (z.B. Petersen and Pedersen
(2012)):

\begin{tiny}
\begin{align}
\begin{split}
\frac{\partial}{\partial X}A^TXB = AB^T,
\frac{\partial}{\partial X}\mbox{tr}(XA) = A^T,
\frac{\partial}{\partial X}\mbox{tr}(X^TAXB) = AXB + A^TXB^T,
\frac{\partial}{\partial X}\ln |X|                = \left(X^{-1}\right)^T.
\end{split}
\end{align}
\end{tiny}

We then have

\begin{tiny}
\begin{align}
\begin{split}
\frac{\partial}{\partial B}\mathbb{E}_{p_{\tilde{\theta}}(x|y)}\left(\ln p_\theta(x,y)\right)
& =
\frac{\partial}{\partial B}
\left(
y^TR^{-1}B\mathbb{E}_{\tilde{\theta}}(x|y)
- \frac{1}{2}\mbox{tr}\left(B^TR^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)\right)
\right)
\\
&
= \frac{\partial}{\partial B}\left(y^TR^{-1}B\mathbb{E}_{\tilde{\theta}}(x|y)\right)
- \frac{1}{2}\frac{\partial}{\partial B}\mbox{tr}\left(B^TR^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)\right)
\\
&
= \left(y^TR^{-1}\right)^T\mathbb{E}_{\tilde{\theta}}(x|y)^T
- \frac{1}{2}R^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)
- \frac{1}{2} \left(R^{-1}\right)^TB \mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)^T
\\
&
= R^{-1}y\mathbb{E}_{\tilde{\theta}}(x|y)^T
- \frac{1}{2}R^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)
- \frac{1}{2}R^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)
\\
&
=  R^{-1}y\mathbb{E}_{\tilde{\theta}}(x|y)^T
-  R^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right).
\end{split}
\end{align}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-5}{}
\setstretch{1}
\footnotesize

Similarly, we have

\begin{tiny}
\begin{align*}
\begin{split}
& \frac{\partial}{\partial R^{-1}}
\mathbb{E}_{p_{\tilde{\theta}}(x|y)}\left(\ln p_\theta(x,y)\right) \\
& =
\frac{\partial}{\partial R^{-1}}
\left(
- \frac{1}{2} \ln |R|
- \frac{1}{2}y^TR^{-1}y
+ y^TR^{-1}B\mathbb{E}_{\tilde{\theta}}(x|y)
- \frac{1}{2}\mbox{tr}\left(B^TR^{-1}B\mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)\right)
\right)
\\
& =
- \frac{1}{2} \frac{\partial}{\partial R^{-1}} \ln |R|
- \frac{1}{2} \frac{\partial}{\partial R^{-1}} y^TR^{-1}y
+ \frac{\partial}{\partial R^{-1}} y^TR^{-1}C\mathbb{E}_{\tilde{\theta}}(x|y)
- \frac{1}{2}\frac{\partial}{\partial R^{-1}}\mbox{tr}\left(R^{-1} C \mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)B^T \right) \\
& =
\frac{1}{2} R
- \frac{1}{2} yy^T
+ y\left(B\mathbb{E}_{\tilde{\theta}}(x|y)\right)^T
- \frac{1}{2}\left(B \mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)B^T \right)^T \\
& =
\frac{1}{2} R
- \frac{1}{2} yy^T
+ y \mathbb{E}_{\tilde{\theta}}(x|y)^T B^T
- \frac{1}{2}B \mathbb{E}_{\tilde{\theta}}\left(xx^T|y\right)B^T.
\end{split}
\end{align*}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-6}{}
\setstretch{1}
\footnotesize

\noindent (4) Parameter update equations

Re-substitution then yields for the partial derivative with respect to
\(B\)

\begin{tiny}
\begin{align}
\begin{split}
\frac{\partial}{\partial B} \mathbb{E}_{p_{\tilde{\theta}}(X|Y)}\left(\ln p_\theta(X,Y)\right)
& =
\sum_{i=1}^n
\frac{\partial}{\partial B}
\mathbb{E}_{p_{\tilde{\theta}}\left(x^{(i)},y^{(i)}\right)}
\left(\ln p_\theta\left(x^{(i)},y^{(i)}\right)\right) \\
& =
\sum_{i=1}^n R^{-1}y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T
- R^{-1}B\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{{(i)}^T}|y^{(i)}\right)  \\
& =
R^{-1}\sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T
- R^{-1}B \sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{{(i)}^T}|y^{(i)}\right).
\end{split}
\end{align}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-7}{}
\setstretch{1}
\footnotesize

Setting to zero and solving for \(B^{(j)}\) then yields

\begin{tiny}
\begin{align}
\begin{split}
R^{-1}B^{(j)} \sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{{(i)}^T}|y^{(i)}\right)
& = R^{-1}\sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T.
\\
\Leftrightarrow
B^{(j)}
& = \sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T
\left(\sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{{(i)}^T}|y^{(i)}\right)\right)^{-1}.
\end{split}
\end{align}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-8}{}
\setstretch{1}
\footnotesize

Similarly, re-substitution yields for the partial derivative with
respect to \(R\)

\begin{tiny}
\begin{align}
\begin{split}
& \frac{\partial}{\partial R^{-1}}
\mathbb{E}_{p_{\tilde{\theta}}(X|Y)}\left(\ln p_\theta(X,Y)\right) \\
& = \sum_{i=1}^n
\frac{\partial}{\partial R^{-1}}
\mathbb{E}_{p_{\tilde{\theta}}\left(x^{(i)},y^{(i)}\right)}
\left(\ln p_\theta\left(x^{(i)},y^{(i)}\right)\right)  \\
& = \sum_{i=1}^n
\frac{1}{2} R
- \frac{1}{2} y^{(i)}y^{(i)^T}
+ y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^T
- \frac{1}{2}B \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{(i)^T}|y^{(i)}\right)B^T \\
& =
\frac{n}{2} R
- \frac{1}{2} \sum_{i=1}^n y^{(i)}y^{(i)^T}
+ \sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^T
- \frac{1}{2}B \sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{(i)^T}|y^{(i)}\right)B^T.
\end{split}
\end{align}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-9}{}
\footnotesize

\underline{Beweis (fortgeführt)}

Setting to zero and solving for \(R^{(j)}\) then yields

\begin{tiny}
\begin{align*}
\begin{split}
\frac{n}{2} R^{(j)}
&
= \frac{1}{2} \sum_{i=1}^n y^{(i)}y^{(i)^T}
- \sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^T
+ \frac{1}{2}B \sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{(i)^T}|y^{(i)}\right)B^T \\
R^{(j)}
&
= \frac{1}{n} \sum_{i=1}^n y^{(i)}y^{(i)^T}
- \frac{2}{n}\sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^T
+ \frac{1}{n}B \sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{(i)^T}|y^{(i)}\right)B^T
\end{split}
\end{align*}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-10}{}
\setstretch{1}
\footnotesize

Substitution of the update equation for \(B\) further yields

\begin{tiny}
\begin{align*}
\begin{split}
R^{(j)}
=
&    \frac{1}{n} \sum_{i=1}^n y^{(i)}y^{(i)^T}
  - \frac{2}{n}\sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^{(j)^T} \\
& + \frac{1}{n}\sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T
    \left(\sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{{(i)}^T}|y^{(i)}\right)\right)^{-1}
    \sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{(i)^T}|y^{(i)}\right)B^{(j)^T} \\
=
&
   \frac{1}{n} \left(
    \sum_{i=1}^n y^{(i)}y^{(i)^T}
 - 2\sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^{(j)^T}
 + \sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^{(j)^T}
 \right) \\
=
&
\frac{1}{n}
\left(
\sum_{i=1}^n y^{(i)}y^{(i)^T}
- \sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^{(j)^T}
\right)
\end{split}
\end{align*}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-11}{}
\footnotesize
\setstretch{1}

We thus obtained the parameter update equations

\begin{tiny}
\begin{align*}
\begin{split}
B^{(j)}
& = \sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T
\left(\sum_{i=1}^n \mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{{(i)}^T}|y^{(i)}\right)\right)^{-1} \\
R^{(j)}
& =
\frac{1}{n}
\left(
\sum_{i=1}^n y^{(i)}y^{(i)^T}
- \sum_{i=1}^n y^{(i)}\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)^T B^{(j)^T}
\right)
\end{split}
\end{align*}
\end{tiny}

\noindent The computational forms of these update equations can be
further simplified by noting that with \begin{equation}
\mathbb{E}\left(xx^T|y\right) = \mu_{x|y}\mu_{x|y}^T + \Sigma_{x|y}
\end{equation} and the LGM inference theorem it holds that

\begin{tiny}
\begin{align}
\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}|y^{(i)}\right)
= \hat{x}^{(i)} \mbox{ and }
\mathbb{E}_{\tilde{\theta}}\left(x^{(i)}x^{{(i)}^T}|y^{(i)}\right)
= \hat{x}^{(i)}\hat{x}^{(i)^T} + \hat{\Sigma}^{(i)}.
\end{align}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-12}{}
\setstretch{1}
\footnotesize

We thus obtain

\begin{tiny}
\begin{align*}
\begin{split}
B^{(j)} & = \sum_{i=1}^n y^{(i)}\hat{x}^{(i)^T}\left(\sum_{i=1}^n \hat{x}^{(i)}\hat{x}^{(i)^T} + \hat{\Sigma}^{(i)}\right)^{-1} \\
R^{(j)}
& =
\frac{1}{n}\left(\sum_{i=1}^n y^{(i)}y^{(i)^T} - \sum_{i=1}^n y^{(i)}\hat{x}^{(i)^T} B^{(j)^T}\right).
\end{split}
\end{align*}
\end{tiny}

Finally, enforcing the diagonality constraint on \(R\) can be achieved
by setting

\begin{tiny}
\begin{equation}
R^{(j)}
:= - \frac{1}{n}\mbox{diag}\left(\sum_{i=1}^n y^{(i)}y^{(i)^T} + \sum_{i=1}^n y^{(i)}\hat{x}^{(i)^T} B^{(j)^T}\right)
\end{equation}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-13}{}
\footnotesize
\setstretch{1.2}

\textbf{\underline{Beweis des Theorems zur direkten Maximum Marginal Likelihood Schätzung des probabilistischen PCA Modells}}

We only show that \(\hat{B}\) as defined in the theorem corresponds to
maximum of the log marginal likelihood function. To this end, we closely
follow the respective proof in Tipping and Bishop (1999), and proceed in
three steps: (1) We first rewrite the marginal data set log likelihood
function of the PPCA model in a suitable manner. (2) We then evaluate
its gradient with respect to \(B\) and (3) finally evaluate the
resulting maximum marginal likelihood estimator.

\noindent (1) Log likelihood function

We first rewrite the marginal data set log likelihood function of the
PPCA model \begin{equation}
\ell : \Theta \to \mathbb{R}, \theta \mapsto \ell(\theta)
:= \ln p_\theta(Y) = \sum_{i=1}^n  \ln N\left(y^{(i)}; 0_m, BB^T + \sigma^2 I_m \right)
\end{equation} with \(\theta := \{B, \sigma^2\}\) in a way more amenable
to direct maximization.

With the definitions of \begin{equation}
\Sigma := BB^T + \sigma^2 I_m \mbox{ and }
C := \frac{1}{n} \sum_{i=1}^n y^{(i)} y^{(i)^T}
\end{equation} and the trace operator properties \begin{equation}
x^TAx = \mbox{tr}(Axx^T)
\mbox{ and } \mbox{tr}(A) + \mbox{tr}(B) = \mbox{tr}(A + B),
\end{equation} we have
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-14}{}
\tiny

\begin{align}
\begin{split}
\ln p_\theta(Y)
& = \sum_{i=1}^n  \ln N\left(y^{(i)}; 0_m, \Sigma \right) \\
& = \sum_{i=1}^n  \ln \left((2\pi)^{-\frac{m}{2}}|\Sigma|^{-\frac{1}{2}}
                  \exp\left(-\frac{1}{2}y^{(i)^T} \Sigma^{-1} y^{(i)}\right)\right) \\
& = -\frac{n}{2}\left(m\ln 2 \pi + \ln |\Sigma| + \sum_{i=1}^n \frac{1}{n} y^{(i)^T} \Sigma^{-1} y^{(i)} \right) \\
& = -\frac{n}{2}\left(m\ln 2 \pi + \ln |\Sigma| + \sum_{i=1}^n \mbox{tr}\left(\Sigma^{-1} \frac{1}{n}y^{(i)} y^{(i)^T} \right)\right) \\
& = -\frac{n}{2}\left(m\ln 2 \pi + \ln |\Sigma| + \mbox{tr}\left(\sum_{i=1}^n \Sigma^{-1} \frac{1}{n} y^{(i)} y^{(i)^T} \right)\right) \\
& = -\frac{n}{2}\left(m\ln 2 \pi + \ln |\Sigma| + \mbox{tr}\left(\Sigma^{-1} \frac{1}{n}\sum_{i=1}^n   y^{(i)} y^{(i)^T} \right)\right) \\
& = -\frac{n}{2}\left(m\ln 2 \pi + \ln |\Sigma| + \mbox{tr}\left(\Sigma^{-1} C\right) \right).
\end{split}
\end{align}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-15}{}
\footnotesize

\noindent (2) Gradient of the log marginal likelihood function

With

\begin{tiny}
\begin{equation}
\frac{\partial}{\partial X} \ln |X| = \left(X^{-1}\right)^T,
\frac{\partial}{\partial X} XX^T = 2X, \mbox{ and }
\frac{\partial}{\partial X} \mbox{tr}(XA) = A^T,
\end{equation}
\end{tiny}

\noindent the gradient of the log marginal likelihood function with
respect to \(B\) evaluates to

\begin{tiny}
\begin{align}
\begin{split}
\frac{\partial}{\partial B} \ell(\theta)
& = -\frac{n}{2}\frac{\partial}{\partial B}
\left(m \ln 2 \pi + \ln |BB^T + \sigma^2 I_m| + \mbox{tr}\left(\left(BB^T + \sigma^2 I_m \right)^{-1} C\right)\right) \\
& =
-\frac{n}{2}\frac{\partial}{\partial B} \ln |BB^T + \sigma^2 I_m|
-\frac{n}{2}\frac{\partial}{\partial B} \mbox{tr}\left(\left(BB^T + \sigma^2 I_m \right)^{-1} C\right) \\
& =
-\frac{n}{2} 2 \left(\left(BB^T + \sigma^2 I_m \right)^{-1} B \right)^T
+\frac{n}{2} 2\left(BB^T + \sigma^2 I_m \right)^{-1} C \left(BB^T + \sigma^2 I_m \right)^{-1} B \\
& = n\left(- \Sigma^{-1}B + \Sigma^{-1}C\Sigma^{-1}B \right)\\
& = n\left(\Sigma^{-1}C\Sigma^{-1}B - \Sigma^{-1}B \right).\\
\end{split}
\end{align}
\end{tiny}
\end{frame}

\begin{frame}{Appendix}
\protect\hypertarget{appendix-16}{}
\footnotesize

\noindent (3) Maximum marginal likelihood estimator evaluation
\setstretch{1}

Setting the gradient of \(\ell\) with respect to \(B\) to zero then
yields \begin{equation}
\Sigma^{-1}C\Sigma^{-1}\hat{B} - \Sigma^{-1}\hat{B} = 0
\Leftrightarrow
\Sigma^{-1}\hat{B} = \Sigma^{-1}C\Sigma^{-1}\hat{B}
\Leftrightarrow
\hat{B} = C\Sigma^{-1}\hat{B} .
\end{equation} We consider solutions of this necessary condition for a
stationary point of the log marginal likelihood function with
\(B \neq 0\) and \(\Sigma \neq C\). To find these, we first express
\(\hat{B}\) in terms of its singular value decomposition
\begin{equation}
\hat{B} = ULV^T
\end{equation} where \(U = (u_1, u_2, ..., u_l)\) is an \(m \times q\)
matrix of orthonormal column vectors,
\(L = \mbox{diag}(l_1,l_2,...,l_q)\) is a \(q \times q\) diagonal matrix
of singular values, and \(V\) is a \(q \times q\) orthogonal matrix.
Substitution in the necessary condition for a stationary point then
yields \begin{equation}\label{eq:cul}
CUL = U(\sigma^2 I_m + L^2)L.
\end{equation} For \(l_j \neq 0\), eq. \eqref{eq:cul} implies that
\begin{equation}
Cu_j = (\sigma^2 + l_j^2)u_j
\end{equation} Hence, each column of \(U\) must be an eigenvector of
\(C\) with corresponding eigenvalue \(\lambda_j = \sigma^2 + l_j\), and
thus \begin{equation}
\lambda_j = \sigma^2 + l_j^2
\Leftrightarrow
l_j^2  = \lambda_j - \sigma^2
\Leftrightarrow
l_j = (\lambda_j - \sigma^2)^{\frac{1}{2}}.
\end{equation} For \(l_j = 0\), \(u_j\) is arbitrary. Under the
assumption that \(l_j \neq 0\) for \(j = 1,...,m\), all potential
solutions for \(\hat{B}\) can thus be written in the form
\begin{equation}
\hat{B} = U_q\left(\Lambda_q - \sigma^2 I_m\right)^{\frac{1}{2}}R,
\end{equation} where \(U_q\) is a \(m \times q\) matrix whose \(q\)
columns are the eigenvectors of \(C\), \(\Lambda_q\) is the diagonal
matrix of the corresponding eigenvalues, and \(R\) is an arbitrary
\(q \times q\) orthogonal matrix, for example, \(R = I_q\).

\(\hfill \Box\)
\end{frame}

\begin{frame}[allowframebreaks]{References}
\protect\hypertarget{references}{}
\footnotesize

\hypertarget{refs}{}
\begin{CSLReferences}{1}{0}
\leavevmode\vadjust pre{\hypertarget{ref-blei_2017}{}}%
Blei, David M., and Padhraic Smyth. 2017. {``Science and Data
Science.''} \emph{Proceedings of the National Academy of Sciences} 114
(33): 8689--92. \url{https://doi.org/10.1073/pnas.1702076114}.

\leavevmode\vadjust pre{\hypertarget{ref-casella_2012}{}}%
Casella, G, and R Berger. 2012. \emph{Statistical {Inference}}.
{Duxbury}.

\leavevmode\vadjust pre{\hypertarget{ref-dempster_1977}{}}%
Dempster, A. P., N. M. Laird, and D. B. Rubin. 1977. {``Maximum
{Likelihood} from {Incomplete Data} via the {EM Algorithm}.''}
\emph{Journal of the Royal Statistical Society: Series B
(Methodological)} 39 (1): 1--22.
\url{https://doi.org/10.1111/j.2517-6161.1977.tb01600.x}.

\leavevmode\vadjust pre{\hypertarget{ref-holzinger_1939}{}}%
Holzinger, K. J., and F. Swineford. 1939. \emph{A Study in Factor
Analysis: The Stability of a Bifactor Solution}. Vol. 48. Supplementary
{Educational Monographs}. {University of Chicago}.

\leavevmode\vadjust pre{\hypertarget{ref-horvath_2021}{}}%
Horvath, Lilla, Stanley Colcombe, Michael Milham, Shruti Ray, Philipp
Schwartenbeck, and Dirk Ostwald. 2021. {``Human {Belief State}-{Based
Exploration} and {Exploitation} in an {Information}-{Selective Symmetric
Reversal Bandit Task}.''} \emph{Computational Brain \& Behavior},
August. \url{https://doi.org/10.1007/s42113-021-00112-3}.

\leavevmode\vadjust pre{\hypertarget{ref-hotelling_1933}{}}%
Hotelling, Harold. 1933. {``Analysis of Complext Variables into
Principal Components.''} \emph{Journal of Educational Psychology} 24:
417-441 and 498-520.

\leavevmode\vadjust pre{\hypertarget{ref-joreskog_1969}{}}%
Joreskog, K. G. 1969. {``A General Approach to Confirmatory Maximum
Likelihood Factor Analysis.''} \emph{Psychometrika} 34: 183--202.

\leavevmode\vadjust pre{\hypertarget{ref-lawley_1953}{}}%
Lawley, N. D. 1953. {``A Modified Method of Estimation in Factor
Analysis and Some Large Sample Results.''} \emph{Nord. Psyko. Monogr.
Ser} 3: 35--42.

\leavevmode\vadjust pre{\hypertarget{ref-ostwald_2014}{}}%
Ostwald, Dirk, Evgeniya Kirilina, Ludger Starke, and Felix Blankenburg.
2014. {``A Tutorial on Variational {Bayes} for Latent Linear Stochastic
Time-Series Models.''} \emph{Journal of Mathematical Psychology} 60
(June): 1--19. \url{https://doi.org/10.1016/j.jmp.2014.04.003}.

\leavevmode\vadjust pre{\hypertarget{ref-pearson_1901}{}}%
Pearson, Karl. 1901. {``On Lines and Planes of Closest Fit to Systems of
Points in Space.''} \emph{The London, Edinburgh, and Dublin
Philosophical Magazine and Journal of Science} 2 (11): 559--72.
\url{https://doi.org/10.1080/14786440109462720}.

\leavevmode\vadjust pre{\hypertarget{ref-petersen_2012}{}}%
Petersen, Kaare Brandt, and Michael Syskind Pedersen. 2012. {``The
{Matrixcookbook},''} 72.

\leavevmode\vadjust pre{\hypertarget{ref-rosseel_2012}{}}%
Rosseel, Yves. 2012. {``Lavaan: An {R Package} for {Structural Equation
Modeling}.''} \emph{Journal of Statistical Software} 48 (2).
\url{https://doi.org/10.18637/jss.v048.i02}.

\leavevmode\vadjust pre{\hypertarget{ref-roweis_1998}{}}%
Roweis, Sam. 1998. {``{EM Algorithms} for {PCA} and {SPCA},''} 7.

\leavevmode\vadjust pre{\hypertarget{ref-roweis_1999}{}}%
Roweis, Sam, and Zoubin Ghahramani. 1999. {``A {Unifying Review} of
{Linear Gaussian Models}.''} \emph{Neural Computation} 11 (2): 305--45.
\url{https://doi.org/10.1162/089976699300016674}.

\leavevmode\vadjust pre{\hypertarget{ref-rubin_1982}{}}%
Rubin, Donald B., and Dorothy T. Thayer. 1982. {``{EM} Algorithms for
{ML} Factor Analysis.''} \emph{Psychometrika} 47 (1): 69--76.
\url{https://doi.org/10.1007/BF02293851}.

\leavevmode\vadjust pre{\hypertarget{ref-schwarz_1978}{}}%
Schwarz, Gideon. 1978. {``Estimating the {Dimension} of a {Model}.''}
\emph{The Annals of Statistics} 6 (2): 461--64.

\leavevmode\vadjust pre{\hypertarget{ref-starke_2017}{}}%
Starke, Ludger, and Dirk Ostwald. 2017. {``Variational {Bayesian
Parameter Estimation Techniques} for the {General Linear Model}.''}
\emph{Frontiers in Neuroscience} 11 (September).
\url{https://doi.org/10.3389/fnins.2017.00504}.

\leavevmode\vadjust pre{\hypertarget{ref-tipping_1999}{}}%
Tipping, Michael E, and Christopher M Bishop. 1999. {``Probabilistic
Principal Component Analysis,''} 12.

\end{CSLReferences}
\end{frame}

\end{document}
