% Options for packages loaded elsewhere
\PassOptionsToPackage{unicode}{hyperref}
\PassOptionsToPackage{hyphens}{url}
%
\documentclass[
  8pt,
  ignorenonframetext,
]{beamer}
\usepackage{pgfpages}
\setbeamertemplate{caption}[numbered]
\setbeamertemplate{caption label separator}{: }
\setbeamercolor{caption name}{fg=normal text.fg}
\beamertemplatenavigationsymbolsempty
% Prevent slide breaks in the middle of a paragraph
\widowpenalties 1 10000
\raggedbottom
\setbeamertemplate{part page}{
  \centering
  \begin{beamercolorbox}[sep=16pt,center]{part title}
    \usebeamerfont{part title}\insertpart\par
  \end{beamercolorbox}
}
\setbeamertemplate{section page}{
  \centering
  \begin{beamercolorbox}[sep=12pt,center]{part title}
    \usebeamerfont{section title}\insertsection\par
  \end{beamercolorbox}
}
\setbeamertemplate{subsection page}{
  \centering
  \begin{beamercolorbox}[sep=8pt,center]{part title}
    \usebeamerfont{subsection title}\insertsubsection\par
  \end{beamercolorbox}
}
\AtBeginPart{
  \frame{\partpage}
}
\AtBeginSection{
  \ifbibliography
  \else
    \frame{\sectionpage}
  \fi
}
\AtBeginSubsection{
  \frame{\subsectionpage}
}
\usepackage{amsmath,amssymb}
\usepackage{lmodern}
\usepackage{iftex}
\ifPDFTeX
  \usepackage[T1]{fontenc}
  \usepackage[utf8]{inputenc}
  \usepackage{textcomp} % provide euro and other symbols
\else % if luatex or xetex
  \usepackage{unicode-math}
  \defaultfontfeatures{Scale=MatchLowercase}
  \defaultfontfeatures[\rmfamily]{Ligatures=TeX,Scale=1}
\fi
% Use upquote if available, for straight quotes in verbatim environments
\IfFileExists{upquote.sty}{\usepackage{upquote}}{}
\IfFileExists{microtype.sty}{% use microtype if available
  \usepackage[]{microtype}
  \UseMicrotypeSet[protrusion]{basicmath} % disable protrusion for tt fonts
}{}
\makeatletter
\@ifundefined{KOMAClassName}{% if non-KOMA class
  \IfFileExists{parskip.sty}{%
    \usepackage{parskip}
  }{% else
    \setlength{\parindent}{0pt}
    \setlength{\parskip}{6pt plus 2pt minus 1pt}}
}{% if KOMA class
  \KOMAoptions{parskip=half}}
\makeatother
\usepackage{xcolor}
\newif\ifbibliography
\usepackage{color}
\usepackage{fancyvrb}
\newcommand{\VerbBar}{|}
\newcommand{\VERB}{\Verb[commandchars=\\\{\}]}
\DefineVerbatimEnvironment{Highlighting}{Verbatim}{commandchars=\\\{\}}
% Add ',fontsize=\small' for more characters per line
\usepackage{framed}
\definecolor{shadecolor}{RGB}{248,248,248}
\newenvironment{Shaded}{\begin{snugshade}}{\end{snugshade}}
\newcommand{\AlertTok}[1]{\textcolor[rgb]{0.94,0.16,0.16}{#1}}
\newcommand{\AnnotationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\AttributeTok}[1]{\textcolor[rgb]{0.77,0.63,0.00}{#1}}
\newcommand{\BaseNTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\BuiltInTok}[1]{#1}
\newcommand{\CharTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\CommentTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\CommentVarTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ConstantTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ControlFlowTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\DataTypeTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{#1}}
\newcommand{\DecValTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\DocumentationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ErrorTok}[1]{\textcolor[rgb]{0.64,0.00,0.00}{\textbf{#1}}}
\newcommand{\ExtensionTok}[1]{#1}
\newcommand{\FloatTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\FunctionTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ImportTok}[1]{#1}
\newcommand{\InformationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\KeywordTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\NormalTok}[1]{#1}
\newcommand{\OperatorTok}[1]{\textcolor[rgb]{0.81,0.36,0.00}{\textbf{#1}}}
\newcommand{\OtherTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{#1}}
\newcommand{\PreprocessorTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\RegionMarkerTok}[1]{#1}
\newcommand{\SpecialCharTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\SpecialStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\StringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\VariableTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\VerbatimStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\WarningTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\usepackage{longtable,booktabs,array}
\usepackage{calc} % for calculating minipage widths
\usepackage{caption}
% Make caption package work with longtable
\makeatletter
\def\fnum@table{\tablename~\thetable}
\makeatother
\setlength{\emergencystretch}{3em} % prevent overfull lines
\providecommand{\tightlist}{%
  \setlength{\itemsep}{0pt}\setlength{\parskip}{0pt}}
\setcounter{secnumdepth}{-\maxdimen} % remove section numbering
\newlength{\cslhangindent}
\setlength{\cslhangindent}{1.5em}
\newlength{\csllabelwidth}
\setlength{\csllabelwidth}{3em}
\newlength{\cslentryspacingunit} % times entry-spacing
\setlength{\cslentryspacingunit}{\parskip}
\newenvironment{CSLReferences}[2] % #1 hanging-ident, #2 entry spacing
 {% don't indent paragraphs
  \setlength{\parindent}{0pt}
  % turn on hanging indent if param 1 is 1
  \ifodd #1
  \let\oldpar\par
  \def\par{\hangindent=\cslhangindent\oldpar}
  \fi
  % set entry spacing
  \setlength{\parskip}{#2\cslentryspacingunit}
 }%
 {}
\usepackage{calc}
\newcommand{\CSLBlock}[1]{#1\hfill\break}
\newcommand{\CSLLeftMargin}[1]{\parbox[t]{\csllabelwidth}{#1}}
\newcommand{\CSLRightInline}[1]{\parbox[t]{\linewidth - \csllabelwidth}{#1}\break}
\newcommand{\CSLIndent}[1]{\hspace{\cslhangindent}#1}
% type setting
% ------------------------------------------------------------------------------
\usepackage[german]{babel}     

% fonts
% ------------------------------------------------------------------------------
\usefonttheme{professionalfonts}

% slide title and horizontal line
% ------------------------------------------------------------------------------
\setbeamertemplate{frametitle}{%
    \vskip-30pt \color{black}\large%
    \begin{minipage}[b][23pt]{120mm}%
    \flushleft\insertframetitle%
    \end{minipage}%
}

\setbeamertemplate{headline}										
{
\vskip10pt\hfill\hspace{3.5mm} 										 
\vskip15pt\color{black}\rule{\textwidth}{0.4pt} 					 
}

% slide number
% ---------------------------------------------------------------
\setbeamertemplate{navigation symbols}{}
\setbeamertemplate{footline}
{
\vskip5pt
\vskip2pt
\makebox[123mm]{\hspace{7.5mm}
\hfill Multivariate Datenanalyse $\vert$ 
\copyright $ $ 2022 Dirk Ostwald CC BY-NC-SA 4.0 $\vert$ 
Folie \insertframenumber}
\vskip4pt
}

% block color scheme
% ------------------------------------------------------------------------------
% colors
\definecolor{white}{RGB}{255,255,255}
\definecolor{grey}{RGB}{235,235,235}
\definecolor{lightgrey}{RGB}{245,245,245}
\definecolor{LightBlue}{RGB}{220,220,255}
\definecolor{darkblue}{RGB}{51, 51, 153}

% definitions and theorems
\setbeamercolor{block title}{fg = black, bg = grey}
\setbeamercolor{block body}{fg = black, bg = lightgrey}

% general line spacing 
% ------------------------------------------------------------------------------
\linespread{1.3}

% local line spacing
% ------------------------------------------------------------------------------
\usepackage{setspace}

% colors
% -----------------------------------------------------------------------------
\usepackage{color}

% justified text
% ------------------------------------------------------------------------------
\usepackage{tabularx}
\usepackage{ragged2e}
\usepackage{etoolbox}
\apptocmd{\frame}{}{\justifying}{}

% bullet point lists
% -----------------------------------------------------------------------------
\setbeamertemplate{itemize item}[circle]
\setbeamertemplate{itemize subitem}[circle]
\setbeamertemplate{itemize subsubitem}[circle]
\setbeamercolor{itemize item}{fg = black}
\setbeamercolor{itemize subitem}{fg = black}
\setbeamercolor{itemize subsubitem}{fg = black}
\setbeamercolor{enumerate item}{fg = black}
\setbeamercolor{enumerate subitem}{fg = black}
\setbeamercolor{enumerate subsubitem}{fg = black}
\setbeamerfont{itemize/enumerate body}{}
\setbeamerfont{itemize/enumerate subbody}{size = \normalsize}
\setbeamerfont{itemize/enumerate subsubbody}{size = \normalsize}

% color links
% ------------------------------------------------------------------------------
\usepackage{hyperref}
\definecolor{urls}{RGB}{204,0,0}
\hypersetup{colorlinks, citecolor = darkblue, urlcolor = urls}


% additional math commands
% ------------------------------------------------------------------------------
\usepackage{bm}                                         % bold math symbols
\usepackage{mathtools}                        % pmatrix* environment
\newcommand{\niton}{\not\owns}
\DeclareMathOperator*{\argmax}{arg\,max}
\DeclareMathOperator*{\argmin}{arg\,min}

% text highlighting
% ------------------------------------------------------------------------------
\usepackage{soul}
\makeatletter
\let\HL\hl
\renewcommand\hl{%
  \let\set@color\beamerorig@set@color
  \let\reset@color\beamerorig@reset@color
  \HL}
\makeatother

% equation highlighting
% -----------------------------------------------------------------------------
\newcommand{\highlight}[2][yellow]{\mathchoice%
  {\colorbox{#1}{$\displaystyle#2$}}%
  {\colorbox{#1}{$\textstyle#2$}}%
  {\colorbox{#1}{$\scriptstyle#2$}}%
  {\colorbox{#1}{$\scriptscriptstyle#2$}}}%
  
\ifLuaTeX
  \usepackage{selnolig}  % disable illegal ligatures
\fi
\IfFileExists{bookmark.sty}{\usepackage{bookmark}}{\usepackage{hyperref}}
\IfFileExists{xurl.sty}{\usepackage{xurl}}{} % add URL line breaks if available
\urlstyle{same} % disable monospaced font for URLs
\hypersetup{
  hidelinks,
  pdfcreator={LaTeX via pandoc}}

\author{}
\date{\vspace{-2.5em}}

\begin{document}

\begin{frame}[plain]{}
\protect\hypertarget{section}{}
\center

\begin{center}\includegraphics[width=0.2\linewidth]{12_Abbildungen/mvda_12_otto} \end{center}

\vspace{2mm}

\Huge

Multivariate Datenanalyse \vspace{6mm}

\Large

MSc Psychologie WiSe 2021/22

\vspace{6mm}
\large

Prof.~Dr.~Dirk Ostwald
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-1}{}
\vfill
\center
\huge

\textcolor{black}{(12) Kanonische Korrelationsanalyse} \vfill
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-2}{}
\setstretch{3}
\vfill
\large

\textbf{Vorbemerkungen}

Modellformulierung

Modellschätzung

Modellevaluation

\vfill
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen}{}
\textcolor{darkblue}{Datenanalyseszenarien}

\small
\renewcommand{\arraystretch}{2}
\begin{tabular}{lll}
UV
& AV
& Datenanalysemethoden
\\\hline
Univariat
& Univariat
& Korrelation, Einfache Regression,T-Tests
\\
Univariat
& Multivariat
& T$^2$-Tests, MANOVA
\\
Multivariat
& Univariat
& Multiple Korrelation, Multiple Regression, ALM, SVMs, NNs
\\
Multivariat
& Multivariat
& Kanonische Korrelation, MALM, NNs
\end{tabular}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-1}{}
\textcolor{darkblue}{Datenanalyseszenarien} \vspace{2mm}

\small
\begin{minipage}{0.5\linewidth}
\center
\begin{tabular}{c|c}
UV         & AV          \\
$x_1$      & $y_1$       \\\hline
$x_{11}$   & $y_{11}$    \\
$x_{12}$   & $y_{12}$    \\
$x_{13}$   & $y_{13}$    \\
$\vdots$   & $\vdots$    \\
$\vdots$   & $\vdots$    \\
$\vdots$   & $\vdots$    \\
$x_{1n}$   & $y_{1n}$    \\
\end{tabular}
\vspace{2mm}

Korrelation

Einfache Regression

T-Tests
\end{minipage}
\begin{minipage}{0.5\linewidth}
\center
\begin{tabular}{ccc|c}
          & UV        &          & AV          \\
$x_1$     & $\cdots$  & $x_m$    & $y_1$       \\\hline
$x_{11}$  & $\cdots$  & $x_{m1}$ & $y_{11}$    \\
$x_{12}$  & $\cdots$  & $x_{m2}$ & $y_{12}$    \\
$x_{13}$  & $\cdots$  & $x_{m3}$ & $y_{13}$    \\
$\vdots$  & $\vdots$  & $\vdots$ & $\vdots$    \\
$\vdots$  & $\vdots$  & $\vdots$ & $\vdots$    \\
$\vdots$  & $\vdots$  & $\vdots$ & $\vdots$    \\
$x_{1n}$  & $\cdots$  & $x_{mn}$ & $y_{1n}$    \\
\end{tabular}
\vspace{2mm}

Multiple Korrelation

Multiple Regression

ALM, SVMs, NNs

\end{minipage}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-2}{}
\textcolor{darkblue}{Datenanalyseszenarien}

\small
\begin{minipage}{0.4\linewidth}
\center
\begin{tabular}{c|ccc}
UV        &          & AV        &             \\
$x_1$     & $y_1$    & $\cdots$  & $y_m$       \\\hline
$x_{11}$  & $y_{12}$ & $\cdots$  & $y_{m1}$    \\
$x_{12}$  & $y_{13}$ & $\cdots$  & $y_{m2}$    \\
$x_{13}$  & $y_{14}$ & $\cdots$  & $y_{m3}$    \\
$\vdots$  & $\vdots$ & $\vdots$  & $\vdots$    \\
$\vdots$  & $\vdots$ & $\vdots$  & $\vdots$    \\
$\vdots$  & $\vdots$ & $\vdots$  & $\vdots$    \\
$x_{1n}$  & $y_{1n}$ & $\cdots$  & $y_{mn}$    \\
\end{tabular}
\vspace{2mm}

T$^2$-Tests

MANOVA

\end{minipage}\hspace{2mm}
\begin{minipage}{0.4\linewidth}
\center
\begin{tabular}{ccc|ccc}
          & UV        &             &            & AV        &             \\
$x_1$     & $\cdots$  & $x_{m_x}$   & $y_1$      & $\cdots$  & $y_{m_y}$   \\\hline
$x_{11}$  & $\cdots$  & $x_{m_x1}$  & $y_{11}$   & $\cdots$  & $y_{m_y1}$  \\
$x_{12}$  & $\cdots$  & $x_{m_x2}$  & $y_{12}$   & $\cdots$  & $y_{m_y2}$  \\
$x_{13}$  & $\cdots$  & $x_{m_x3}$  & $y_{13}$   & $\cdots$  & $y_{m_y3}$  \\
$\vdots$  & $\vdots$  & $\vdots$    & $\vdots$   & $\vdots$  & $\vdots$    \\
$\vdots$  & $\vdots$  & $\vdots$    & $\vdots$   & $\vdots$  & $\vdots$    \\
$\vdots$  & $\vdots$  & $\vdots$    & $\vdots$   & $\vdots$  & $\vdots$    \\
$x_{1n}$  & $\cdots$  & $x_{m_xn}$  & $y_{1n}$   & $\cdots$  & $y_{m_yn}$  \\
\end{tabular}
\vspace{2mm}

Kanonische Korrelation

MALM, NNs
\end{minipage}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-3}{}
\textcolor{darkblue}{Überblick und Notation} \footnotesize

Wir folgen in der Darstellung Mardia, Kent, and Bibby (1979), Chapter
10.

Die Datenvektoren \(x_{1i},...,x_{m_xi}, i = 1,...,n\) werden als u.i.v.
Realisierungen eines Zufallsvektors \(X\) interpretiert. Die
Datenvektoren \(y_{1i},...,y_{m_yi}, i = 1,...,n\) werden als u.i.v.
Realisierungen eines Zufallsvektors \(Y\) interpretiert.

Die ``erste kanonische Korrelation'' ist die maximale Korrelation von
Linearkombinationen von \(X\) und \(Y\); wir bezeichnen die
Linearkombinationen von \(X\) und \(Y\) mit Vektoren
\(a \in \mathbb{R}^{m_x}\) und \(b \in \mathbb{R}^{m_y}\) mit
\begin{equation}
\xi      = a^TX = a_1X_1 + \cdots + a_{m_x}X_{m_x}
\mbox{ und }
\upsilon = b^TY =  b_1Y_1 + \cdots + b_{m_y}Y_{m_y}
\end{equation} \(\xi\) und \(\upsilon\) sind dann als
Linearkombinationen von Zufallsvariablen selbst Zufallsvariablen; Die
Korrelation von \(\xi\) und \(\upsilon\) bezeichnen wir mit
\(\rho(\xi,\upsilon)\)

Wenn die Zufallsvektoren \(X\) als unabhängige Variable und \(Y\) als
abhängige Variable interpretiert werden, dann kann \(\xi= a^TX\) als
``bester Prädiktor'' und \(\upsilon = b^TY\) als ``am besten
prädizierbares Kriterium'' interpretiert werden. Kanonische
Korrelationsanalyse fragt damit nach Parametern
\(a \in \mathbb{R}^{m_x}\) und \(b\in \mathbb{R}^{m_y}\) für die
\(\rho(\xi,\upsilon)\) maximal ist.

Für Skalare \(\alpha,\beta\in \mathbb{R}\) sind die Korrelationen
\(\rho\left(a^TX,b^TY\right)\) und
\(\rho\left(\left(\alpha a^T\right)X,\left(\beta b^T\right)Y\right)\)
allerdings identisch (siehe unten). Man sucht deshalb Parameter
\(a \in \mathbb{R}^{m_x}\) und \(b\in \mathbb{R}^{m_y}\) für die
\(\rho(\xi,\upsilon)\) maximal ist und für die \(a^TX\) und \(b^TY\)
jeweils eine Varianz von 1 haben, also
\(\mathbb{V}(\xi) = \mathbb{V}(\upsilon) = 1\) gilt.
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-4}{}
\textcolor{darkblue}{Wahrscheinlichkeitstheorie}

\small
\begin{definition}[Korrelation]
Die Korrelation zweier Zufallsvariablen $\xi$ und $\upsilon$ ist definiert als
\begin{equation}
\rho(\xi,\upsilon) := \frac{\mathbb{C}(\xi,\upsilon)}{\mathbb{S}(\xi)\mathbb{S}(\upsilon)},
\end{equation}
wobei
\begin{equation}
\mathbb{C}(\xi,\upsilon) := \mathbb{E}((\xi-\mathbb{E}(\xi))(\upsilon - \mathbb{E}(\upsilon)))
\end{equation}
die Kovarianz von $\xi$ und $\upsilon$ und
\begin{equation}
\mathbb{S}(\xi) := \sqrt{\mathbb{V}(\xi)} = \sqrt{\mathbb{C}(\xi,\xi)}
\mbox{ und }
\mathbb{S}(\upsilon) := \sqrt{\mathbb{V}(\upsilon)} = \sqrt{\mathbb{C}(\upsilon,\upsilon)}
\end{equation}
die Standardabweichungen von $\xi$ und $\upsilon$, respektive, bezeichnen.
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(\rho \in [-1,1]\).
\item
  Wenn \(\xi\) und \(\upsilon\) unabhängig sind, dann gilt
  \(\rho(\xi,\upsilon) = 0\).
\item
  \(\rho(\xi,\upsilon)\) misst dem Grad des linear-affinen Zusammenhangs
  \(\upsilon = a\xi + b\).
\end{itemize}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-5}{}
\textcolor{darkblue}{Wahrscheinlichkeitstheorie}

\small
\begin{theorem}[Kovarianz und Korrelation bei linear-affinen Transformationen]
\justifying
\normalfont
$\rho(\xi,\upsilon)$ sei die Korrelation von $\xi$ und $\upsilon$ und es seien
$\alpha,\beta,\gamma,\delta \in \mathbb{R}$. Dann gelten
\begin{equation}
\mathbb{C}(\alpha\xi + \beta, \gamma\upsilon + \delta) = \alpha\beta\mathbb{C}(\xi,\upsilon)
\end{equation}
und
\begin{equation}
\rho(\alpha\xi + \beta, \gamma\upsilon + \delta) = \rho(\xi,\upsilon).
\end{equation}
\end{theorem}

\footnotesize

Bemerkung

\begin{itemize}
\item
  Die Varianzen von \(a^TX\) und \(b^Ty\) und die Varianzen von
  Linearkombinationen von \(X\) und \(Y\) mit beliebigen skalaren
  Vielfachen von \(a\) und \(b\) sind im Sinne der ersten Aussage zur
  Kovarianz verschieden.
\item
  Insbesondere gilt einen \(m_x\)-dimensionalen Zufallsvektoren \(X\)
  und einen \(m_y\)-dimensionalen Zufallsvektor \(Y\),
  \(a \in \mathbb{R}^{m_x},b \in \mathbb{R}^{m_y}\),
  \(\alpha,\beta \in \mathbb{R}\) und die Linearkombinationen
  \(\xi := a^TX\) und \(\upsilon := b^TY\) also auch \begin{align}
  \begin{split}
  \rho(\xi,\upsilon) & = \rho(\alpha\xi,\beta\upsilon)  \\
  \Leftrightarrow
  \rho(a^TX, b^TY)   & = \rho(\alpha(a^TX),\beta(b^TY)) \\
  \Leftrightarrow
  \rho(a^TX, b^TY)   & = \rho((\alpha a^T)X),(\beta b^T)Y).
  \end{split}
  \end{align} Die Korrelation von \(a^TX\) und \(b^Ty\) und die
  Korrelationen von Linearkombinationen von \(X\) und \(Y\) mit
  beliebigen skalaren Vielfachen von \(a\) und \(b\) sind also gleich.
\end{itemize}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-6}{}
\textcolor{darkblue}{Wahrscheinlichkeitstheorie}

\footnotesize

\underline{Beweis}

Es gilt zunächst \begin{align}
\begin{split}
\mathbb{C}(\alpha\xi+\beta,c\upsilon+d)
& = \mathbb{E}((\alpha\xi+\beta-\mathbb{E}(\alpha\xi+\beta))(\gamma\upsilon+\delta-\mathbb{E}(\gamma\upsilon+\delta)))    \\
& = \mathbb{E}((\alpha\xi+\beta-\alpha\mathbb{E}(\xi)-\beta)(\gamma\upsilon+\delta-\gamma\mathbb{E}(\gamma\upsilon)-\delta))   \\
& = \mathbb{E}(\alpha(\xi-\mathbb{E}(\xi))(\gamma(\upsilon -\gamma\mathbb{E}(\upsilon)))             \\
& = \mathbb{E}(\alpha\gamma((\xi-\mathbb{E}(\xi))(\upsilon -\gamma\mathbb{E}(\upsilon))))            \\
&  = \alpha\gamma\mathbb{C}(\xi,\upsilon)
\end{split}
\end{align} Also folgt \begin{align}
\begin{split}
\rho(\alpha\xi + \beta, \gamma\upsilon + \delta)
& = \frac{\mathbb{C}(\alpha\xi+\beta,\gamma\upsilon+\delta)}{\sqrt{\mathbb{V}(\alpha\xi+\beta)}\sqrt{\mathbb{V}(\gamma\upsilon+\delta)}} \\
& = \frac{\alpha\gamma\mathbb{C}(\xi,\upsilon)}{\sqrt{\alpha^2\mathbb{V}(\xi)}\sqrt{\gamma^2\mathbb{V}(\upsilon)}}     \\
& = \frac{\alpha\gamma\mathbb{C}(\xi,\upsilon)}{\alpha\mathbb{S}(\xi)c\mathbb{S}(\upsilon)}         \\
& = \frac{\mathbb{C}(\xi,\upsilon)}{\mathbb{S}(\xi)\mathbb{S}(\upsilon)}             \\
& = \rho(\xi,\upsilon).
\end{split}
\end{align}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-7}{}
\textcolor{darkblue}{Lineare Algebra} \footnotesize

\begin{definition}[Symmetrische Quadratwurzel einer Matrix]
\justifying
$A \in \mathbb{R}^{m \times m}$ sei eine invertierbare symmetrische Matrix mit
positiven Eigenwerten. Dann sind für $r \in \mathbb{N}^0$ und $s \in \mathbb{N}$
die rationalen Potenzen von $A$ einer orthonormalen Matrix $Q \in \mathbb{R}^{m \times m}$
der Eigenvektoren von $A$ und einer Diagonalmatrix  $\Lambda = \mbox{diag}(\lambda_i) \in \mathbb{R}^{m \times m}$
der zugehörigen Eigenwerte $\lambda_1,...,\lambda_m$ von $A$ definiert als
\begin{equation}
A^{r/s} = Q \Lambda^{r/s} Q^T \mbox{ mit } \Lambda^{r/s} = \mbox{diag}\left(\lambda_i^{r/s}\right).
\end{equation}
Der Spezialfall $r:= 1, s := 2$ wird als symmetrische Quadratwurzel von $A$ bezeichnet
und hat die Form
\begin{equation}
A^{1/2} = Q\Lambda^{1/2}Q^T \mbox{ mit } \Lambda^{1/2} = \mbox{diag}\left(\lambda_i^{1/2}\right).
\end{equation}
\end{definition}
\setstretch{1}

Bemerkungen

\begin{itemize}
\item
  Offenbar gilt \begin{equation}
  \left(A^{1/2} \right)^2 = Q\Lambda^{1/2}Q^TQ\Lambda^{1/2}Q^T = Q\Lambda^{1/2}\Lambda^{1/2}Q^T =  Q\Lambda Q^T = A.
  \end{equation}
\item
  Weiterhin gilt \begin{equation}
  \left(A^{-1/2} \right)^2 = Q\Lambda^{-1/2}Q^TQ\Lambda^{-1/2}Q^T = Q\Lambda^{-1}Q^T = A^{-1}.
  \end{equation} Die vorletzte Gleichung mag überraschen, aber es gilt
  ja zum Beispiel \begin{equation}
  4^{-1/2}\cdot 4^{-1/2} = \frac{1}{\sqrt{4}}\cdot\frac{1}{\sqrt{4}} = \frac{1}{4} = 4^{-1}.
  \end{equation}
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-8}{}
\textcolor{darkblue}{Lineare Algebra}

\footnotesize
\begin{theorem}[Eigenwerte und Eigenvektoren von Matrixprodukten]
\justifying
\normalfont
Für $A \in \mathbb{R}^{n \times m}$ und $B \in \mathbb{R}^{m \times n}$ sind
die Eigenwerte von $AB \in \mathbb{R}^{n \times n}$ und $BA \in \mathbb{R}^{m \times m}$
gleich. Weiterhin gilt, dass für einen Eigenvektor $v$ zu einem von Null
verschiedenen Eigenwert $\lambda$ von $AB$ $w := Bv$ ein Eigenvektor von $BA$ ist.
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für einen Beweis verweisen wir auf Mardia, Kent, and Bibby (1979), S.
  468.
\end{itemize}

\vspace{1mm}
\tiny
\setstretch{1.2}

\begin{Shaded}
\begin{Highlighting}[]
\NormalTok{A   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\DecValTok{1}\SpecialCharTok{:}\DecValTok{6}\NormalTok{, }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{,  }\AttributeTok{byrow =}\NormalTok{ T)           }\CommentTok{\# Matrix A \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{2 x 3\}}
\NormalTok{B   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\DecValTok{1}\SpecialCharTok{:}\DecValTok{6}\NormalTok{, }\AttributeTok{ncol =} \DecValTok{2}\NormalTok{,  }\AttributeTok{byrow =}\NormalTok{ T)           }\CommentTok{\# Matrix B \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{3 x 2\}}
\NormalTok{EAB }\OtherTok{=} \FunctionTok{eigen}\NormalTok{(A }\SpecialCharTok{\%*\%}\NormalTok{ B)                              }\CommentTok{\# Eigenanalyse von AB \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{2 \textbackslash{}times 2\}}
\NormalTok{EBA }\OtherTok{=} \FunctionTok{eigen}\NormalTok{(B }\SpecialCharTok{\%*\%}\NormalTok{ A)                              }\CommentTok{\# Eigenanalyse von BA \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{3 \textbackslash{}times 3\}}
\NormalTok{w   }\OtherTok{=}\NormalTok{ B }\SpecialCharTok{\%*\%}\NormalTok{ EAB}\SpecialCharTok{$}\NormalTok{vectors[,}\DecValTok{1}\NormalTok{]                       }\CommentTok{\# Eigenvektor von BA}
\FunctionTok{cat}\NormalTok{(}\StringTok{"Eigenwerte von AB :"}\NormalTok{  , EAB}\SpecialCharTok{$}\NormalTok{values[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{2}\NormalTok{],}
    \StringTok{"}\SpecialCharTok{\textbackslash{}n}\StringTok{Eigenwerte von BA :"}\NormalTok{, EBA}\SpecialCharTok{$}\NormalTok{values[}\DecValTok{1}\SpecialCharTok{:}\DecValTok{2}\NormalTok{],}
    \StringTok{"}\SpecialCharTok{\textbackslash{}n}\StringTok{BAw mit w = Bv    :"}\NormalTok{, B }\SpecialCharTok{\%*\%}\NormalTok{ A }\SpecialCharTok{\%*\%}\NormalTok{ w,}
    \StringTok{"}\SpecialCharTok{\textbackslash{}n}\StringTok{lw mit w = Bv     :"}\NormalTok{, EBA}\SpecialCharTok{$}\NormalTok{values[}\DecValTok{1}\NormalTok{] }\SpecialCharTok{*}\NormalTok{ w)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> Eigenwerte von AB : 85.6 0.421 
> Eigenwerte von BA : 85.6 0.421 
> BAw mit w = Bv    : -191 -417 -642 
> lw mit w = Bv     : -191 -417 -642
\end{verbatim}
\end{frame}

\begin{frame}[fragile]{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-9}{}
\textcolor{darkblue}{Lineare Algebra}

\footnotesize
\begin{theorem}[Eigenwert und Eigenvektor eines Matrixvektorprodukts]
\justifying
\normalfont
Für $A \in \mathbb{R}^{n \times m}, B \in \mathbb{R}^{p \times n}, a \in \mathbb{R}^m$
und $b \in \mathbb{R}^p$ gilt, dass der einzige von Null verschiedene Eigenwert von
$Aab^TB \in \mathbb{R}^{n \times n}$ gleich $b^T BAa$ mit zugehörigem Eigenvektor $Aa$ ist.
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für einen Beweis verweisen wir auf Mardia, Kent, and Bibby (1979), S.
  468.
\end{itemize}

\vspace{1mm}
\tiny
\setstretch{1.2}
\vspace{1mm}
\tiny
\setstretch{1.2}

\begin{Shaded}
\begin{Highlighting}[]
\NormalTok{A      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\DecValTok{1}\SpecialCharTok{:}\DecValTok{6}\NormalTok{, }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{,  }\AttributeTok{byrow =}\NormalTok{ T)     }\CommentTok{\# Matrix A \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{2 x 3\}}
\NormalTok{B      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\DecValTok{1}\SpecialCharTok{:}\DecValTok{8}\NormalTok{, }\AttributeTok{ncol =} \DecValTok{2}\NormalTok{,  }\AttributeTok{byrow =}\NormalTok{ T)     }\CommentTok{\# Matrix B \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{4 x 2\}}
\NormalTok{a      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\DecValTok{1}\SpecialCharTok{:}\DecValTok{3}\NormalTok{, }\AttributeTok{nrow =} \DecValTok{3}\NormalTok{,  }\AttributeTok{byrow =}\NormalTok{ T)     }\CommentTok{\# Vektor a \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{3 x 1\}}
\NormalTok{b      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\DecValTok{1}\SpecialCharTok{:}\DecValTok{4}\NormalTok{, }\AttributeTok{nrow =} \DecValTok{4}\NormalTok{,  }\AttributeTok{byrow =}\NormalTok{ T)     }\CommentTok{\# Vektor b \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{4 x 1\}}
\NormalTok{EAabTB }\OtherTok{=} \FunctionTok{eigen}\NormalTok{(A }\SpecialCharTok{\%*\%}\NormalTok{ a }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(b) }\SpecialCharTok{\%*\%}\NormalTok{ B)         }\CommentTok{\# Eigenanalyse von Aab\^{}TB \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}\{4 x 4\}}
\FunctionTok{cat}\NormalTok{(}\StringTok{"Eigenwerte von AabTB :"}\NormalTok{, EAabTB}\SpecialCharTok{$}\NormalTok{values,}
    \StringTok{"}\SpecialCharTok{\textbackslash{}n}\StringTok{bTBAa                :"}\NormalTok{, }\FunctionTok{t}\NormalTok{(b) }\SpecialCharTok{\%*\%}\NormalTok{ B }\SpecialCharTok{\%*\%}\NormalTok{ A }\SpecialCharTok{\%*\%}\NormalTok{ a,}
    \StringTok{"}\SpecialCharTok{\textbackslash{}n}\StringTok{Aa                   :"}\NormalTok{, A }\SpecialCharTok{\%*\%}\NormalTok{ a,}
    \StringTok{"}\SpecialCharTok{\textbackslash{}n}\StringTok{(AabTB)Aa            :"}\NormalTok{,(A }\SpecialCharTok{\%*\%}\NormalTok{ a }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(b) }\SpecialCharTok{\%*\%}\NormalTok{ B) }\SpecialCharTok{\%*\%}\NormalTok{ A }\SpecialCharTok{\%*\%}\NormalTok{ a,            }\CommentTok{\# Mv}
    \StringTok{"}\SpecialCharTok{\textbackslash{}n}\StringTok{(bTBAa)Aa            :"}\NormalTok{,}\FunctionTok{as.vector}\NormalTok{((}\FunctionTok{t}\NormalTok{(b) }\SpecialCharTok{\%*\%}\NormalTok{ B }\SpecialCharTok{\%*\%}\NormalTok{ A }\SpecialCharTok{\%*\%}\NormalTok{ a)) }\SpecialCharTok{*}\NormalTok{ (A }\SpecialCharTok{\%*\%}\NormalTok{ a)) }\CommentTok{\# = \textbackslash{}lambda v}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> Eigenwerte von AabTB : 2620 0 
> bTBAa                : 2620 
> Aa                   : 14 32 
> (AabTB)Aa            : 36680 83840 
> (bTBAa)Aa            : 36680 83840
\end{verbatim}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-10}{}
\textcolor{darkblue}{Lineare Algebra} \footnotesize

\begin{theorem}[Maximierung quadratischer Formen mit Nebenbedingungen]
\justifying
\normalfont
$A \in \mathbb{R}^{m \times m}, B \in \mathbb{R}^{m \times m} \mbox{ p.d.}$
seien symmetrische Matrizen und $\lambda_1$ sei der größte Eigenwert von $B^{-1}A$
mit assoziertem Eigenvektor $v_1 \in \mathbb{R}^m$. Dann ist $\lambda_1$ eine Lösung des
Optimierungsproblems
\begin{equation}\label{eq:opt_1}
\max_{x} x^TAx \mbox{ unter der Nebenbedingung } x^TBx = 1.
\end{equation}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Das Theorem ist direkt durch die kanonische Korrelationsanalyse
  motiviert.
\item
  Nach Wortlaut des Theorems gilt also \begin{equation}
  v_1 = \argmax_{x} x^TAx \mbox{ unter der Nebenbedingung } x^TBx = 1
  \end{equation}
\item
  Nach Wortlaut des Theorems gilt weiterhin \begin{equation}
  \lambda_1 = \max_{x} x^TAx \mbox{ unter der Nebenbedingung } x^TBx = 1.
  \end{equation}
\end{itemize}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-11}{}
\textcolor{darkblue}{Lineare Algebra}

\footnotesize

\underline{Beweis}

\(B^{1/2}\) sei die symmetrische Quadratwurzel von \(B\) und es sei
\begin{equation}
y := B^{1/2}x \Leftrightarrow x = B^{-1/2}y
\end{equation} Dann kann mit der symmetrischen Matrix \begin{equation}
K := B^{-1/2}AB^{-1/2} \in \mathbb{R}^{m \times m}
\end{equation} das Optimierungsproblem \eqref{eq:opt_1} geschrieben
werden als \begin{equation}\label{eq:opt_2}
\max_{y} y^T K y
\mbox{ unter der Nebenbedingung }
y^Ty = 1.
\end{equation} Dies gilt, weil \begin{equation}
\max_{x} x^TAx
\Leftrightarrow
\max_{y} \left(B^{-1/2}y\right)^TA\left(B^{-1/2}y\right)
\Leftrightarrow
\max_{y} y^TB^{-1/2}AB^{-1/2}y
\Leftrightarrow
\max_{y} y^TKy
\end{equation} und \begin{equation}
x^TBx = 1
\Leftrightarrow y^T B^{-1/2}BB^{-1/2}y = 1
\Leftrightarrow y^Ty = 1.
\end{equation} Weil \(K\) eine symmetrische Matrix ist, existiert die
Orthonormalzerlegung (vgl. (2) Matrizen) \begin{equation}
K = Q\Lambda Q^T,
\end{equation} wobei die Spalten der orthogonalen Matrix \(Q\) die
Eigenvektoren von \(K\) und die Diagonalemente von \(\Lambda\) die
zugehörigen Eigenwerte von \(K\) sind.
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-12}{}
\textcolor{darkblue}{Lineare Algebra}

\footnotesize

\underline{Beweis (fortgeführt)}

Mit der orthogonalen Matrix \(Q\) aus obiger Orthornomalzerlegung sei
nun \begin{equation}
z := Q^Ty \Leftrightarrow y := Qz.
\end{equation} Dann kann das Optimierungsproblem \eqref{eq:opt_2}
geschrieben werden als \begin{equation}\label{eq:opt_3}
\max_{z} \sum_{i = 1}^m \lambda_i z_i^2 \mbox{ unter der Nebenbedingung } z^Tz = 1,
\end{equation} weil \begin{equation}
\max_{y} y^TKy
\Leftrightarrow
\max_{z} (Qz)^TK(Qz)
\Leftrightarrow
\max_{z} z^TQ^TQ\Lambda Q^TQz
\Leftrightarrow
\max_{z} z^T\Lambda z
\Leftrightarrow
\max_{z} \sum_{i=1}^m \lambda_i z_i^2
\end{equation} und \begin{equation}
y^Ty = 1
\Leftrightarrow
(Qz)^T Qz = 1
\Leftrightarrow
z^T Q^TQz = 1
\Leftrightarrow
z^T z = 1.
\end{equation}
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-13}{}
\textcolor{darkblue}{Lineare Algebra}

\footnotesize

\underline{Beweis (fortgeführt)}

Die Eigenwerte von \(K\) seien nun absteigend sortiert, also
\(\lambda_1 \ge \cdots \ge \lambda_m\). Dann gilt für das
Optimierungsproblem \eqref{eq:opt_3}, dass \begin{equation}
\max_{z} \sum_{i = 1}^m \lambda_i z_i^2 \le \lambda_1,
\end{equation} weil \begin{equation}
\max_{z} \sum_{i = 1}^m \lambda_i z_i^2
\le
\max_{z} \sum_{i = 1}^m \lambda_1 z_i^2
=
\lambda_1 \max_{z} \sum_{i = 1}^m z_i^2
=
\lambda_1
\end{equation} wobei sich die letzte Gleichung aus der Nebenbedingung
\(z^Tz=1\) ergibt. Schließlich gilt \begin{equation}
\max_{z} \sum_{i = 1}^m \lambda_i z_i^2  = \lambda_1,
\end{equation} für \(z := e_1 = (1,0,...,0)^T\). Zusammenfassend heißt
das, dass \(z = e_1\) eine Lösung des Optimierungsproblem
\eqref{eq:opt_3} ist und das \(\lambda_1\) das entsprechende Maximum
ist.
\end{frame}

\begin{frame}{Vorbemerkungen}
\protect\hypertarget{vorbemerkungen-14}{}
\textcolor{darkblue}{Lineare Algebra}

\footnotesize

\underline{Beweis (fortgeführt)}

Damit ergibt sich aber sofort, dass dann \begin{equation}
y = Qz = Qe_1 =  q_1 \mbox{ und } x = B^{-1/2}q_1
\end{equation} Lösungen der äquivalenten Optimierungsprobleme
\eqref{eq:opt_2} und \eqref{eq:opt_1}, respektive, sind. Nach
Konstruktion ist \(q_1\) ein Eigenvektor von \(B^{-1/2}AB^{-1/2}\) und
nach obigem Theorem zu Eigenwerten und Eigenvektoren von Matrixprodukten
damit auch ein Eigenvektor von \begin{equation}
B^{-1/2}B^{-1/2}A = B^{-1}A
\end{equation} und die zugehörigen Eigenwerte sind gleich. Damit aber
folgt, dass der größte Eigenwert von \(B^{-1}A\) und sein assoziierter
Eigenvektor eine Lösung von \begin{equation}
\max_{x} x^TAx \mbox{ unter der Nebenbedingung } x^TBx = 1.
\end{equation} ist. \(\hfill\Box\)
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-3}{}
\setstretch{3}
\vfill
\large

Vorbemerkungen

\textbf{Modellformulierung}

Modellschätzung

Modellevaluation

\vfill
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung}{}
\textcolor{darkblue}{Überblick} \setstretch{1.6}

\small

Zur Entwicklung der kanonischen Korrelationsanalyse werden \(X\) und
\(Y\) als \begin{equation}
Z := \begin{pmatrix} X \\ Y \end{pmatrix}
\end{equation} zusammengefasst.

Wir nehmen durchgängig an, dass \(\mathbb{E}(Z) = 0_{m}\) mit
\(m = m_x + m_y\).

Der mathematische Fokus ist auf der Kovarianzmatrix \(\mathbb{C}(Z)\).

\footnotesize

\begin{itemize}
\item
  Kovarianzen von Linearkombinationen von \(X\) und \(Y\) ergeben sich
  aus Matrixprodukten von \(\mathbb{C}(Z)\).
\item
  Die Matrixtheoreme aus den Vorbemerkungen können auf diese
  Matrixprodukte angewendet werden.
\end{itemize}

\small

Generell wird im folgenden ein restringierter Optimierungsansatz
mithilfe der Lagrangefunktion zugunsten der Eigenanalyse von
Matrixprodukten supprimiert. Für den Lagrangeansatz, siehe zum Beispiel
Anderson (2003), Kapitel 12.
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-1}{}
\footnotesize
\begin{theorem}[Kovarianzmatrizen von Zufallsvektoren]
\normalfont
\justifying
$Z$ sei ein $m$-dimensionaler Zufallsvektor mit Erwartungswert $\mathbb{E}(Z) = 0_m$ und
es sei
\begin{equation}
Z = \begin{pmatrix} X \\ Y \end{pmatrix}
\mbox{ mit }
\mathbb{E}(Z)  := 0_m
\end{equation}
ein $m_x + m_y$-dimensionaler Zufallsvektor und sein Erwartungswertvektor,
respektive. Dann kann die $m \times m$ Kovarianzmatrix  $Z$ geschrieben werden als
\begin{equation}
\mathbb{C}(Z) =
\begin{pmatrix}
\Sigma_{xx} & \Sigma_{xy} \\
\Sigma_{yx} & \Sigma_{yy} \\
\end{pmatrix}
\in \mathbb{R}^{m \times m}
\end{equation}
wobei
\begin{align}
\begin{split}
\Sigma_{xx} & := \mathbb{E}\left(XX^T\right) \in \mathbb{R}^{m_x \times m_x}\\
\Sigma_{xy} & := \mathbb{E}\left(XY^T\right) \in \mathbb{R}^{m_x \times m_y}\\
\Sigma_{yx} & := \mathbb{E}\left(YX^T\right) \in \mathbb{R}^{m_y \times m_x}\\
\Sigma_{yy} & := \mathbb{E}\left(YY^T\right) \in \mathbb{R}^{m_x \times m_y}
\end{split}
\end{align}
\end{theorem}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-2}{}
\footnotesize

\underline{Beweis}

\renewcommand{\arraystretch}{1.2}

Nach Definition der Kovarianzmatrix eines Zufallsvektors (vgl. (3)
Wahrscheinlichkeitshtheorie) gilt \begin{align}
\begin{split}
\mathbb{C}(Z)
& = \mathbb{E}\left((Z - \mathbb{E}(Z))(Z - \mathbb{E}(Z))^T \right) \\
& = \mathbb{E}\left((Z - 0_m)(Z - 0_m)^T \right) \\
& = \mathbb{E}\left(ZZ^T\right)\\
& = \mathbb{E}\left(\begin{pmatrix} X \\ Y \end{pmatrix} \begin{pmatrix} X^T & Y^T \end{pmatrix} \right) \\
& = \mathbb{E}\left(\begin{pmatrix} XX^T & XY^T \\ YX^T & YY^T \end{pmatrix}\right)
\\
& =
\begin{pmatrix}
\mathbb{E}\left(XX^T\right) & \mathbb{E}\left(XY^T\right) \\
\mathbb{E}\left(YX^T\right) & \mathbb{E}\left(YY^T\right)
\end{pmatrix}
\\
& =
\begin{pmatrix}
\Sigma_{xx} & \Sigma_{xy} \\
\Sigma_{yx} & \Sigma_{yy} \\
\end{pmatrix}
\end{split}
\end{align} \(\hfill\Box\)
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-3}{}
\footnotesize
\begin{theorem}[Linearkombinationen von Zufallsvektorpartitionen]
\justifying
\normalfont
Es sei
\begin{equation}
Z = \begin{pmatrix} X \\ Y \end{pmatrix}
\mbox{ mit }
\mathbb{E}(X) = 0_m
\mbox{ und }
\mathbb{C}(Z) =
\begin{pmatrix}
\Sigma_{xx} & \Sigma_{xy} \\
\Sigma_{yx} & \Sigma_{yy} \\
\end{pmatrix}
\end{equation}
ein $m$-dimensionaler partitionierter Zufallsvektor sowie sein
Erwartungswertvektor und seine Kovarianzmatrix, respektive. Weiterhin seien für
$a \in \mathbb{R}^{m_x}$ und $b\in\mathbb{R}^{m_y}$
die Zufallsvariablen
\begin{equation}
\xi := a^T X \mbox{ und } \upsilon := b^T Y
\end{equation}
als Linearkombinationen der Komponenten von $X$ und $Y$ definiert.
Dann gelten
\begin{itemize}
\item[(1)] $\mathbb{V}(\xi) = a^T\Sigma_{xx}a$
\item[(2)] $\mathbb{V}(\upsilon) = b^T\Sigma_{yy}b$
\item[(2)] $\rho(\xi,\upsilon) = a^T \Sigma_{xy}b$, wenn  $\mathbb{V}(\xi) = 1$ und $\mathbb{V}(\upsilon) = 1$.
\end{itemize}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die Varianz der Zufallsvariable \(a^TX\) ergibt sich als ``doppelte
  Linearkombination'' von \(\Sigma_{xx}\).
\item
  Die Varianz der Zufallsvariable \(b^TY\) ergibt sich als ``doppelte
  Linearkombination'' von \(\Sigma_{yy}\).
\item
  Die Korrelation der Zufallsvariablen \(a^TX\) und \(b^TY\) ergibt sich
  ``doppellte Linearkombination'' von \(\Sigma_{xy}\).
\end{itemize}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-4}{}
\footnotesize

\underline{Beweis von (1) und (2)}

Wir betrachten zunächst die Varianz von \(\xi\). Mit dem
Varianzverschiebungssatz gilt \begin{align}
\begin{split}
\mathbb{V}(\xi)
& = \mathbb{E}\left(\xi \xi \right) - \mathbb{E}(\xi)\mathbb{E}(\xi) \\
& = \mathbb{E}\left((a^TX) (a^TX)\right) - \mathbb{E}\left(a^TX\right)\mathbb{E}\left(a^TX\right) \\
& = \mathbb{E}\left((a^TX) (a^TX)^T\right) - \mathbb{E}\left(a^TX\right)\mathbb{E}\left(a^TX\right) \\
& = \mathbb{E}\left(a^TXX^Ta\right) - \mathbb{E}\left(a^TX\right)\mathbb{E}\left(a^TX\right) \\
& = a^T\mathbb{E}\left(XX^T\right)a - a^T\mathbb{E}(X)a^T\mathbb{E}(X) \\
& = a^T\mathbb{E}\left(XX^T\right)a - a^T0_{m_x}a^T0_{m_x} \\
& = a^T\Sigma_{xx}a. \\
\end{split}
\end{align} Der Beweis zur Varianz von \(\upsilon\) folgt dann analog.
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-5}{}
\footnotesize

\underline{Beweis von (3)}

Mit der Definition der Korrelation von Zufallsvariablen und mit
\(\mathbb{V}(\xi) = \mathbb{V}(\upsilon) = 1\) und dem
Kovarianzverschiebungssatz gilt \begin{align}
\begin{split}
\rho(\xi,\upsilon)
& = \frac{\mathbb{C}(\xi,\upsilon)}{\sqrt{\mathbb{V}(\xi)}\sqrt{\mathbb{V}(\upsilon)}} \\
& = \frac{\mathbb{C}(\xi,\upsilon)}{\sqrt{1}\sqrt{1}} \\
& = \mathbb{C}(\xi,\upsilon) \\
& = \mathbb{E}(\xi\upsilon) - \mathbb{E}(\xi)\mathbb{E}(\upsilon) \\
& = \mathbb{E}\left((a^T X)(b^TY)\right) - \mathbb{E}(a^TX)\mathbb{E}(b^TY) \\
& = \mathbb{E}\left((a^T X)(b^TY)^T\right) - \mathbb{E}(a^TX)\mathbb{E}(b^TY) \\
& = \mathbb{E}\left(a^T XY^Tb \right) - \mathbb{E}(a^TX)\mathbb{E}(b^TY) \\
& = a^T\mathbb{E}\left(XY^T \right)b - a^T\mathbb{E}(X)b^T\mathbb{E}(Y) \\
& = a^T\mathbb{E}\left(XY^T \right)b - a^T0_{m_x}b^T0_{m_y} \\
& = a^T\Sigma_{xy}b. \\
\end{split}
\end{align} \(\hfill\Box\)
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-6}{}
\setstretch{1.2}
\vspace{1mm}
\footnotesize
\begin{definition}[Kanonische Koeffizientenvektoren, Variate, Korrelationen]
\justifying
Es seien
\begin{equation}
Z = \begin{pmatrix} X \\ Y \end{pmatrix}
\mbox{ mit }
\mathbb{E}(Z) := 0_m
\mbox{ und }
\mathbb{C}(Z) :=
\begin{pmatrix}
\Sigma_{xx} & \Sigma_{xy} \\
\Sigma_{yx} & \Sigma_{yy} \\
\end{pmatrix}
\in \mathbb{R}^{m \times m}
\end{equation}
ein $m$-dimensionaler partitionierter Zufallsvektor sowie sein Erwartungswert
und seine Kovarianzmatrix, respektive. Weiterhin sei
\begin{equation}
K := \Sigma_{xx}^{-1/2}\Sigma_{xy}\Sigma_{yy}^{-1/2} \in \mathbb{R}^{m_x \times m_y}
\end{equation}
mit der Singulärwertzerlegung
\begin{equation}
K = A \Lambda B^T,
\end{equation}
wobei
\begin{equation}
A       := \begin{pmatrix} \alpha_1 & \cdots & \alpha_k \end{pmatrix} \in \mathbb{R}^{m_x \times m_y}
\mbox{ und }
B       := \begin{pmatrix} \beta_1  & \cdots &  \beta_k \end{pmatrix} \in \mathbb{R}^{m_y \times m_y}
\end{equation}
die orthogonalen Matrix der Eigenvektoren von $KK^T$  und die orthogonale Matrix
der Eigenvektoren von $K^TK$, respektive, bezeichnen und
\begin{equation}
\Lambda := \mbox{diag}\left(\lambda^{1/2}_1,...,\lambda_k^{1/2}\right) \in \mathbb{R}^{m_y \times m_y},
\end{equation}
die Diagonalmatrix der Quadratwurzeln der zugehörigen Eigenvektoren bezeichnet.
Schließlich seien für $i = 1,...,k$
\begin{equation}
a_i := \Sigma_{xx}^{-1/2}\alpha_i  \in \mathbb{R}^{m_x} \mbox{ und } b_i := \Sigma_{yy}^{-1/2}\beta_i \in \mathbb{R}^{m_y}.
\end{equation}
Dann heißen für $i = 1,...,k$
\begin{itemize}
\itemsep0mm
\item[(1)] $a_i \in \mathbb{R}^{m_x}$ und $b_i \in \mathbb{R}^{m_y}$ die \textit{$i$ten kanonischen Koeffizientenvektoren},
\item[(2)] die Zufallsvektoren $\xi_i := a_i^TX$ und $\upsilon_i := b_i^TY$ die $i$ten \textit{$i$ten kanonischen Variaten} und
\item[(3)] $\rho_i := \lambda_i^{1/2}$ die \textit{$i$te kanonische Korrelation}.
\end{itemize}
\end{definition}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-7}{}
\footnotesize
\begin{theorem}[Eigenschaften kanonischer Korrelationen und Variaten]
\normalfont
\justifying
Es seien
\begin{equation}
Z = \begin{pmatrix} X \\ Y \end{pmatrix}
\mbox{ mit }
\mathbb{E}(Z) := 0_m
\mbox{ und }
\mathbb{C}(Z) :=
\begin{pmatrix}
\Sigma_{xx} & \Sigma_{xy} \\
\Sigma_{yx} & \Sigma_{yy} \\
\end{pmatrix}
\in \mathbb{R}^{m \times m}
\end{equation}
ein $m$-dimensionaler partitionierter Zufallsvektor sowie sein Erwartungswert
und seine Kovarianzmatrix, respektive. Weiterhin seien für $i = 1,...,k$ die kanonischen Koeffizientenvektoren $a_i, b_i$,
die kanonischen Variaten $\xi,\upsilon_i$ und die kanonischen Korrelationen $\rho_i$
definiert wie oben. Dann gilt, dass für $1 \le r \le k$ das Maximum des $r$ten
restringierten Optimierungsproblems
\begin{equation}
\phi_r = \max_{a,b} a^T\Sigma_{xy}b
\end{equation}
unter den Nebenbedingungen
\begin{equation}
a^T\Sigma_{xx}a   = 1,
\quad
b^T\Sigma_{yy}b   = 1,
\quad
a_i^T\Sigma_{xx}a = 0 \mbox{ für } i = 1,...,r-1
\end{equation}
(1) den Wert $\phi_r = \rho_r$ hat und (2) bei $a = a_r$ und $b = b_r$ angenommen wird.
\end{theorem}
\vspace{-1mm}
\setstretch{1.2}

Bemerkungen \vspace{-2mm}

\begin{itemize}
\item $\phi_1$ ist die größtmögliche Korrelation von $\xi = a^TX$ und $\upsilon = b^TY$ unter den Nebenbedingungen
\begin{itemize}
\footnotesize
\item[$\circ$] $\mathbb{V}(\xi) =  a^T\Sigma_{xx}a = 1$ und $\mathbb{V}(\upsilon) = b^T\Sigma_{yy}b = 1$
\end{itemize}
\item $\phi_r$ ist die größtmögliche Korrelation von $\xi = a^TX$ und $\upsilon = b^TY$  unter den Nebenbedingungen
\begin{itemize}
\footnotesize
\item[$\circ$] $\mathbb{V}(\xi) = a^T\Sigma_{xx}a = 1$ und $\mathbb{V}(\upsilon) = b^T\Sigma_{yy}b = 1$
\item[$\circ$]  $\mathbb{C}(\xi_i,\xi) = a_i^T\Sigma_{xx}a = 0$  für die ersten $i = 1,...,r-1$ kanonischen Variaten $\xi_i$
\end{itemize}
\end{itemize}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-8}{}
\footnotesize

\underline{Beweis}

Wir betrachten das restringierte Optimierungsproblem \tiny
\begin{equation}
\phi_r^2 = \max_{a,b} \left(a^T\Sigma_{xy}b\right)^2\,
\mbox{ u.d.N. }
a^T\Sigma_{xx}a   = 1,\,
b^T\Sigma_{yy}b   = 1,\,
a_i^T\Sigma_{xx}a = 0, i = 1,...,r-1
\end{equation} \footnotesize Wir folgen Mardia, Kent, and Bibby (1979),
S. 284 und gehen schrittweise vor, d.h. wir lösen das restringierte
Optimierungsproblem \tiny \begin{equation}
\phi_r^2 = \max_{a} \left(\max_{b} \left(a^T\Sigma_{xy}b\right)^2 \mbox{ u.d.N.} b^T\Sigma_{yy}b   = 1\right)
\mbox{ u.d.N. } a^T\Sigma_{xx}a   = 1,\, a_i^T\Sigma_{xy}a = 0,  i = 1,...,r-1
\end{equation} \footnotesize von innen nach außen.

Schritt (1)

Wir wählen wir zunächst ein festes \(a \in \mathbb{R}^m\) und betrachten
das restringierte Optimierungsproblem \begin{equation}
\max_{b} \left(a^T\Sigma_{xy}b\right)^2
\mbox{ u.d.N. }
b^T\Sigma_{yy}b   = 1
\end{equation} Dieses Optimierungsproblem kann geschrieben werden als
\begin{equation}\label{eq:kka_opt_1}
\max_{b} b^T\Sigma_{yx}aa^T\Sigma_{xy}b
\mbox{ u.d.N. }
b^T\Sigma_{yy}b = 1,
\end{equation} weil gilt, dass \begin{equation}
\left(a^T\Sigma_{xy}b\right)^2
= \left(a^T\Sigma_{xy}b\right)\left(a^T\Sigma_{xy}b\right)
= \left(a^T\Sigma_{xy}b\right)^T a^T\Sigma_{xy}b
= b^T\Sigma_{yx}aa^T\Sigma_{xy}b.
\end{equation}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-9}{}
\footnotesize

\underline{Beweis (fortgeführt)}

Das Optimierungsproblem \eqref{eq:kka_opt_1} kann nun mithilfe des
Theorems zur Maximierung quadratischer Formen mit Nebenbedingen gelöst
werden. Im Sinne dieses Theorems setzen wir dazu \begin{equation}
A := \Sigma_{yx}aa^T\Sigma_{xy} \mbox{ und } B := \Sigma_{yy}.
\end{equation} Dann hat \eqref{eq:kka_opt_1} die Form
\begin{equation}\label{eq:kka_opt_2}
\max_{b} b^TAb
\mbox{ unter der Nebenbedingung }
b^TBb = 1,
\end{equation} Das Maximum von \eqref{eq:kka_opt_2} entspricht nach dem
Theorem zur Maximierung quadratischer Formen mit Nebenbedingungen dem
größten Eigenwert von \begin{equation}
B^{-1}A = \Sigma_{yy}^{-1}\Sigma_{yx}aa^T\Sigma_{xy}
\end{equation} Der größte Eigenwert von
\(\Sigma_{yy}^{-1}\Sigma_{yx}aa^T\Sigma_{xy}\) wiederum kann mithilfe
des Theorems zum Eigenwert und Eigenvektor eines Matrixvektorprodukts
bestimmt werden. Im Sinne dieses Theorems setzen wir dazu
\begin{equation}
A := \Sigma_{yy}^{-1}\Sigma_{yx},\quad b := a,\quad B := \Sigma_{xy}
\end{equation} und erhalten für den betreffenden Eigenwert
\begin{equation}
\lambda_a = b^TBAa = a^T\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}a.
\end{equation} als Lösung (Maximum) des restringierten
Optimierungsproblems \begin{equation}
\max_{b} \left(a^T\Sigma_{xy}b\right)^2 \mbox{ u.d.N. } b^T\Sigma_{yy}b = 1
\end{equation}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-10}{}
\footnotesize

\underline{Beweis (fortgeführt)}

Schritt (2)

Basierend auf Schritt (1) verbleibt die Lösung des restringierten
Optimierungsproblem \begin{equation}\label{eq:kka_opt_3}
\phi_r^2 = \max_{a} a^T\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}a
\mbox{ u.d.N. }
a^T\Sigma_{xx}a   = 1,\,
a_i^T\Sigma_{xx}a = 0,  i = 1,...,r-1
\end{equation} Dazu halten wir zunächst fest, dass \eqref{eq:kka_opt_3}
mit den Definitionen von \(\alpha_i\) und \(K\) in der Definition der
Kanonischen Koeffizientenvektoren, Variaten, und Korrelationen
geschrieben werden kann als \begin{equation}\label{eq:kka_opt_4}
\phi_r^2 = \max_{\alpha} \alpha^T KK^T \alpha
\mbox{ u.d.N. }
\alpha^T \alpha   = 1,\,
\alpha_i^T\alpha  = 0,  i = 1,...,r-1,
\end{equation} denn \tiny \begin{align}
\begin{split}
\phi_r^2 & = \max_{a} a^T\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}a
\mbox{ u.d.N. }
a^T\Sigma_{xx}a   = 1,
a_i^T\Sigma_{xx}a = 0 \Leftrightarrow
\\
\phi_r^2 & = \max_{a} a^T\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}a
\mbox{ u.d.N. }
\alpha^T\Sigma_{xx}^{-1/2}\Sigma_{xx}\Sigma_{xx}^{-1/2}\alpha = 1,
\alpha^T_i\Sigma_{xx}^{-1/2}\Sigma_{xx}\Sigma_{xx}^{-1/2}\alpha = 0
\\
\phi_r^2 & = \max_{a} \alpha^T\Sigma_{xx}^{-1/2}\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}\Sigma_{xx}^{-1/2}\alpha
\mbox{ u.d.N. }
\alpha^T\alpha = 1,
\alpha^T_i\alpha = 0
\\
\phi_r^2 & = \max_{a} \alpha^T\Sigma_{xx}^{-1/2}\Sigma_{xy}\Sigma_{yy}^{-1/2}\Sigma_{yy}^{-1/2}\Sigma_{yx}\Sigma_{xx}^{-1/2}\alpha
\mbox{ u.d.N. }
\alpha^T\alpha = 1,
\alpha^T_i\alpha = 0
\\
\phi_r^2 & = \max_{a} \alpha^TKK^T\alpha
\mbox{ u.d.N. }
\alpha^T\alpha = 1,
\alpha^T_i\alpha = 0
\end{split}
\end{align}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-11}{}
\footnotesize

\underline{Beweis (fortgeführt)}

Dabei sind nach der betreffenden Definition die \(\alpha_i\) die
Eigenvektoren von \(KK^T\) mit den \(i = 1,...,r-1\) größten
Eigenwerten. Nach dem Theorem zur Maximierung quadratischer Formen mit
Nebenbedingungen ist die Lösung von \eqref{eq:kka_opt_4} der größte
Eigenwert von \(KK^T\) mit seinem assoziierten Eigenvektor. Die
Nebenbedingung \(\alpha_i^T\alpha = 0\) schränkt diese Wahl auf den
\(r\)t-größten Eigenwert und seinen assoziierten Eigenvektor
\(\alpha_r\) ein. Mit der Definition von Eigenwerten und Eigenvektoren
gilt also \begin{equation}
\phi_r^2 = \alpha_r^T KK^T \alpha_r = \alpha_r^T \lambda_r \alpha_r = \lambda_r \alpha_r^T\alpha_r = \lambda_r.
\end{equation} Wir haben also gezeigt, dass das restringierte
Optimierungsproblem des Theorems den Maximumwert
\(\phi_r = \lambda_r^{1/2}\) hat. Es bleibt zu zeigen, dass dieser
Maximumwert für \(a_r\) und \(b_r\) angenommen wird.

Schritt (3)

Einsetzen von \(a_r\) und \(b_r\) in \(a^T\Sigma_{xy}b\) ergibt mit
\begin{equation}
K = A\Lambda B^T
\Leftrightarrow KB = A\Lambda B^TB
\Leftrightarrow KB = A\Lambda
\Leftrightarrow K\beta_r = \alpha_r\lambda_r^{1/2}
\end{equation} dass \begin{equation}
a^T_r\Sigma_{xy}b_r
= \alpha_r^T\Sigma_{xx}^{-1/2}\Sigma_{xy}\Sigma_{yy}^{-1/2}\beta_r
= \alpha_r^TK\beta_r
= \alpha_r^T\alpha_r\lambda_r^{1/2}
= \rho_r
\end{equation} Also nimmt \(a^T\Sigma_{xy}b\) bei \(a_r\) und \(b_r\)
seinen restringierten Maximalwert \(\lambda_r\) an.

\(\hfill\Box\)
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-12}{}
\textcolor{darkblue}{Simulationsbeispiel}

\footnotesize

Wir betrachten das Beispiel (vgl. Uurtio et al. (2018)) \begin{equation}
p(X) = N(x;0_4,I_4) \mbox{ und } p(Y|X) = N(y; LX, G)
\end{equation} mit \begin{equation}
L := \begin{pmatrix*}[r] 0.0 & 0.0 & 1.0 & 0.0 \\ 1.0 & 0.0 & 0.0 & 0.0 \\ 0.0 & 0.0 & 0.0 & -1.0 \end{pmatrix*}
\mbox{ und }
G := \begin{pmatrix*}[r] 0.2 & 0.0 & 0.0 \\ 0.0 & 0.4 & 0.0 \\ 0.0 & 0.0 & 0.3 \end{pmatrix*}
\end{equation} Hier gilt offenbar \(m_x = 4, m_y = 3, m = 7\) und
\begin{align}
\begin{split}
Y_1 & = \,\,\,\, X_3 + \varepsilon_1 \\
Y_2 & = \,\,\,\, X_1 + \varepsilon_2 \\
Y_3 & =       -X_4   + \varepsilon_3 \\
\end{split}
\end{align}

mit \begin{equation}
X_1 \sim N(0,1), X_3 \sim N(0,1), X_4 \sim N(0,1)
\end{equation} und \begin{equation}
\varepsilon_1 \sim N(0,0.2), \varepsilon_2 \sim N(0,0.4), \varepsilon_3 \sim N(0,0.3)
\end{equation}
\end{frame}

\begin{frame}{Modellformulierung}
\protect\hypertarget{modellformulierung-13}{}
\textcolor{darkblue}{Simulationsbeispiel}

\footnotesize

Mit dem Theorem zu gemeinsamen Normalverteilungen (vgl. Einheit (3)
Matrizen) ergibt sich, dass \begin{equation}
\begin{pmatrix} X \\ Y \end{pmatrix}
\sim N(0_7,\Sigma)
\end{equation} mit \begin{equation}
\Sigma
=
\begin{pmatrix}
\Sigma_{xx} & \Sigma_{xy} \\
\Sigma_{yx} & \Sigma_{yy}
\end{pmatrix},
\end{equation} wobei \begin{equation}
\Sigma_{xx} = I_4, \quad
\Sigma_{xy} = L^T, \quad
\Sigma_{yx} = L \mbox{ und }
\Sigma_{yy} = G + LL^T.
\end{equation} Explizit ergibt sich also \begin{equation}
\Sigma
 =
\begin{pmatrix}
I_4 &  L^T \\
L   &  G + LL^T
\end{pmatrix}
=
\begin{pmatrix*}[r]
1.0 & 0.0 & 0.0 &  0.0 & 0.0 & 1.0 &  0.0 \\
0.0 & 1.0 & 0.0 &  0.0 & 0.0 & 0.0 &  0.0 \\
0.0 & 0.0 & 1.0 &  0.0 & 1.0 & 0.0 &  0.0 \\
0.0 & 0.0 & 0.0 &  1.0 & 0.0 & 0.0 & -1.0 \\
0.0 & 0.0 & 1.0 &  0.0 & 1.2 & 0.0 &  0.0 \\
1.0 & 0.0 & 0.0 &  0.0 & 0.0 & 1.4 &  0.0 \\
0.0 & 0.0 & 0.0 & -1.0 & 0.0 & 0.0 &  1.3 \\
\end{pmatrix*}
\end{equation}
\end{frame}

\begin{frame}[fragile]{Modellformulierung}
\protect\hypertarget{modellformulierung-14}{}
\textcolor{darkblue}{Simulationsbeispiel} \vspace{2mm}

\tiny
\setstretch{1.1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# R Pakete für Matrizenrechnung}
\FunctionTok{library}\NormalTok{(matlib)}
\FunctionTok{library}\NormalTok{(expm)}

\CommentTok{\# Modellparameter}
\NormalTok{L }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{, }\DecValTok{0}\NormalTok{,}
             \DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{, }\DecValTok{0}\NormalTok{,}
             \DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\SpecialCharTok{{-}}\DecValTok{1}\NormalTok{),}
           \AttributeTok{nrow  =} \DecValTok{3}\NormalTok{,}
           \AttributeTok{byrow =}\NormalTok{ T)}
\NormalTok{G }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FloatTok{0.2}\NormalTok{,}\FloatTok{0.4}\NormalTok{,}\FloatTok{0.3}\NormalTok{))}

\CommentTok{\# Kovarianzmatrixpartition}
\NormalTok{Sigma\_xx }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\DecValTok{4}\NormalTok{)}
\NormalTok{Sigma\_xy }\OtherTok{=} \FunctionTok{t}\NormalTok{(L)}
\NormalTok{Sigma\_yx }\OtherTok{=}\NormalTok{ L}
\NormalTok{Sigma\_yy }\OtherTok{=}\NormalTok{ G }\SpecialCharTok{+}\NormalTok{ L }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(L)}
\NormalTok{Sigma    }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(Sigma\_xx, Sigma\_xy), }\FunctionTok{cbind}\NormalTok{(Sigma\_yx, Sigma\_yy))}
\FunctionTok{print}\NormalTok{(Sigma)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
>      [,1] [,2] [,3] [,4] [,5] [,6] [,7]
> [1,]    1    0    0    0  0.0  1.0  0.0
> [2,]    0    1    0    0  0.0  0.0  0.0
> [3,]    0    0    1    0  1.0  0.0  0.0
> [4,]    0    0    0    1  0.0  0.0 -1.0
> [5,]    0    0    1    0  1.2  0.0  0.0
> [6,]    1    0    0    0  0.0  1.4  0.0
> [7,]    0    0    0   -1  0.0  0.0  1.3
\end{verbatim}
\end{frame}

\begin{frame}[fragile]{Modellformulierung}
\protect\hypertarget{modellformulierung-15}{}
\textcolor{darkblue}{Simulationsbeispiel} \vspace{2mm} \tiny
\setstretch{1.2}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Evaluation der iten kanonischen Koeffizientenvektoren und Korrelationen}
\NormalTok{K      }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ Sigma\_xy }\SpecialCharTok{\%*\%} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_yy)) }\CommentTok{\# K}
\NormalTok{ALB    }\OtherTok{=} \FunctionTok{svd}\NormalTok{(K)                                                     }\CommentTok{\# K = A\textbackslash{}LambdaV}
\NormalTok{A      }\OtherTok{=}\NormalTok{ ALB}\SpecialCharTok{$}\NormalTok{u                                                      }\CommentTok{\# A}
\NormalTok{Lambda }\OtherTok{=}\NormalTok{ ALB}\SpecialCharTok{$}\NormalTok{d                                                      }\CommentTok{\# Lambda}
\NormalTok{B      }\OtherTok{=}\NormalTok{ ALB}\SpecialCharTok{$}\NormalTok{v                                                      }\CommentTok{\# B}
\NormalTok{rho    }\OtherTok{=}\NormalTok{ Lambda                                                     }\CommentTok{\# \textbackslash{}rho\_i = \textbackslash{}lambda\_i\^{}\{1/2\}}
\NormalTok{a      }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ A                                 }\CommentTok{\# a\_i = \textbackslash{}Sigma\_\{xx\}\^{}\{{-}1/2\}\textbackslash{}alpha\_i}
\NormalTok{b      }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_yy)) }\SpecialCharTok{\%*\%}\NormalTok{ B                                 }\CommentTok{\# b\_i = \textbackslash{}Sigma\_\{yy\}\^{}\{{-}1/2\}\textbackslash{}beta\_i}
\end{Highlighting}
\end{Shaded}

\footnotesize

Die kanonische Korrelationen und kanonischen Koeffizientenvektoren
ergeben sich zu

\begin{verbatim}
> rho_1 =  0.913 , a_1^T = ( 0 0 -1 0 ), b_1^T = ( -0.913 0 0 ) 
> rho_2 =  0.877 , a_2^T = ( 0 0 0 1 ) , b_2^T = ( 0 0 -0.877 ) 
> rho_3 =  0.845 , a_3^T = ( -1 0 0 0 ), b_3^T = ( 0 -0.845 0 )
\end{verbatim}
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung}{}
\setstretch{3}
\vfill
\large

Vorbemerkungen

Modellformulierung

\textbf{Modellschätzung}

Modellevaluation \vfill
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-1}{}
\footnotesize
\begin{definition}[Schätzer kanonischer Korrelationen und Koeffizientenvektoren]
Für $i = 1,...,n$ seien
\begin{equation}
Z_i = \begin{pmatrix} X_i \\ Y_i \end{pmatrix}
\mbox{ mit }
\mathbb{E}(Z_i) := 0_m
\mbox{ und }
\mathbb{C}(Z_i) :=
\begin{pmatrix}
\Sigma_{xx} & \Sigma_{xy} \\
\Sigma_{yx} & \Sigma_{yy} \\
\end{pmatrix}
\in \mathbb{R}^{m \times m}
\end{equation}
unabhängig und identisch verteilte  $m$-dimensionale partitionierte
Zufallsvektoren sowie ihr Erwartungswert und ihre Kovarianzmatrix, respektive, und
\begin{equation}
C :=
\begin{pmatrix}
C_{xx} & C_{xy} \\
C_{yx} & C_{yy} \\
\end{pmatrix}
\in \mathbb{R}^{m \times m}
\end{equation}
sei ihre Stichprobenkovarianzmatrix. Dann sind für $i = 1,...,k := \min \{m_x,m_y\}$
\begin{equation}
\hat{a}_i := C_{xx}^{-1/2}\hat{\alpha}_i \in \mathbb{R}^{m_x}, \quad
\hat{b}_i := C_{yy}^{-1/2}\hat{\beta}_i \in \mathbb{R}^{m_y} \mbox{ und }
\hat{\rho}_i := \hat{\lambda}_i^{1/2}
\end{equation}
Schätzer der $i$ten kanonischen Koeffizientenvektoren und kanonischen Korrelationen,
respektive. Dabei sind mit
\begin{equation}
\hat{K} := C_{xx}^{-1/2}C_{xy}C_{yy}^{-1/2} \in \mathbb{R}^{m_x \times m_y}
\end{equation}
$\hat{\alpha}_i$ und $\hat{\lambda}_i$ der $i$te Eigenvektor und sein zugehöriger
Eigenwert von $\hat{K}\hat{K}^T$ und $\hat{\beta}_i$ der entsprechende Eigenkvektor
von $\hat{K}^T\hat{K}$.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Zur Modellschätzung wird \(\mathbb{C}(Z)\) also durch \(C\) ersetzt.
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-2}{}
\textcolor{darkblue}{Simulationsbeispiel} \vspace{2mm}

\tiny
\setstretch{1.2}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# R Pakete}
\FunctionTok{library}\NormalTok{(MASS)}
\FunctionTok{library}\NormalTok{(matlib)}
\FunctionTok{library}\NormalTok{(expm)}

\CommentTok{\# Modellparameter}
\NormalTok{m\_x      }\OtherTok{=} \DecValTok{4}
\NormalTok{m\_y      }\OtherTok{=} \DecValTok{3}
\NormalTok{k        }\OtherTok{=} \FunctionTok{min}\NormalTok{(m\_x,m\_y)}
\NormalTok{L        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{1}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\DecValTok{0}\NormalTok{,}\SpecialCharTok{{-}}\DecValTok{1}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{3}\NormalTok{,}\AttributeTok{byrow =} \DecValTok{3}\NormalTok{)}
\NormalTok{G        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FloatTok{0.2}\NormalTok{,}\FloatTok{0.4}\NormalTok{,}\FloatTok{0.3}\NormalTok{))}
\NormalTok{Sigma\_xx }\OtherTok{=} \FunctionTok{diag}\NormalTok{(}\DecValTok{4}\NormalTok{)}
\NormalTok{Sigma\_xy }\OtherTok{=} \FunctionTok{t}\NormalTok{(L)}
\NormalTok{Sigma\_yx }\OtherTok{=}\NormalTok{ L}
\NormalTok{Sigma\_yy }\OtherTok{=}\NormalTok{ G }\SpecialCharTok{+}\NormalTok{ L }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(L)}
\NormalTok{Sigma    }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(Sigma\_xx, Sigma\_xy), }\FunctionTok{cbind}\NormalTok{(Sigma\_yx, Sigma\_yy))}
\NormalTok{K        }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ Sigma\_xy }\SpecialCharTok{\%*\%} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_yy))}
\NormalTok{ALB      }\OtherTok{=} \FunctionTok{svd}\NormalTok{(K)}
\NormalTok{A        }\OtherTok{=}\NormalTok{ ALB}\SpecialCharTok{$}\NormalTok{u}
\NormalTok{Lambda   }\OtherTok{=}\NormalTok{ ALB}\SpecialCharTok{$}\NormalTok{d}
\NormalTok{B        }\OtherTok{=}\NormalTok{ ALB}\SpecialCharTok{$}\NormalTok{v}
\NormalTok{rho      }\OtherTok{=}\NormalTok{ Lambda}
\NormalTok{a        }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ A}
\NormalTok{b        }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(Sigma\_yy)) }\SpecialCharTok{\%*\%}\NormalTok{ B}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}[fragile]{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-3}{}
\textcolor{darkblue}{Simulationsbeispiel}

\vspace{2mm}
\tiny
\setstretch{1.2}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Simulationen}
\NormalTok{n       }\OtherTok{=} \FloatTok{1e1}\SpecialCharTok{:}\FloatTok{1e3}
\NormalTok{rho\_hat }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, }\FunctionTok{length}\NormalTok{(n)}\SpecialCharTok{*}\NormalTok{k)  , }\AttributeTok{nrow =}\NormalTok{ k)}
\NormalTok{a\_1\_hat }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, }\FunctionTok{length}\NormalTok{(n)}\SpecialCharTok{*}\NormalTok{m\_x), }\AttributeTok{nrow =}\NormalTok{ m\_x)}
\ControlFlowTok{for}\NormalTok{(i }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\FunctionTok{length}\NormalTok{(n))\{}

    \CommentTok{\# Datengeneration}
\NormalTok{    Y          }\OtherTok{=} \FunctionTok{t}\NormalTok{(}\FunctionTok{mvrnorm}\NormalTok{(n[i],}\FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{, m\_x}\SpecialCharTok{+}\NormalTok{m\_y),Sigma))}
\NormalTok{    I\_n        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n[i])}
\NormalTok{    J\_n        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n[i]}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ n[i])}

    \CommentTok{\# Stichprobenkovarianzmatrixpartition}
\NormalTok{    C          }\OtherTok{=}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{(n[i]}\SpecialCharTok{{-}}\DecValTok{1}\NormalTok{))}\SpecialCharTok{*}\NormalTok{(Y }\SpecialCharTok{\%*\%}\NormalTok{ (I\_n}\SpecialCharTok{{-}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n[i])}\SpecialCharTok{*}\NormalTok{J\_n) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(Y))}
\NormalTok{    C\_xx       }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x]}
\NormalTok{    C\_xy       }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}
\NormalTok{    C\_yx       }\OtherTok{=}\NormalTok{ C[(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y),}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x]}
\NormalTok{    C\_yy       }\OtherTok{=}\NormalTok{ C[(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y),(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}

    \CommentTok{\# Kanonische Korrelationsanalyse}
\NormalTok{    K\_hat        }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ C\_xy }\SpecialCharTok{\%*\%} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_yy))}
\NormalTok{    ALB\_hat      }\OtherTok{=} \FunctionTok{svd}\NormalTok{(K\_hat)}
\NormalTok{    A\_hat        }\OtherTok{=}\NormalTok{ ALB\_hat}\SpecialCharTok{$}\NormalTok{u}
\NormalTok{    Lambda\_hat   }\OtherTok{=}\NormalTok{ ALB\_hat}\SpecialCharTok{$}\NormalTok{d}
\NormalTok{    B\_hat        }\OtherTok{=}\NormalTok{ ALB\_hat}\SpecialCharTok{$}\NormalTok{v}
\NormalTok{    a\_hat        }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ A\_hat}
\NormalTok{    b\_hat        }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_yy)) }\SpecialCharTok{\%*\%}\NormalTok{ B\_hat}
\NormalTok{    rho\_hat[,i]  }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(Lambda\_hat)}
\NormalTok{    a\_1\_hat[,i]  }\OtherTok{=}\NormalTok{ a\_hat[,}\DecValTok{1}\NormalTok{]}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-4}{}
\textcolor{darkblue}{Simulationsbeispiel} \vspace{3mm}

\begin{center}\includegraphics[width=0.85\linewidth]{12_Abbildungen/mvda_12_modellschätzung_1} \end{center}
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-5}{}
\textcolor{darkblue}{Simulationsbeispiel} \vspace{3mm}

\begin{center}\includegraphics[width=0.85\linewidth]{12_Abbildungen/mvda_12_modellschätzung_2} \end{center}
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-6}{}
\textcolor{darkblue}{Anwendungsbeispiel} \small

Wir betrachten erneut den Datensatz nach Rudolf and Buse (2020) Kapitel
4

Wir betrachten die psychodiagnostischen Daten der \(n = 45\)
Studierenden

\begin{itemize}
\tightlist
\item
  \(X_1\) Intelligenztestscore
\item
  \(X_2\) Mathematiktestscore
\item
  \(Y_1\) Gewissenhaftigkeitscore
\item
  \(Y_2\) Verträglichkeitscore
\end{itemize}

als 45 unabhängige Realisierungen eines \(4\)-dimensionaler
Zufallsvektors \(Z\). Wir sind also an den kanonischen Korrelationen der
Kognitionstestwerte (Intelligenz, Mathematik) mit den
Charaktertestwerten (Gewissenhaftigkeit, Veträglichkeit) interessiert.
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-7}{}
\textcolor{darkblue}{Anwendungsbeispiel} \small

Daten der ersten 12 Proband:innen

\setstretch{1.2}

\begin{longtable}[]{@{}cccc@{}}
\toprule()
x1 & x2 & y1 & y2 \\
\midrule()
\endhead
54 & 44 & 31 & 60 \\
60 & 20 & 33 & 31 \\
67 & 36 & 26 & 54 \\
41 & 39 & 31 & 26 \\
66 & 57 & 34 & 56 \\
51 & 28 & 42 & 23 \\
51 & 46 & 34 & 40 \\
37 & 46 & 36 & 31 \\
57 & 54 & 28 & 49 \\
47 & 12 & 34 & 41 \\
50 & 67 & 27 & 53 \\
42 & 63 & 26 & 36 \\
\bottomrule()
\end{longtable}
\end{frame}

\begin{frame}[fragile]{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-8}{}
\textcolor{darkblue}{Anwendungsbeispiel} \small

Kanonische Korrelationsanalyse \vspace{1mm}

\tiny
\setstretch{.9}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Datenpräprozessierung}
\NormalTok{D          }\OtherTok{=} \FunctionTok{read.spss}\NormalTok{(}\FunctionTok{file.path}\NormalTok{(}\FunctionTok{getwd}\NormalTok{(), }\StringTok{"12\_Daten"}\NormalTok{, }\StringTok{"studienerfolg.sav"}\NormalTok{), }\AttributeTok{to.data.frame =}\NormalTok{ T)}
\NormalTok{x          }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(D}\SpecialCharTok{$}\NormalTok{X1, D}\SpecialCharTok{$}\NormalTok{X2))}
\NormalTok{y          }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(D}\SpecialCharTok{$}\NormalTok{X3, D}\SpecialCharTok{$}\NormalTok{X4))}
\NormalTok{n          }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(x)}
\NormalTok{m\_x        }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x)}
\NormalTok{m\_y        }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(y)}
\NormalTok{Y          }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\FunctionTok{t}\NormalTok{(x),}\FunctionTok{t}\NormalTok{(y))}

\CommentTok{\# Stichprobenkovarianzmatrixpartition}
\NormalTok{I\_n        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)}
\NormalTok{J\_n        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ n)}
\NormalTok{C          }\OtherTok{=}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{(n}\DecValTok{{-}1}\NormalTok{))}\SpecialCharTok{*}\NormalTok{(Y }\SpecialCharTok{\%*\%}\NormalTok{ (I\_n}\SpecialCharTok{{-}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n)}\SpecialCharTok{*}\NormalTok{J\_n) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(Y))}
\NormalTok{C\_xx       }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x]}
\NormalTok{C\_xy       }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}
\NormalTok{C\_yx       }\OtherTok{=}\NormalTok{ C[(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y),}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x]}
\NormalTok{C\_yy       }\OtherTok{=}\NormalTok{ C[(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y),(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}

\CommentTok{\# Kanonische Korrelationsanalyse}
\NormalTok{K\_hat      }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ C\_xy }\SpecialCharTok{\%*\%} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_yy))}
\NormalTok{ALB\_hat    }\OtherTok{=} \FunctionTok{svd}\NormalTok{(K\_hat)}
\NormalTok{A\_hat      }\OtherTok{=}\NormalTok{ ALB\_hat}\SpecialCharTok{$}\NormalTok{u}
\NormalTok{Lambda\_hat }\OtherTok{=}\NormalTok{ ALB\_hat}\SpecialCharTok{$}\NormalTok{d}
\NormalTok{B\_hat      }\OtherTok{=}\NormalTok{ ALB\_hat}\SpecialCharTok{$}\NormalTok{v}
\NormalTok{a\_hat      }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_xx)) }\SpecialCharTok{\%*\%}\NormalTok{ A\_hat}
\NormalTok{b\_hat      }\OtherTok{=} \FunctionTok{sqrtm}\NormalTok{(}\FunctionTok{inv}\NormalTok{(C\_yy)) }\SpecialCharTok{\%*\%}\NormalTok{ B\_hat}
\NormalTok{rho\_hat    }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(Lambda\_hat)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> rho_hat_1 :  0.245 
> a_hat_1   :  0.0152 0.0497 
> b_hat_1   :  0.143 0.0412 
> rho_hat_2 :  0.133 
> a_hat_2   :  0.0905 -0.0132 
> b_hat_2   :  -0.0484 0.0764
\end{verbatim}
\end{frame}

\begin{frame}[fragile]{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-9}{}
\textcolor{darkblue}{Anwendungsbeispiel} \small

Kanonische Korrelationsanalyse mir R's \texttt{cancor()} Funktion

\vspace{1mm}

\tiny
\setstretch{1}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Datenpräprozessierung}
\NormalTok{D          }\OtherTok{=} \FunctionTok{read.spss}\NormalTok{(}\FunctionTok{file.path}\NormalTok{(}\FunctionTok{getwd}\NormalTok{(), }\StringTok{"12\_Daten"}\NormalTok{, }\StringTok{"studienerfolg.sav"}\NormalTok{), }\AttributeTok{to.data.frame =}\NormalTok{ T)}
\NormalTok{x          }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(D}\SpecialCharTok{$}\NormalTok{X1, D}\SpecialCharTok{$}\NormalTok{X2))}
\NormalTok{y          }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(D}\SpecialCharTok{$}\NormalTok{X3, D}\SpecialCharTok{$}\NormalTok{X4))}
\NormalTok{cca        }\OtherTok{=} \FunctionTok{cancor}\NormalTok{(x,y)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> $cor
> [1] 0.245 0.133
> 
> $xcoef
>         [,1]     [,2]
> [1,] 0.00229  0.01364
> [2,] 0.00749 -0.00199
> 
> $ycoef
>         [,1]    [,2]
> [1,] 0.02161 -0.0073
> [2,] 0.00621  0.0115
> 
> $xcenter
> [1] 59.0 57.2
> 
> $ycenter
> [1] 36.4 39.1
\end{verbatim}
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-10}{}
\textcolor{darkblue}{Anwendungsbeispiel}

\vspace{2mm}

\small

Die geschätzte maximale Korrelation von Linearkombinationen von
\((x_1,x_2)\) und \((y_1,y_2)\) ist 0.25.

\begin{itemize}
\tightlist
\item
  \((x_1,x_2)\) und \((y_1,y_2)\) sind multivariat also ``gering bis
  mäßig'' korreliert.
\end{itemize}

Basierend auf der simulationsvalidierten Schätzung ergibt sich

\begin{itemize}
\tightlist
\item
  \(\xi = 0.02X_1 + 0.05X_2\) als ``bester Prädiktor''
\item
  \(\upsilon = 0.09Y_1 - 0.01Y_2\) als ``am besten prädizierbares
  Kriterium''
\end{itemize}

``Mathematikfähigkeiten'' scheinen zur Prädiktion der betrachteten
``Charaktereigenschaften'' etwas wichtiger als ``Intelligenz''; bei den
betrachteten ``Charaktereigenschaften'' trägt ``Gewissenhaftigkeit''
mehr zum Kriterium bei als ``Verträglichkeit''.
\end{frame}

\begin{frame}{Modellschätzung}
\protect\hypertarget{modellschuxe4tzung-11}{}
\setstretch{3}
\vfill
\large

Vorbemerkungen

Modellformulierung

Modellschätzung

\textbf{Modellevaluation}
\end{frame}

\begin{frame}{Modellevaluation}
\protect\hypertarget{modellevaluation}{}
\textcolor{darkblue}{Überblick}

\footnotesize

Ein Ziel der Modellevaluation bei der Kanonischen Korrelationsanalyse
kann das Testen von \begin{equation}
H_0 : \Sigma_{xy} = 0_{m_xm_y}
\end{equation} sein. Diese Nullhypothese besagt, dass zwischen keiner
der Variablen \(X_1,...,X_{m_x}\) und \(Y_1,...,Y_{m_y}\) eine lineare
Abhängigkeit besteht. Dies impliziert, dass alle kanonischen
Korrelationen gleich 0 sind, denn es gilt \begin{equation}
\Sigma_{xy} = 0_{m_xm_y} \Rightarrow K = 0_{m_xm_y} \Rightarrow \Lambda = 0_{m_ym_y}.
\end{equation} Die Alternativhypothese zu dieser Nullhypothese lautet
\begin{equation}
H_1 : \Sigma_{{xy}_{i,j}} \neq 0 
\mbox{ für mindestens ein Paar } (i,j)
\mbox{ mit } 1 \le i \le m_x \mbox{ und } 1 \le j \le m_y.
\end{equation} Die Alternativhypothese besagt also, dass mindestens eine
der Variablen \(X_1,...,X_{m_x}\) und eine der Variablen
\(Y_1,...,Y_{m_y}\) linear abhängig sind und damit nicht alle
kanonischen Korrelationen gleich null sind.

Wie bei der einfaktoriellen Varianzanalyse (und generell im Kontext
multivariater allgemeiner lineare Modelle) können kritische
Wert-basierte Tests der obigen Nullhypothese mit verschiedenen
Teststatistiken (\textit{Wilks' $\Lambda$, Pillai Statisik}) konstruiert
werden, der Verteilungen wiederum nur in Speziallfällen analytisch
beschrieben sind und ansonsten mit \(f\)-Verteilungen approximiert
werden.

Wir betrachten hier lediglich das Testen der obigen Nullhypothese mit
der Wilk's \(\Lambda\) Statistik.
\end{frame}

\begin{frame}{Modellevaluation}
\protect\hypertarget{modellevaluation-1}{}
\footnotesize
\begin{theorem}[Wilks' $\Lambda$ für die kanonische Korrelationsanalyse]
\justifying
\normalfont
Es seien das Modell der kanonischen Korrelationsanalyse, die Partition
der Stichprobenkovarianzmatrix, und die Schätzer der kanonischen Korrelationen
definiert wie oben. Dann hat die die Wilks' $\Lambda$ Teststatistik die Form
\begin{equation}
\Lambda = \frac{|C|}{|C_{xx}||C_{yy}|} = \prod_{i=1}^k \left(1 - \hat{\rho}_i^2\right),
\end{equation}
wobei $|\cdot|$ die Determinante bezeichnet. Weiterhin ist für
\begin{equation}
H_0 : \Sigma_{xy} = 0_{m_xm_y}
\end{equation}
die Statistik
\begin{equation}
\tau := \frac{1 - \Lambda^{1/t}}{\Lambda^{1/t}} \frac{\nu_2}{\nu_1}
\end{equation}
mit
\begin{equation}
\nu_1 := m_xm_y
\mbox{ und }
\nu_2 := wt-\frac{1}{2}m_xm_y + 1
\end{equation}
sowie
\begin{equation}
w := n - \frac{1}{2}(m_x + m_y + 3)
\mbox{ und }
t   := \sqrt{\frac{m_x^2m_y^2 - 4}{m_x^2 + m_y^2 - 5}}
\end{equation}
approximativ $f$-verteilt mit den Freiheitsgradparametern $\nu_1$ und $\nu_2$.
\end{theorem}
\end{frame}

\begin{frame}{Modellevaluation}
\protect\hypertarget{modellevaluation-2}{}
Bemerkungen \setstretch{2.4} \small

\begin{itemize}
\tightlist
\item
  Wir verzichten auf Beweise aller Aussagen dieses Theorems.
\item
  \(\Lambda\) wird klein, wenn die absoluten Werte der Einträge in
  \(C_{xy}\) groß werden.
\item
  Man denke in diesem Zusammenhang an das Berechnen der Determinante
  einer \(2 \times 2\) Matrix.
\item
  \(\Lambda\) wird klein, wenn zumindest ein \(\hat{\rho}_i\) groß ist
\item
  Für \(\hat{\rho}_i = 0\) für alle \(i = 1,...,k\) gilt
  \(\Lambda = 1\); für \(\hat{\rho}_i = 1\) für alle \(i = 1,...,k\)
  gilt \(\Lambda = 0\)
\item
  Kleine Werte von \(\Lambda\) und damit große Werte von \(\tau\)
  sprechen also gegen \(H_0\).
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Modellevaluation}
\protect\hypertarget{modellevaluation-3}{}
\textcolor{darkblue}{Simulationsbeispiel}

\vspace{2mm}
\tiny
\setstretch{.9}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Modellparameter}
\FunctionTok{library}\NormalTok{(MASS)}
\NormalTok{m\_x      }\OtherTok{=} \DecValTok{2}
\NormalTok{m\_y      }\OtherTok{=} \DecValTok{2}
\NormalTok{Sigma\_xx }\OtherTok{=} \FunctionTok{diag}\NormalTok{(m\_x)}
\NormalTok{Sigma\_xy }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{,m\_x}\SpecialCharTok{*}\NormalTok{m\_y), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)              }\CommentTok{\# H\_0 : \textbackslash{}Sigma\_\{xy\} = 0\_\{m\_xm\_y\}                                      }
\NormalTok{Sigma\_yx }\OtherTok{=}\NormalTok{ Sigma\_xy}
\NormalTok{Sigma\_yy }\OtherTok{=} \FunctionTok{diag}\NormalTok{(m\_y)}
\NormalTok{Sigma    }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(Sigma\_xx, Sigma\_xy), }
                 \FunctionTok{cbind}\NormalTok{(Sigma\_yx, Sigma\_yy))}
\CommentTok{\# Testszenarioparameter}
\NormalTok{n        }\OtherTok{=} \DecValTok{45}                                            \CommentTok{\# Anzahl Datenpunkte}
\NormalTok{w        }\OtherTok{=}\NormalTok{ n}\SpecialCharTok{{-}}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y}\SpecialCharTok{+}\DecValTok{3}\NormalTok{))                         }
\NormalTok{t        }\OtherTok{=} \FunctionTok{sqrt}\NormalTok{((m\_x}\SpecialCharTok{\^{}}\DecValTok{2}\SpecialCharTok{*}\NormalTok{m\_y}\SpecialCharTok{\^{}}\DecValTok{2} \SpecialCharTok{{-}} \DecValTok{4}\NormalTok{)}\SpecialCharTok{/}\NormalTok{((m\_x}\SpecialCharTok{\^{}}\DecValTok{2}\SpecialCharTok{+}\NormalTok{m\_y}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{)}\SpecialCharTok{{-}}\DecValTok{5}\NormalTok{))   }
\NormalTok{nu\_1     }\OtherTok{=}\NormalTok{ m\_x}\SpecialCharTok{*}\NormalTok{m\_y                                 }
\NormalTok{nu\_2     }\OtherTok{=}\NormalTok{ w}\SpecialCharTok{*}\NormalTok{t}\SpecialCharTok{{-}}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{m\_x}\SpecialCharTok{*}\NormalTok{m\_y) }\SpecialCharTok{+} \DecValTok{1}                  
\NormalTok{alpha\_0  }\OtherTok{=} \FloatTok{0.05}                                          \CommentTok{\# Signifikanzlevel}
\NormalTok{kW       }\OtherTok{=} \FunctionTok{qf}\NormalTok{(}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{alpha\_0,nu\_1,nu\_2)                       }\CommentTok{\# kritischer Wert }

\CommentTok{\# Simulationen}
\NormalTok{sim      }\OtherTok{=} \FloatTok{1e5}                                           \CommentTok{\# Anzahl an Simulationen}
\NormalTok{tau      }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\ConstantTok{NaN}\NormalTok{, sim)                                 }\CommentTok{\# Teststatistikarray}
\NormalTok{phi      }\OtherTok{=} \FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{,   sim)                                 }\CommentTok{\# Testarray}
\ControlFlowTok{for}\NormalTok{(s }\ControlFlowTok{in} \DecValTok{1}\SpecialCharTok{:}\NormalTok{sim)\{}
\NormalTok{    Y      }\OtherTok{=} \FunctionTok{t}\NormalTok{(}\FunctionTok{mvrnorm}\NormalTok{(n,}\FunctionTok{rep}\NormalTok{(}\DecValTok{0}\NormalTok{, m\_x}\SpecialCharTok{+}\NormalTok{m\_y),Sigma))         }\CommentTok{\# Datengeneration}
\NormalTok{    I\_n    }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)}
\NormalTok{    J\_n    }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ n)}
\NormalTok{    C      }\OtherTok{=}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{(n}\DecValTok{{-}1}\NormalTok{))}\SpecialCharTok{*}\NormalTok{(Y }\SpecialCharTok{\%*\%}\NormalTok{ (I\_n}\SpecialCharTok{{-}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n)}\SpecialCharTok{*}\NormalTok{J\_n) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(Y))  }\CommentTok{\# Stichprobenkovarianzmatrix}
\NormalTok{    C\_xx   }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x]}
\NormalTok{    C\_xy   }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}
\NormalTok{    C\_yy   }\OtherTok{=}\NormalTok{ C[(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y),(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}
\NormalTok{    Lambda }\OtherTok{=} \FunctionTok{det}\NormalTok{(C)}\SpecialCharTok{/}\NormalTok{(}\FunctionTok{det}\NormalTok{(C\_xx)}\SpecialCharTok{*}\FunctionTok{det}\NormalTok{(C\_yy))                }\CommentTok{\# Wilk\textquotesingle{}s Lambda           }
\NormalTok{    tau[s] }\OtherTok{=}\NormalTok{ ((}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{Lambda}\SpecialCharTok{\^{}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{t))}\SpecialCharTok{/}\NormalTok{Lambda}\SpecialCharTok{\^{}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{t))}\SpecialCharTok{*}\NormalTok{(nu\_2}\SpecialCharTok{/}\NormalTok{nu\_1) }\CommentTok{\# \textbackslash{}tau}
\NormalTok{    phi[s] }\OtherTok{=}\NormalTok{ tau[s] }\SpecialCharTok{\textgreater{}}\NormalTok{ kW                                 }\CommentTok{\# Test}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Modellevaluation}
\protect\hypertarget{modellevaluation-4}{}
\textcolor{darkblue}{Simulationsbeispiel} \vspace{2mm} \center \small
\(n = 45, m_x = 2, m_y = 2, \nu_1 = 4, \nu_2 = 82, k = 2.48, \hat{\alpha} = 0.0498\)

\begin{center}\includegraphics[width=0.7\linewidth]{12_Abbildungen/mvda_12_approximative_lambda_verteilungen} \end{center}
\end{frame}

\begin{frame}[fragile]{Modellevaluation}
\protect\hypertarget{modellevaluation-5}{}
\textcolor{darkblue}{Simulationsbeispiel} \vspace{1mm}

\tiny
\setstretch{.8}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Datenpräprozessierung}
\FunctionTok{library}\NormalTok{(foreign)}
\NormalTok{D          }\OtherTok{=} \FunctionTok{read.spss}\NormalTok{(}\FunctionTok{file.path}\NormalTok{(}\FunctionTok{getwd}\NormalTok{(), }\StringTok{"12\_Daten"}\NormalTok{, }\StringTok{"studienerfolg.sav"}\NormalTok{), }\AttributeTok{to.data.frame =}\NormalTok{ T)}
\NormalTok{x          }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(D}\SpecialCharTok{$}\NormalTok{X1, D}\SpecialCharTok{$}\NormalTok{X2))}
\NormalTok{y          }\OtherTok{=} \FunctionTok{as.matrix}\NormalTok{(}\FunctionTok{cbind}\NormalTok{(D}\SpecialCharTok{$}\NormalTok{X3, D}\SpecialCharTok{$}\NormalTok{X4))}
\NormalTok{n          }\OtherTok{=} \FunctionTok{nrow}\NormalTok{(x)}
\NormalTok{m\_x        }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(x)}
\NormalTok{m\_y        }\OtherTok{=} \FunctionTok{ncol}\NormalTok{(y)}
\NormalTok{Y          }\OtherTok{=} \FunctionTok{rbind}\NormalTok{(}\FunctionTok{t}\NormalTok{(x),}\FunctionTok{t}\NormalTok{(y))}

\CommentTok{\# Testszenarioparameter}
\NormalTok{w        }\OtherTok{=}\NormalTok{ n}\SpecialCharTok{{-}}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y}\SpecialCharTok{+}\DecValTok{3}\NormalTok{))                         }
\NormalTok{t        }\OtherTok{=} \FunctionTok{sqrt}\NormalTok{((m\_x}\SpecialCharTok{\^{}}\DecValTok{2}\SpecialCharTok{*}\NormalTok{m\_y}\SpecialCharTok{\^{}}\DecValTok{2} \SpecialCharTok{{-}} \DecValTok{4}\NormalTok{)}\SpecialCharTok{/}\NormalTok{((m\_x}\SpecialCharTok{\^{}}\DecValTok{2}\SpecialCharTok{+}\NormalTok{m\_y}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{)}\SpecialCharTok{{-}}\DecValTok{5}\NormalTok{))   }
\NormalTok{nu\_1     }\OtherTok{=}\NormalTok{ m\_x}\SpecialCharTok{*}\NormalTok{m\_y                                 }
\NormalTok{nu\_2     }\OtherTok{=}\NormalTok{ w}\SpecialCharTok{*}\NormalTok{t}\SpecialCharTok{{-}}\NormalTok{((}\DecValTok{1}\SpecialCharTok{/}\DecValTok{2}\NormalTok{)}\SpecialCharTok{*}\NormalTok{m\_x}\SpecialCharTok{*}\NormalTok{m\_y) }\SpecialCharTok{+} \DecValTok{1}                  
\NormalTok{alpha\_0  }\OtherTok{=} \FloatTok{0.05}                                           
\NormalTok{k        }\OtherTok{=} \FunctionTok{qf}\NormalTok{(}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{alpha\_0,nu\_1,nu\_2)                        }

\CommentTok{\# Stichprobenkovarianzmatrixpartition}
\NormalTok{I\_n        }\OtherTok{=} \FunctionTok{diag}\NormalTok{(n)}
\NormalTok{J\_n        }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{rep}\NormalTok{(}\DecValTok{1}\NormalTok{,n}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{), }\AttributeTok{nrow =}\NormalTok{ n)}
\NormalTok{C          }\OtherTok{=}\NormalTok{ (}\DecValTok{1}\SpecialCharTok{/}\NormalTok{(n}\DecValTok{{-}1}\NormalTok{))}\SpecialCharTok{*}\NormalTok{(Y }\SpecialCharTok{\%*\%}\NormalTok{ (I\_n}\SpecialCharTok{{-}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{n)}\SpecialCharTok{*}\NormalTok{J\_n) }\SpecialCharTok{\%*\%} \FunctionTok{t}\NormalTok{(Y))}
\NormalTok{C\_xx       }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x]}
\NormalTok{C\_xy       }\OtherTok{=}\NormalTok{ C[}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x,(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}
\NormalTok{C\_yx       }\OtherTok{=}\NormalTok{ C[(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y),}\DecValTok{1}\SpecialCharTok{:}\NormalTok{m\_x]}
\NormalTok{C\_yy       }\OtherTok{=}\NormalTok{ C[(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y),(m\_x}\SpecialCharTok{+}\DecValTok{1}\NormalTok{)}\SpecialCharTok{:}\NormalTok{(m\_x}\SpecialCharTok{+}\NormalTok{m\_y)]}

\CommentTok{\# Nullhypothesentest}
\NormalTok{Lambda     }\OtherTok{=} \FunctionTok{det}\NormalTok{(C)}\SpecialCharTok{/}\NormalTok{(}\FunctionTok{det}\NormalTok{(C\_xx)}\SpecialCharTok{*}\FunctionTok{det}\NormalTok{(C\_yy))                        }
\NormalTok{tau        }\OtherTok{=}\NormalTok{ ((}\DecValTok{1}\SpecialCharTok{{-}}\NormalTok{Lambda}\SpecialCharTok{\^{}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{t))}\SpecialCharTok{/}\NormalTok{Lambda}\SpecialCharTok{\^{}}\NormalTok{(}\DecValTok{1}\SpecialCharTok{/}\NormalTok{t))}\SpecialCharTok{*}\NormalTok{(nu\_2}\SpecialCharTok{/}\NormalTok{nu\_1)  }
\NormalTok{phi        }\OtherTok{=}\NormalTok{ tau }\SpecialCharTok{\textgreater{}}\NormalTok{ k                                      }
\NormalTok{pval       }\OtherTok{=} \DecValTok{1} \SpecialCharTok{{-}} \FunctionTok{pf}\NormalTok{(tau,nu\_1,nu\_2)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
> Lambda : 0.924 
> tau    : 0.831 
> k      : 2.48 
> phi    : 0 
> p      : 0.509
\end{verbatim}

\small
\center

\(\Rightarrow\) \(H_0 : \Sigma_{xy} = 0_{m_xm_y}\) wird nicht verworfen.
\end{frame}

\begin{frame}{References}
\protect\hypertarget{references}{}
\footnotesize

\hypertarget{refs}{}
\begin{CSLReferences}{1}{0}
\leavevmode\vadjust pre{\hypertarget{ref-anderson_2003}{}}%
Anderson, T. W. 2003. \emph{An Introduction to Multivariate Statistical
Analysis}. 3rd ed. Wiley Series in Probability and Statistics. {Hoboken,
N.J}: {Wiley-Interscience}.

\leavevmode\vadjust pre{\hypertarget{ref-mardia_1979}{}}%
Mardia, K. V., J. T. Kent, and J. M. Bibby. 1979. \emph{Multivariate
Analysis}. Probability and Mathematical Statistics. {London ; New York}:
{Academic Press}.

\leavevmode\vadjust pre{\hypertarget{ref-rudolf_2020}{}}%
Rudolf, Matthias, and Johannes Buse. 2020. \emph{Multivariate
{Verfahren}}. {Göttingen}: {Hogrefe}.

\leavevmode\vadjust pre{\hypertarget{ref-uurtio_2018a}{}}%
Uurtio, Viivi, João M. Monteiro, Jaz Kandola, John Shawe-Taylor, Delmiro
Fernandez-Reyes, and Juho Rousu. 2018. {``A {Tutorial} on {Canonical
Correlation Methods}.''} \emph{ACM Computing Surveys} 50 (6): 1--33.
\url{https://doi.org/10.1145/3136624}.

\end{CSLReferences}
\end{frame}

\end{document}
