% Options for packages loaded elsewhere
\PassOptionsToPackage{unicode}{hyperref}
\PassOptionsToPackage{hyphens}{url}
%
\documentclass[
  8pt,
  ignorenonframetext,
]{beamer}
\usepackage{pgfpages}
\setbeamertemplate{caption}[numbered]
\setbeamertemplate{caption label separator}{: }
\setbeamercolor{caption name}{fg=normal text.fg}
\beamertemplatenavigationsymbolsempty
% Prevent slide breaks in the middle of a paragraph
\widowpenalties 1 10000
\raggedbottom
\setbeamertemplate{part page}{
  \centering
  \begin{beamercolorbox}[sep=16pt,center]{part title}
    \usebeamerfont{part title}\insertpart\par
  \end{beamercolorbox}
}
\setbeamertemplate{section page}{
  \centering
  \begin{beamercolorbox}[sep=12pt,center]{part title}
    \usebeamerfont{section title}\insertsection\par
  \end{beamercolorbox}
}
\setbeamertemplate{subsection page}{
  \centering
  \begin{beamercolorbox}[sep=8pt,center]{part title}
    \usebeamerfont{subsection title}\insertsubsection\par
  \end{beamercolorbox}
}
\AtBeginPart{
  \frame{\partpage}
}
\AtBeginSection{
  \ifbibliography
  \else
    \frame{\sectionpage}
  \fi
}
\AtBeginSubsection{
  \frame{\subsectionpage}
}
\usepackage{amsmath,amssymb}
\usepackage{lmodern}
\usepackage{iftex}
\ifPDFTeX
  \usepackage[T1]{fontenc}
  \usepackage[utf8]{inputenc}
  \usepackage{textcomp} % provide euro and other symbols
\else % if luatex or xetex
  \usepackage{unicode-math}
  \defaultfontfeatures{Scale=MatchLowercase}
  \defaultfontfeatures[\rmfamily]{Ligatures=TeX,Scale=1}
\fi
% Use upquote if available, for straight quotes in verbatim environments
\IfFileExists{upquote.sty}{\usepackage{upquote}}{}
\IfFileExists{microtype.sty}{% use microtype if available
  \usepackage[]{microtype}
  \UseMicrotypeSet[protrusion]{basicmath} % disable protrusion for tt fonts
}{}
\makeatletter
\@ifundefined{KOMAClassName}{% if non-KOMA class
  \IfFileExists{parskip.sty}{%
    \usepackage{parskip}
  }{% else
    \setlength{\parindent}{0pt}
    \setlength{\parskip}{6pt plus 2pt minus 1pt}}
}{% if KOMA class
  \KOMAoptions{parskip=half}}
\makeatother
\usepackage{xcolor}
\newif\ifbibliography
\usepackage{color}
\usepackage{fancyvrb}
\newcommand{\VerbBar}{|}
\newcommand{\VERB}{\Verb[commandchars=\\\{\}]}
\DefineVerbatimEnvironment{Highlighting}{Verbatim}{commandchars=\\\{\}}
% Add ',fontsize=\small' for more characters per line
\usepackage{framed}
\definecolor{shadecolor}{RGB}{248,248,248}
\newenvironment{Shaded}{\begin{snugshade}}{\end{snugshade}}
\newcommand{\AlertTok}[1]{\textcolor[rgb]{0.94,0.16,0.16}{#1}}
\newcommand{\AnnotationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\AttributeTok}[1]{\textcolor[rgb]{0.77,0.63,0.00}{#1}}
\newcommand{\BaseNTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\BuiltInTok}[1]{#1}
\newcommand{\CharTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\CommentTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\CommentVarTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ConstantTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ControlFlowTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\DataTypeTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{#1}}
\newcommand{\DecValTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\DocumentationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ErrorTok}[1]{\textcolor[rgb]{0.64,0.00,0.00}{\textbf{#1}}}
\newcommand{\ExtensionTok}[1]{#1}
\newcommand{\FloatTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\FunctionTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ImportTok}[1]{#1}
\newcommand{\InformationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\KeywordTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\NormalTok}[1]{#1}
\newcommand{\OperatorTok}[1]{\textcolor[rgb]{0.81,0.36,0.00}{\textbf{#1}}}
\newcommand{\OtherTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{#1}}
\newcommand{\PreprocessorTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\RegionMarkerTok}[1]{#1}
\newcommand{\SpecialCharTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\SpecialStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\StringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\VariableTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\VerbatimStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\WarningTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\setlength{\emergencystretch}{3em} % prevent overfull lines
\providecommand{\tightlist}{%
  \setlength{\itemsep}{0pt}\setlength{\parskip}{0pt}}
\setcounter{secnumdepth}{-\maxdimen} % remove section numbering
% type setting
% ------------------------------------------------------------------------------
\usepackage[german]{babel}     

% fonts
% ------------------------------------------------------------------------------
\usefonttheme{professionalfonts}

% slide title and horizontal line
% ------------------------------------------------------------------------------
\setbeamertemplate{frametitle}{%
    \vskip-30pt \color{black}\large%
    \begin{minipage}[b][23pt]{120mm}%
    \flushleft\insertframetitle%
    \end{minipage}%
}

\setbeamertemplate{headline}										
{
\vskip10pt\hfill\hspace{3.5mm} 										 
\vskip15pt\color{black}\rule{\textwidth}{0.4pt} 					 
}

% slide number
% ---------------------------------------------------------------
\setbeamertemplate{navigation symbols}{}
\setbeamertemplate{footline}
{
\vskip5pt
\vskip2pt
\makebox[123mm]{\hspace{7.5mm}
\hfill Multivariate Datenanalyse $\vert$ 
\copyright $ $ 2022 Dirk Ostwald CC BY-NC-SA 4.0 $\vert$ 
Folie \insertframenumber}
\vskip4pt
}

% block color scheme
% ------------------------------------------------------------------------------
% colors
\definecolor{white}{RGB}{255,255,255}
\definecolor{grey}{RGB}{235,235,235}
\definecolor{lightgrey}{RGB}{245,245,245}
\definecolor{LightBlue}{RGB}{220,220,255}
\definecolor{darkblue}{RGB}{51, 51, 153}

% definitions and theorems
\setbeamercolor{block title}{fg = black, bg = grey}
\setbeamercolor{block body}{fg = black, bg = lightgrey}

% general line spacing 
% ------------------------------------------------------------------------------
\linespread{1.3}

% local line spacing
% ------------------------------------------------------------------------------
\usepackage{setspace}

% colors
% -----------------------------------------------------------------------------
\usepackage{color}

% justified text
% ------------------------------------------------------------------------------
\usepackage{ragged2e}
\usepackage{etoolbox}
\apptocmd{\frame}{}{\justifying}{}

% bullet point lists
% -----------------------------------------------------------------------------
\setbeamertemplate{itemize item}[circle]
\setbeamertemplate{itemize subitem}[circle]
\setbeamertemplate{itemize subsubitem}[circle]
\setbeamercolor{itemize item}{fg = black}
\setbeamercolor{itemize subitem}{fg = black}
\setbeamercolor{itemize subsubitem}{fg = black}
\setbeamercolor{enumerate item}{fg = black}
\setbeamercolor{enumerate subitem}{fg = black}
\setbeamercolor{enumerate subsubitem}{fg = black}
\setbeamerfont{itemize/enumerate body}{}
\setbeamerfont{itemize/enumerate subbody}{size = \normalsize}
\setbeamerfont{itemize/enumerate subsubbody}{size = \normalsize}

% color links
% ------------------------------------------------------------------------------
\usepackage{hyperref}
\definecolor{urls}{RGB}{204,0,0}
\hypersetup{colorlinks, citecolor = darkblue, urlcolor = urls}


% additional math commands
% ------------------------------------------------------------------------------
\usepackage{bm}                               % bold math symbols
\usepackage{mathtools}                        % pmatrix* environment
\newcommand{\niton}{\not\owns}

% text highlighting
% ------------------------------------------------------------------------------
\usepackage{soul}
\makeatletter
\let\HL\hl
\renewcommand\hl{%
  \let\set@color\beamerorig@set@color
  \let\reset@color\beamerorig@reset@color
  \HL}
\makeatother

% equation highlighting
% -----------------------------------------------------------------------------
\newcommand{\highlight}[2][yellow]{\mathchoice%
  {\colorbox{#1}{$\displaystyle#2$}}%
  {\colorbox{#1}{$\textstyle#2$}}%
  {\colorbox{#1}{$\scriptstyle#2$}}%
  {\colorbox{#1}{$\scriptscriptstyle#2$}}}%

% additional mathematical operators
% ------------------------------------------------------------------------------
\DeclareMathOperator*{\argmax}{arg\,max}
\DeclareMathOperator*{\argmin}{arg\,min}

\ifLuaTeX
  \usepackage{selnolig}  % disable illegal ligatures
\fi
\IfFileExists{bookmark.sty}{\usepackage{bookmark}}{\usepackage{hyperref}}
\IfFileExists{xurl.sty}{\usepackage{xurl}}{} % add URL line breaks if available
\urlstyle{same} % disable monospaced font for URLs
\hypersetup{
  hidelinks,
  pdfcreator={LaTeX via pandoc}}

\author{}
\date{\vspace{-2.5em}}

\begin{document}

\begin{frame}[plain]{}
\protect\hypertarget{section}{}
\center

\begin{center}\includegraphics[width=0.2\linewidth]{3_Abbildungen/mvda_3_otto} \end{center}

\vspace{2mm}

\Huge

Multivariate Datenanalyse \vspace{6mm}

\large

MSc Psychologie WiSe 2021/22

\vspace{6mm}
\large

Prof.~Dr.~Dirk Ostwald
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-1}{}
\vfill
\center
\huge

\textcolor{black}{(3) Wahrscheinlichkeitstheorie} \vfill
\end{frame}

\begin{frame}[fragile]{}
\protect\hypertarget{section-2}{}
\textcolor{darkblue}{Realisierungen von Zufallsvariablen} \footnotesize
\setstretch{1.1} \vspace{2mm}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Univariate Normalverteilungsparameter}
\NormalTok{mu      }\OtherTok{=} \FloatTok{2.0}                        \CommentTok{\# Erwartungswertparameter}
\NormalTok{sigsqr  }\OtherTok{=} \FloatTok{0.5}                        \CommentTok{\# Varianzparameter}
\NormalTok{n       }\OtherTok{=} \DecValTok{10}                         \CommentTok{\# Anzahl von u.i.v. Realisierungen}

\CommentTok{\# 10 Realisierungen}
\NormalTok{X       }\OtherTok{=} \FunctionTok{rnorm}\NormalTok{(n,mu,}\FunctionTok{sqrt}\NormalTok{(sigsqr))   }\CommentTok{\# X\_i \textbackslash{}sim N(\textbackslash{}mu,\textbackslash{}sigma\^{}2), i = 1,...,n}
\FunctionTok{print}\NormalTok{(X)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
>  [1] 1.010 2.181 0.277 1.996 2.440 2.812 0.712 1.825 1.827 1.800
\end{verbatim}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# 10 Realisierungen}
\NormalTok{X       }\OtherTok{=} \FunctionTok{rnorm}\NormalTok{(n,mu,}\FunctionTok{sqrt}\NormalTok{(sigsqr))   }\CommentTok{\# X\_i \textbackslash{}sim N(\textbackslash{}mu,\textbackslash{}sigma\^{}2), i = 1,...,n}
\FunctionTok{print}\NormalTok{(X)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
>  [1] 1.608 2.445 3.460 0.847 2.362 0.683 1.631 1.963 2.384 1.354
\end{verbatim}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-3}{}
\textcolor{darkblue}{Wahrscheinlichkeitstheorie, Daten, Deskriptive Statistik}

\begin{center}\includegraphics[width=1\linewidth]{3_Abbildungen/mvda_3_univariate_statistik} \end{center}
\end{frame}

\begin{frame}[fragile]{}
\protect\hypertarget{section-4}{}
\textcolor{darkblue}{Realisierungen von Zufallsvektoren} \footnotesize
\setstretch{1} \vspace{1mm}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# R Paket für multivariate Normalverteilungsrealisierung}
\FunctionTok{library}\NormalTok{(MASS)}

\CommentTok{\# Multivariate Normalverteilungsparameter}
\NormalTok{mu      }\OtherTok{=} \FunctionTok{c}\NormalTok{(}\FloatTok{2.0}\NormalTok{,}\FloatTok{5.0}\NormalTok{)                 }\CommentTok{\# Erwartungswertparameter}
\NormalTok{Sigma   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FloatTok{0.5}\NormalTok{,}\FloatTok{0.1}\NormalTok{,          }\CommentTok{\# Kovarianzmatrixparamter}
                   \FloatTok{0.1}\NormalTok{,}\FloatTok{0.5}\NormalTok{),}
                 \AttributeTok{nrow =} \DecValTok{2}\NormalTok{,}
                 \AttributeTok{byrow =} \ConstantTok{TRUE}\NormalTok{)}
\NormalTok{n       }\OtherTok{=} \DecValTok{10}                         \CommentTok{\# Anzahl von u.i.v. Realisierungen}

\CommentTok{\# 10 Realisierungen}
\NormalTok{X       }\OtherTok{=} \FunctionTok{t}\NormalTok{(}\FunctionTok{mvrnorm}\NormalTok{(n,mu,Sigma))     }\CommentTok{\# X\_i \textbackslash{}sim N(\textbackslash{}mu,\textbackslash{}Sigma), i = 1,...,n}
\FunctionTok{print}\NormalTok{(X)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
>      [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]
> [1,] 1.84 2.12 1.18 1.68 2.98 2.01 2.34 2.12 1.69 0.694
> [2,] 5.67 5.28 4.39 6.13 6.08 4.89 3.63 4.87 4.41 4.649
\end{verbatim}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# 10 Realisierungen}
\NormalTok{X       }\OtherTok{=} \FunctionTok{t}\NormalTok{(}\FunctionTok{mvrnorm}\NormalTok{(n,mu,Sigma))     }\CommentTok{\# X\_i \textbackslash{}sim N(\textbackslash{}mu,\textbackslash{}sigma\^{}2), i = 1,...,n}
\FunctionTok{print}\NormalTok{(X)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
>      [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]
> [1,] 1.65 1.76 2.06 1.85 2.23 3.26 3.04 1.12 2.23 0.857
> [2,] 5.42 4.54 4.88 4.87 5.26 6.76 4.01 6.52 4.90 4.048
\end{verbatim}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-5}{}
\small

\textcolor{darkblue}{Multivariate Wahrscheinlichkeitstheorie, Multivariate Daten, Multivariate Deskriptive Statistik}

\begin{center}\includegraphics[width=1\linewidth]{3_Abbildungen/mvda_3_multivariate_statistik} \end{center}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-6}{}
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-7}{}
\large
\setstretch{2.2}
\vfill

\textbf{Zufallsvektoren und multivariate Verteilungen}

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill
\end{frame}

\begin{frame}{Zufallsvektoren und multivariate Verteilungen}
\protect\hypertarget{zufallsvektoren-und-multivariate-verteilungen}{}
\small
\begin{definition}[Zufallsvektor]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum und
$(\mathcal{X},\mathcal{S})$ sei ein $m$-dimensionaler Messraum.
Ein $m$-dimensionaler \textit{Zufallsvektor} ist definiert als eine Abbildung
\begin{equation}
X:\Omega \to \mathcal{X}, \omega \mapsto X(\omega) :=
\begin{pmatrix}
X_1(\omega) \\
\vdots      \\
X_m(\omega)
\end{pmatrix}
\end{equation}
mit der \textit{Messbarkeitseigenschaft}
\begin{equation}
\{\omega \in \Omega|X(\omega) \in S \} \in \mathcal{A} \mbox{ für alle } S \in \mathcal{S}.
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(X\) ist messbar, wenn die Komponentenfunktionen \(X_1,...,X_m\)
  messbar sind.
\item
  Die Komponentenfunktionen eines Zufallsvektors sind Zufallsvariablen.
\item
  Ein \(m\)-dimensionaler Zufallsvektor ist die Konkatenation von \(m\)
  Zufallsvariablen.
\item
  Für einen Zufallsvektor schreiben wir auch häufig
  \(X := (X_1,...,X_m)\).
\item
  Für \(m := 1\) ist ein Zufallsvektor eine Zufallsvariable.
\end{itemize}
\end{frame}

\begin{frame}{Zufallsvektoren und multivariate Verteilungen}
\protect\hypertarget{zufallsvektoren-und-multivariate-verteilungen-1}{}
\vspace{.2cm}
\center

\begin{center}\includegraphics[width=0.95\linewidth]{3_Abbildungen/mvda_3_zufallsvektor} \end{center}
\end{frame}

\begin{frame}{Zufallsvektoren und multivariate Verteilungen}
\protect\hypertarget{zufallsvektoren-und-multivariate-verteilungen-2}{}
\small
\begin{definition}[Multivariate Verteilung]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum,
$(\mathcal{X},\mathcal{S})$ sei ein $m$-dimensionaler Messraum und
\begin{equation}
X : \Omega \to \mathcal{X}, \omega \mapsto X(\omega)
\end{equation}
sei ein Zufallsvektor. Dann heißt das Wahrscheinlichkeitsmaß $\mathbb{P}_X$,
definiert durch
\begin{equation}
\mathbb{P}_X : \mathcal{S} \to [0,1], S \mapsto \mathbb{P}_X(S)
:= \mathbb{P}(X^{-1}(S))
 = \mathbb{P}\left(\{\omega \in \Omega|X(\omega) \in S\}\right)
\end{equation}
die \textit{multivariate Verteilung des Zufallsvektor $X$}.
\end{definition}
\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Einfachheit halber spricht man oft auch nur von ``der Verteilung
  des Zufallsvektors \(X\)''.
\item
  Die Notationskonventionen für Zufallsvariablen gelten für
  Zufallsvektoren analog, z.B. \begin{align}
  \begin{split}
  \mathbb{P}_X(X \in S)
  & := \mathbb{P}\left(\{X \in S\} \right)
  = \mathbb{P}\left(\{\omega \in \Omega|X(\omega) \in S\} \right)
  \\
  \mathbb{P}_X(X = x)
  & := \mathbb{P}\left(\{X = x\} \right)
  = \mathbb{P}\left(\{\omega \in \Omega|X(\omega) = x\} \right)
  \\
  \mathbb{P}_X(X \le x)
  & := \mathbb{P}\left(\{X \le x\} \right)
  = \mathbb{P}\left(\{\omega \in \Omega|X(\omega) \le x\} \right)
  \\
  \mathbb{P}_X(x_1 \le X \le x_2)
  & := \mathbb{P}\left(\{x_1 \le X \le x_2\} \right)
  = \mathbb{P}\left(\{\omega \in \Omega|x_1 \le X(\omega) \le x_2\} \right)
  \end{split}
  \end{align}
\item
  Relationsoperatoren wie \(\le\) werden hier \textit{komponentenweise}
  verstanden.
\item
  Zum Beispiel heißt \(x \le y\) für \(x,y \in \mathbb{R}^m\), dass
  \(x_i \le y_i\) für alle \(i = 1,...,m\).
\end{itemize}
\end{frame}

\begin{frame}{Zufallsvektoren und multivariate Verteilungen}
\protect\hypertarget{zufallsvektoren-und-multivariate-verteilungen-3}{}
\small
\begin{definition}[Multivariate kumulative Verteilungsfunktionen]
$X$ sei ein Zufallsvektor mit Ergebnisraum $\mathcal{X}$. Dann heißt eine Funktion
der Form
\begin{equation}
P_X : \mathcal{X} \to [0,1],\, x \mapsto P_X(x) := \mathbb{P}_X(X \le x)
\end{equation}
multivariate kumulative Verteilungsfunktion von $X$.
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  \justifying Multivariate kumulative Verteilungsfunktionen können zur
  Definition von multivariaten Verteilungen genutzt werden, häufiger ist
  allerdings die Definition multivariater Verteilungen durch
  multivariate Wahrscheinlichkeitsmasse- oder
  Wahrscheinlichkeitsdichtefunktionen.
\end{itemize}
\end{frame}

\begin{frame}{Zufallsvektoren und multivariate Verteilungen}
\protect\hypertarget{zufallsvektoren-und-multivariate-verteilungen-4}{}
\small
\begin{definition}[Diskreter Zufallsvektor, multivariate WMF]
\justifying
$(\Omega,\mathcal{A},\mathbb{P})$ sei ein Wahrscheinlichkeitsraum und
$X: \Omega \to \mathcal{X}$ ein Zufallsvektor. $X$ heißt \textit{diskreter Zufallsvektor},
wenn der Ergebnisraum $\mathcal{X}$ endlich viele oder höchsten abzählbar viele
Elemente $x_i, i = 1,2,...$ enthält. Die \textit{multivariate
Wahrscheinlichkeitsmassefunktion (WMF)} eines diskreten Zufallsvektors $X$ wird
mit $p_X$ bezeichnet und ist definiert durch
\begin{equation}
p_X : \mathcal{X} \to [0,1], x \mapsto p_X(x) := \mathbb{P}_X(X = x).
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Begriff der multivariaten WMF ist analog zum Begriff der WMF.
\item
  Man spricht oft einfach von der WMF eines Zufallsvektors.
\item
  Wie univariate WMFen sind multivariate WMFen nicht-negativ und
  normiert.
\end{itemize}
\end{frame}

\begin{frame}{Zufallsvektoren und multivariate Verteilungen}
\protect\hypertarget{zufallsvektoren-und-multivariate-verteilungen-5}{}
Beispiel (Multivariate Wahrscheinlichkeitsmassefunktion)

\vspace{2mm}

\small
\justifying

Wir betrachten einen zweidimensionalen Zufallsvektor \(X := (X_1,X_2)\)
der Werte in \(\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2\)
annimmt, wobei \(\mathcal{X}_1 := \{1,2,3\}\) und
\(\mathcal{X}_2 = \{1,2,3,4\}\) seien.

Eine exemplarische bivariate WMF der Form \begin{equation}
p_X: \{1,2,3\} \times \{1,2,3,4\} \to [0,1], (x_1,x_2) \mapsto p_X(x_1,x_2)
\end{equation} ist dann durch nachfolgende Tabelle definiert.
\vspace{1mm}

\begin{table}\label{tab:wmf_bivariat}
\begin{center}
\begin{tabular}{|c|cccc|}
\hline
$p_X(x_1,x_2)$  &   $x_2 = 1$   &   $x_2 = 2$   &   $x_2 = 3$   &   $x_2 = 4$   \\\hline
$x_1 = 1$       &   $0.1$       &   $0.0$       &   $0.2$       &   $0.1$       \\
$x_1 = 2$       &   $0.1$       &   $0.2$       &   $0.0$       &   $0.0$       \\
$x_1 = 3$       &   $0.0$       &   $0.1$       &   $0.1$       &   $0.1$       \\\hline
\end{tabular}
\end{center}
\end{table}
\vspace{1mm}

Man beachte, dass
\(\sum_{x_1 = 1}^3 \sum_{x_2 = 1}^4 p_X(x_1,x_2) = 1\).
\end{frame}

\begin{frame}{Zufallsvektoren und multivariate Verteilungen}
\protect\hypertarget{zufallsvektoren-und-multivariate-verteilungen-6}{}
\footnotesize
\begin{definition}[Kontinuierlicher Zufallsvektor, multivariate WDF]
\justifying
Es sei $(\Omega,\mathcal{A},\mathbb{P})$ ein Wahrscheinlichkeitsraum. Ein
Zufallsvektor der Form $X: \Omega \to \mathbb{R}^m$ heißt \textit{kontinuierlicher}
Zufallsvektor. Die \textit{multivariate Wahrscheinlichkeitsdichtefunktion (WDF)}
eines kontinuierlichen  Zufallsvektors $X$ ist eine Funktion
\begin{equation}
p_X : \mathbb{R}^m \to \mathbb{R}_{\ge 0}, x \mapsto p_X(x),
\end{equation}
mit den Eigenschaften
\begin{itemize}
\item[(1)] $\int_{\mathbb{R}^m} p_X(x)\,dx = 1$
\item[(2)] $\mathbb{P}_X(x_1 \le X \le x_2)
            = \int_{x_{1_1}}^{x_{2_1}} \cdots \int_{x_{1_m}}^{x_{2_m}} p_X(s_1,...,s_m)\,ds_1 \cdots ds_m$
\end{itemize}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Begriff der multivariaten WDF ist analog zum Begriff der WDF.
\item
  Man spricht häufig auch einfach von der WDF eines Zufallsvektors
\item
  Wie univariate WDFen sind multivariate WDFen nicht-negativ und
  normiert.
\item
  Wie für kontinuierliche Zufallsvariablen gilt für kontinuierliche
  Zufallsvektoren \begin{equation}
  \mathbb{P}_X(X = x)
  = \mathbb{P}_X(x \le X \le x)
  = \int_{x_1}^{x_1} \cdots \int_{x_m}^{x_m} p_X(s_1,...,s_m)\,ds_1 \cdots ds_m
  = 0
  \end{equation}
\end{itemize}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-8}{}
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

\textbf{Marginale und bedingte Verteilungen}

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill
\end{frame}

\begin{frame}{Marginale und bedingte Verteilungen}
\protect\hypertarget{marginale-und-bedingte-verteilungen}{}
\small
\begin{definition}[Univariate Marginalverteilung]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum,
$(\mathcal{X}, \mathcal{S})$ sei ein $m$-dimensionaler Messraum,
$X: \Omega \to \mathcal{X}$ sei ein Zufallsvektor, $\mathbb{P}_X$ sei die
Verteilung von $X$, $\mathcal{X}_i \subset \mathcal{X}$ sei der Ergebnisraum der
$i$ten Komponente $X_i$ von $X$, und $\mathcal{S}_i$ sei eine
$\sigma$-Algebra auf $X_i$. Dann heißt die durch
\begin{equation}
\mathbb{P}_{X_i} : \mathcal{S}_i \to [0,1],
S \mapsto  \mathbb{P}_X\left(\mathcal{X}_1
                     \times
                     \cdots
                     \times
                     \mathcal{X}_{i-1}
                     \times S
                     \times \mathcal{X}_{i+1}
                     \times \cdots
                     \times \mathcal{X}_m\right)
\mbox{ für } S \in \mathcal{S}_i
\end{equation}
definierte Verteilung die \textit{$i$te univariate Marginalverteilung von $X$}.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  \justifying Univariate Marginalverteilungen sind die Verteilungen der
  Komponenten eines Zufallsvektors.
\item
  Univariate Marginalverteilungen sind Verteilungen von
  Zufallsvariablen.
\item
  Die Festlegung der multivariaten Verteilung von \(X\) legt auch die
  Verteilungen der \(X_i\) fest.
\end{itemize}
\end{frame}

\begin{frame}{Marginale und bedingte Verteilungen}
\protect\hypertarget{marginale-und-bedingte-verteilungen-1}{}
\footnotesize
\begin{theorem}[Marginale Wahrscheinlichkeitsmasse- und dichtefunktionen]
\justifying
\normalfont
(1) $X = (X_1,...,X_m)$ sei ein $m$-dimensionaler diskreter Zufallsvektor
mit Wahrscheinlichkeitsmassefunktion $p_X$ und Komponentenergebnisräumen
$\mathcal{X}_1, ..., \mathcal{X}_m$. Dann ergibt sich die
Wahrscheinlichkeitsmassefunktion der $i$ten Komponente $X_i$ von $X$ als
\begin{multline}
p_{X_i} : \mathcal{X}_i \to [0,1], x_i \mapsto p_{X_i}(x_i) := \\
\sum_{x_1} \cdots \sum_{x_{i-1}} \sum_{x_{i+1}} \cdots \sum_{x_m} p_X(x_1,...,x_{i-1},x_i,x_{i+1}, ...,x_m)
\end{multline}
(2) $X = (X_1,...,X_m)$ sei ein $m$-dimensionaler kontinuierlicher Zufallsvektor
mit Wahrscheinlichkeitsdichtefunktion $p_X$ und Komponentenergebnisraum $\mathbb{R}$.
Dann ergibt sich die Wahrscheinlichkeitsdichtefunktion der $i$ten Komponente $X_i$ von $X$ als
\begin{multline}
p_{X_i} : \mathbb{R} \to \mathbb{R}_{\ge 0},  x_i \mapsto p_{X_i}(x_i) :=  \\
\smallint_{x_1} \cdots \smallint_{x_{i-1}} \smallint_{x_{i+1}} \cdots \smallint_{x_m}
   p_X(x_1,..., x_{i-1},x_i,x_{i+1}, ...,x_m)
   \,dx_1...\,dx_{i-1}\,dx_{i+1}...\,dx_m.
\end{multline}
\end{theorem}
\vspace{-2mm}

Bemerkungen \vspace{-1mm}

\begin{itemize}
\tightlist
\item
  \justifying Wir verzichten auf einen Beweis.
\item
  Die WMFen der univariaten Marginalverteilungen diskreter
  Zufallsvektoren ergeben sich durch Summation.
\item
  Die WDFen der univariaten Marginalverteilungen kontinuierlicher
  Zufallsvektoren ergeben sich durch Integration.
\end{itemize}
\end{frame}

\begin{frame}{Marginale und bedingte Verteilungen}
\protect\hypertarget{marginale-und-bedingte-verteilungen-2}{}
Beispiel (Marginale Wahrscheinlichkeitsmassefunktionen)

\vspace{2mm}

\small
\justifying

Wir betrachten erneut den zweidimensionalen Zufallsvektor
\(X := (X_1,X_2)\) der Werte in
\(\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2\) annimmt, wobei
\(\mathcal{X}_1 := \{1,2,3\}\) und \(\mathcal{X}_2 = \{1,2,3,4\}\)
seien. \vspace{1mm}

Basierend auf der oben definierten WMF ergeben sich folgende marginalen
WMFen \(p_{X_1}\) und \(p_{X_2}\) \vspace{2mm}

\begin{table}\label{tab:wmf_marginal}
\begin{center}
\begin{tabular}{|c|cccc|c|}
\hline
$p_X(x_1,x_2)$  &   $x_2 = 1$   &   $x_2 = 2$   &   $x_2 = 3$   &   $x_2 = 4$   & $p_{X_1}(x_1)$    \\\hline
$x_1 = 1$       &   $0.1$       &   $0.0$       &   $0.2$       &   $0.1$       & $0.4$             \\
$x_1 = 2$       &   $0.1$       &   $0.2$       &   $0.0$       &   $0.0$       & $0.3$             \\
$x_1 = 3$       &   $0.0$       &   $0.1$       &   $0.1$       &   $0.1$       & $0.3$             \\\hline
$p_{X_2}(x_2)$  &   $0.2$       &   $0.3$       &   $0.3$       &   $0.2$       &                   \\\hline
\end{tabular}
\end{center}
\end{table}
\vspace{2mm}

Man beachte, dass \(\sum_{x_1 = 1}^3 p_{X_1}(x_1) = 1\) und
\(\sum_{x_2 = 1}^3 p_{X_2}(x_2) = 1\) gilt.
\end{frame}

\begin{frame}{Marginale und bedingte Verteilungen}
\protect\hypertarget{marginale-und-bedingte-verteilungen-3}{}
\justifying

Vorbemerkungen \vspace{1mm}

\small

Wir erinnern uns, dass für einen Wahrscheinlichkeitsraum
\((\Omega, \mathcal{A}, \mathbb{P})\) und zwei Ereignisse
\(A,B \in \mathcal{A}\) mit \(\mathbb{P}(B) > 0\) die bedingte
Wahrscheinlichkeit von \(A\) gegeben \(B\) definiert ist als
\begin{equation}
\mathbb{P}(A|B) = \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}.
\end{equation}

Analog wird für zwei Zufallsvariablen \(X_1,X_2\) mit Ereignisräumen
\(\mathcal{X}_1,\mathcal{X}_2\) und (messbaren) Mengen
\(S_1 \in \mathcal{X}_1, S_2 \in \mathcal{X}_2\) die bedingte Verteilung
von \(X_1\) gegeben \(X_2\) mithilfe der Ereignisse
\(A := \{X_1 \in S_1\}\) und \(B := \{X_2 \in S_2\}\) definiert.
\vspace{2mm}

So ergibt sich zum Beispiel die bedingte Wahrscheinlichkeit, dass
\(X_1 \in S_1\) gegeben dass \(X_2 \in S_2\) unter der Annahme, dass
\(\mathbb{P}(\{X_2 \in S_2\}) > 0\), zu \begin{equation}
\mathbb{P}( \{X_1 \in S_1\}|\{X_2 \in S_2\})
= \frac{\mathbb{P}(\{X_1 \in S_1\} \cap \{X_2 \in S_2\})}{\mathbb{P}(\{X_2 \in S_2\})}.
\end{equation}

In der Folge betrachten wir zunächst durch die WMFen/WDFen
zweidimensionaler Zufallsvektoren definierte bedingte Verteilungen.
\end{frame}

\begin{frame}{Marginale und bedingte Verteilungen}
\protect\hypertarget{marginale-und-bedingte-verteilungen-4}{}
\footnotesize
\begin{definition}[Bedingte WMF, diskrete bedingte Verteilung]
\justifying
$X := (X_1,X_2)$ sei ein diskreter Zufallsvektor mit Ergebnisraum
$\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$, WMF $p_X = p_{X_1,X_2}$
und marginalen WMFen $p_{X_1}$ und $p_{X_2}$. Die bedingte WMF von $X_1$ gegeben
$X_2 = x_2$ ist dann für $p_{X_2}(x_2) > 0$ definiert als
\begin{equation}
p_{X_1|X_2 = x_2} : \mathcal{X}_1 \to [0,1],
x_1 \mapsto p_{X_1|X_2 = x_2}(x_1|x_2) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_2}(x_2)}
\end{equation}
Analog ist für $p_{X_1}(x_1) > 0$ die bedingte WMF von $X_2$ gegeben $X_1 = x_1$
definiert als
\begin{equation}
p_{X_2|X_1 = x_1} : \mathcal{X}_2 \to [0,1],
x_2 \mapsto p_{X_2|X_1 = x_2}(x_1|x_2) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_1}(x_1)}
\end{equation}
Die bedingten Verteilungen mit WMFen $p_{X_1|X_2 = x_2}$ und $p_{X_2|X_1 = x_1}$
heißen dann die \textit{diskreten bedingten Verteilungen von $X_1$ gegeben $X_2 = x_2$
und $X_2$ gegeben $X_1 = x_1$}, respektive.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  In Analogie zur Definition der bedingten Wahrscheinlichkeit von
  Ereignissen gilt also \begin{equation}
  p_{X_1|X_2}(x_1|x_2)
  = \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_2}(x_2)}
  = \frac{\mathbb{P}(\{X_1 = x_1\} \cap \{X_2 = x_2\})}{\mathbb{P}(\{X_2 = x_2\})}.
  \end{equation}
\item
  Bedingte Verteilungen sind (lediglich) normalisierte gemeinsame
  Verteilungen.
\end{itemize}
\end{frame}

\begin{frame}{Marginale und bedingte Verteilungen}
\protect\hypertarget{marginale-und-bedingte-verteilungen-5}{}
Beispiel (Bedingte Wahrscheinlichkeitsmassefunktionen)

\vspace{2mm}

\small
\justifying

Wir betrachten erneut den zweidimensionalen Zufallsvektor
\(X := (X_1,X_2)\) der Werte in
\(\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2\) annimmt, wobei
\(\mathcal{X}_1 := \{1,2,3\}\) und \(\mathcal{X}_2 = \{1,2,3,4\}\)
seien.

Basierend auf der oben definierten WMF und den entsprechenden oben
evaluierten marginalen WMFen ergeben sich folgende bedingte WMFen für
\(p_{X_2|X_1 = x_1}\) \vspace{1mm}

\begin{table}\label{tab:wmf_bedingt}
\renewcommand{\arraystretch}{1.4}
\begin{center}
\begin{tabular}{|c|cccc|}
\hline
$p_{X_1|X_2}(x_1,x_2)$
&   $x_2 = 1$
&   $x_2 = 2$
&   $x_2 = 3$
&   $x_2 = 4$
\\\hline
$p_{X_2|X_1 = 1}(x_2|x_1 = 1)$

&   $\frac{0.1}{0.4} = 0.25$

&   $\frac{0.0}{0.4} = 0.00$

&   $\frac{0.2}{0.4} = 0.50$

&   $\frac{0.1}{0.4} = 0.25$
\\
$p_{X_2|X_1 = 2}(x_2|x_1 = 2)$

&   $\frac{0.1}{0.3} = 0.3\bar{3}$

&   $\frac{0.2}{0.3} = 0.6\bar{6}$

&   $\frac{0.0}{0.3} = 0.00$

&   $\frac{0.0}{0.3} = 0.00$
\\
$p_{X_2|X_1 = 3}(x_2|x_1 = 3)$

&   $\frac{0.0}{0.3} = 0.00$

&   $\frac{0.1}{0.3} = 0.3\bar{3}$

&   $\frac{0.1}{0.3} = 0.3\bar{3}$

&   $\frac{0.1}{0.3} = 0.3\bar{3}$
\\\hline
\end{tabular}
\end{center}
\end{table}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Man beachte, dass \(\sum_{x_2 = 1}^4 p_{X_2|X_1 = x_1}(x_2|x_1) = 1\)
  für alle \(x_1 \in \mathcal{X}_1\).
\item
  Man beachte die qualitative Ähnlichkeit der WMFen
  \(p_{X_1,X_2}(x_1,x_2)\) und \(p_{X_2|X_1}(x_2|x_1)\).
\item
  Bedingte Verteilungen sind (lediglich) normalisierte gemeinsame
  Verteilungen.
\end{itemize}
\end{frame}

\begin{frame}{Marginale und bedingte Verteilungen}
\protect\hypertarget{marginale-und-bedingte-verteilungen-6}{}
\small
\begin{definition}[Bedingte WDF, kontinuierliche bedingte Verteilungen]
\justifying
$X := (X_1,X_2)$ sei ein kontinuierlicher Zufallsvektor mit Ergebnisraum
$\mathbb{R}^2$, WDF $p_X = p_{X_1,X_2}$ und marginalen WDFen $p_{X_1}$ und $p_{X_2}$.
Die bedingte WDF von $X_1$ gegeben $X_2 = x_2$ ist dann für $p_{X_2}(x_2) > 0$ definiert als
\begin{equation}
p_{X_1|X_2 = x_2} : \mathbb{R} \to \mathbb{R}_{\ge 0},
x_1 \mapsto p_{X_1|X_2 = x_2}(x_1|x_2) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_2}(x_2)}
\end{equation}
Analog ist für $p_{X_1}(x_1) > 0$ die bedingte WMF von $X_2$ gegeben $X_1 = x_1$ definiert als
\begin{equation}
p_{X_2|X_1 = x_1} : \mathbb{R} \to \mathbb{R}_{\ge 0},
x_2 \mapsto p_{X_2|X_1 = x_2}(x_2|x_1) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_1}(x_1)}
\end{equation}

Die Verteilungen mit WDFen $p_{X_1|X_2 = x_2}$ und $p_{X_2|X_1 = x_1}$ heißen dann
die \textit{kontinuierlichen bedingten Verteilungen von $X_1$ gegeben $X_2 = x_2$
und $X_2$ gegeben $X_1 = x_1$}, respektive.
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  Im kontinuierlichen Fall gilt zwar \(\mathbb{P}(X = x) = 0\), aber
  nicht notwendig auch \(p_X(x) = 0\).
\end{itemize}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-9}{}
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

\textbf{Erwartungswerte und Kovarianzmatrizen}

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen}{}
\small
\begin{definition}[Erwartungswert]
\justifying
$X$ sei ein $m$-dimensionaler Zufallvektor. Dann ist der \textit{Erwartungwert}
von $X$ definiert als der $m$-dimensionale Vektor
\begin{equation}
\mathbb{E}(X) :=
\begin{pmatrix}
\mathbb{E}(X_1) \\
\vdots  \\
\mathbb{E}(X_m) \\
\end{pmatrix}.
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\item Der Erwartungswert von $X$ ist der Vektor der Erwartungswerte $\mathbb{E}(X_1), ..., \mathbb{E}(X_m)$.
\item Im allgemeinen linearen Modell $X = D\beta + \varepsilon$ gilt zum Beispiel $\mathbb{E}(\varepsilon) = 0_m$ und $\mathbb{E}(X) = D\beta$.
\end{itemize}
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen-1}{}
\small
\begin{definition}[Kovarianzmatrix]
\justifying
$X$ sei ein $m$-dimensionaler Zufallsvektor. Die \textit{Kovarianzmatrix} von $X$
ist definiert als die $m \times m$ matrix
\begin{align}
\begin{split}
\mathbb{C}(X)
:= \mathbb{E}\left((X - \mathbb{E}(X))(X - \mathbb{E}(X))^T \right)
 =
\begin{pmatrix}
\mathbb{C}(X_1,X_1) & \cdots & \mathbb{C}(X_1,X_m) \\
\vdots              & \ddots & \vdots            \\
\mathbb{C}(X_m,X_1) & \cdots & \mathbb{C}(X_m,X_m) \\
\end{pmatrix}.
\end{split}
\end{align}
\end{definition}
\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die Kovarianzmatrix \(\mathbb{C}(X)\) ist die Matrix der Kovarianzen
  \(\mathbb{C}(X_i,X_j), i,j = 1,...,m\).
\item
  Die Korrelation von \(X_i\) and \(X_j\) ist definiert als
  \begin{equation}
  \rho_{ij} = \frac{\mathbb{C}(X_i,X_j)}{\sqrt{\mathbb{C}(X_i,X_i)}\sqrt{\mathbb{C}(X_j,X_j)}}\in [-1,1].
  \end{equation}
\item
  Die Kovarianzmatrix repräsentiert also die Korrelationsstruktur der
  Zufallsvariablen \(X_1,...,X_m\)
\item
  Im ALM mit sphärischer Kovarianmatrix gilt per Definition
  \(\mathbb{C}(\varepsilon) = \mathbb{C}(X) = \sigma^2 I_m\).
\end{itemize}
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen-2}{}
\setstretch{1.2}
\footnotesize
\vspace{1mm}

Die Äquivalenz der Kovarianzschreibweisen folgt mit \vspace{1mm} \tiny
\begin{align*}
& \mathbb{E}\left((X - \mathbb{E}(X))(X - \mathbb{E}(X))^T \right) \\
& =
\mathbb{E}
\left(
\left(
\begin{pmatrix}
X_1 \\
\vdots \\
X_m
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(X_1) \\
\vdots \\
\mathbb{E}(X_m)
\end{pmatrix}
\right)
\left(
\begin{pmatrix}
X_1 \\
\vdots \\
X_m
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(X_1) \\
\vdots \\
\mathbb{E}(X_m)
\end{pmatrix}
\right)^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
X_1 - \mathbb{E}(X_1) \\
\vdots \\
X_m - \mathbb{E}(X_m)
\end{pmatrix}
\begin{pmatrix}
X_1 - \mathbb{E}(X_1)\\
\vdots \\
X_m - \mathbb{E}(X_m)
\end{pmatrix}^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
X_1 - \mathbb{E}(X_1) \\
\vdots \\
X_m - \mathbb{E}(X_m)
\end{pmatrix}
\begin{pmatrix}
X_1 - \mathbb{E}(X_1)
& \dots
& X_m - \mathbb{E}(X_m)
\end{pmatrix}
\right) \\
& =
\mathbb{E}
\begin{pmatrix}
  (X_1 - \mathbb{E}(X_1))(X_1 - \mathbb{E}(X_1))
& \dots
& (X_1 - \mathbb{E}(X_1))(X_m - \mathbb{E}(X_m)
\\
\vdots
& \ddots
& \vdots
\\
  (X_m - \mathbb{E}(X_m))(X_1 - \mathbb{E}(X_1))
& \dots
& (X_m - \mathbb{E}(X_m))(X_m - \mathbb{E}(X_m))
\\
\end{pmatrix}
\\
& =
\left(\mathbb{E}\left((X_i - \mathbb{E}(X_i))(X_j - \mathbb{E}(X_j)) \right) \right)_{1 \le i,j \le m} \\
& =:
\left(\mathbb{C}(X_i,X_j)\right)_{1 \le i,j \le m} \\
& =: \mathbb{C}(X).
\end{align*}
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen-3}{}
\small
\begin{definition}[Stichprobenmittel, Stichprobenkovarianmatrix]
\justifying
$X^{(1)},...,X^{(n)}$ seien $n$ $m$-dimensionale Zufallsvektoren.
Dann ist das Stichprobenmittel der $X^{(1)},...,X^{(n)}$ definiert als
\begin{equation}
\bar{X} := \frac{1}{n} \sum_{i=1}^n X^{(i)}
\end{equation}
und die Stichprobenkovarianzmatrix der  $X^{(1)},...,X^{(m)}$ ist definiert als
\begin{equation}
C := \frac{1}{n-1}\sum_{i=1}^n (X^{(i)} - \bar{X})(X^{(i)} - \bar{X})^T .
\end{equation}
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(\bar{X}\) ist ein unverzerrter Schätzer von \(\mathbb{E}(X)\).
\item
  \(C\) ist ein unverzerrter Schätzer von \(\mathbb{C}(X)\).
\end{itemize}
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen-4}{}
\footnotesize
\begin{theorem}[Datenmatrix und Stichprobenkovarianzmatrix]
\justifying
\normalfont
\begin{equation}
Y :=
\begin{pmatrix}
X^{(1)} & X^{(2)} & \cdots & X^{(n)}
\end{pmatrix}
\in \mathbb{R}^{m \times n}
\end{equation}
sei eine $m \times n$ \textit{Datenmatrix}, die durch die spaltenweise Konkatenation
von $n$ $m$-dimensionalen Zufallvektoren $X^{(1)},...,X^{(n)}$ gegeben sei. Dann
kann das Stichprobenmittel berechnet werden als
\begin{equation}
\bar{Y} :=  \frac{1}{n}Y1_{n} = \bar{X}  
\end{equation}
Weiterhin sei
\begin{equation}
Y_c := Y - \bar{Y}1_n^T \in \mathbb{R}^{m \times n}
\end{equation}
die $m \times n $ \textit{zentrierte Datenmatrix}. Dann kann die Stichprobenkovarianzmatrix der
$X^{(1)},...,X^{(n)}$ durch
\begin{equation}
C = \frac{1}{n-1}Y_cY_c^T \mbox{ und } C = \frac{1}{n-1}\left(Y\left(I_n - \frac{1}{n}1_{nn}\right)Y^T\right)
\end{equation}
berechnet werden.
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(C = \frac{1}{n-1}Y_cY_c^T\) ist in der Theorie der
  Hauptkomponentenanalyse von Bedeutung.
\item
  \(C = \frac{1}{n-1}\left(Y\left(I_n - \frac{1}{n}1_{nn}\right)Y^T\right)\)
  erleichtert die numerische Implementation.
\end{itemize}
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen-5}{}
\footnotesize

\underline{Beweis} \vspace{1mm}

Die Darstellung des Stichprobenmittels ergibt sich direkt aus
\begin{align}
\begin{split}
\bar{Y}  
& := \frac{1}{n}Y1_{n} \\
& = \frac{1}{n}\left(\begin{pmatrix} X_1^{(1)} & \cdots  & X_1^{(n)} \\
                                  \vdots     & \ddots  & \vdots     \\
                                   X_m^{(1)} & \cdots  & X_m^{(n)} \\
                   \end{pmatrix}
                   \begin{pmatrix} 1 \\ \vdots \\ 1 \end{pmatrix}
              \right) \\
& = \frac{1}{n}\begin{pmatrix} \sum_{i=1}^n X_1^{(i)} \\ \vdots \\ \sum_{i=1}^n X_m^{(i)} \end{pmatrix} \\
& =  \frac{1}{n} \sum_{i=1}^n X^{(i)} =: \bar{X}
\end{split}
\end{align}
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen-6}{}
\footnotesize

\underline{Beweis (fortgeführt)}

Wir halten weiterhin zunächt fest, dass gilt \begin{align*}
Y_c
& = Y - \bar{X}1_n^T        \\
& =
\begin{pmatrix}
X_1^{(1)} & \dots  & X_1^{(n)}  \\
\vdots & \ddots &  \vdots   \\
X_m^{(1)} & \dots  & X_m^{(n)}
\end{pmatrix}
-
\begin{pmatrix}
\bar{X}_1   \\
\vdots      \\
\bar{X}_m   \\
\end{pmatrix}
\begin{pmatrix}
1 & \dots & 1
\end{pmatrix} \\
& =
\begin{pmatrix}
X_1^{(1)} & \dots  & X_1^{(n)}  \\
\vdots & \ddots & \vdots    \\
X_m^{(1)} & \dots  & X_m^{(n)}
\end{pmatrix}
-
\begin{pmatrix}
\bar{X}_1  & \dots  & \bar{X}_1     \\
\vdots     & \ddots & \vdots            \\
\bar{X}_m  & \dots  & \bar{X}_m
\end{pmatrix} \\
& =
\begin{pmatrix}
X_1^{(1)} - \bar{X}_1 & \dots  & X_1^{(n)} - \bar{X}_1  \\
\vdots & \ddots &  \vdots   \\
X_m^{(1)} - \bar{X}_m & \dots  & X_m^{(n)} - \bar{X}_m
\end{pmatrix} \\
& =
\begin{pmatrix}
X^{(1)} - \bar{X} & \dots & X^{(n)} - \bar{X}
\end{pmatrix}
\end{align*}
\end{frame}

\begin{frame}{Erwartungswerte und Kovarianzmatrizen}
\protect\hypertarget{erwartungswerte-und-kovarianzmatrizen-7}{}
\footnotesize

\underline{Beweis (fortgeführt)} \vspace{1mm}

Dann aber gilt \begin{align*}
\frac{1}{n-1}
Y_cY_c^T
& =
\frac{1}{n-1}
\begin{pmatrix}
X^{(1)} - \bar{X} & \dots & X^{(n)} - \bar{X}
\end{pmatrix}
\begin{pmatrix}
\left(X^{(1)} - \bar{X}\right)^T    \\
\vdots                              \\
\left(X^{(n)} - \bar{X}\right)^T
\end{pmatrix} \\
& =
\frac{1}{n-1}
\sum_{i=1}^n
\left(X^{(i)} - \bar{X}\right)
\left(X^{(i)} - \bar{X}\right)^T \\
& = C.
\end{align*} \(\hfill \Box\)
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-10}{}
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

\textbf{Multivariate Normalverteilungen}

Selbstkontrollfragen

\vfill
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen}{}
\setstretch{1.3}
\small
\begin{definition}[Normalverteilte Zufallsvariable]
\justifying
$X$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und WDF
\begin{equation}
p : \mathbb{R} \to \mathbb{R}_{>0}, x\mapsto p(x)
:= \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}
Dann sagen wir, dass $X$ einer \textit{Normalverteilung (oder \textit{Gauß-Verteilung})
mit Parametern $\mu \in \mathbb{R}$ und $\sigma^2 > 0$} unterliegt und nennen $X$
eine \textit{normalverteilte Zufallsvariable}. Wir kürzen dies mit
$X \sim N\left(\mu,\sigma^2\right)$ ab. Die WDF einer normalverteilten
Zufallsvariable bezeichnen wir mit
\begin{equation}
N\left(x;\mu,\sigma^2\right) := \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Parameter \(\mu\) entspricht dem Wert höchster
  Wahrscheinlichkeitsdichte.
\item
  Der Parameter \(\sigma^2\) spezifiziert die Breite der WDF.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen-1}{}
\setstretch{1.3}
\small
\begin{definition}[Multivariate Normalverteilung]
\justifying
$X$ sei ein $n$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^n$ und WDF
\begin{equation}
p : \mathbb{R}^n \to \mathbb{R}_{>0},\, x \mapsto p(x)
:= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
Dann sagen wird, dass $X$ einer \textit{multivariaten (oder $n$-dimensionalen)
Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^n$ und
positive-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{n \times n}$
unterliegt und nennen $X$ einen \textit{(multivariat) normalverteilten Zufallsvektor}.
Wir kürzen dies mit $X \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat
normalverteilten Zufallsvektors bezeichnen wir mit
\begin{equation}
N(x;\mu,\Sigma):= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Parameter \(\mu \in \mathbb{R}^n\) entspricht dem Wert höchster
  Wahrscheinlichkeitsdichte
\item
  Die Diagonalelemente von \(\Sigma\) spezifizieren die Breite der WDF
  bezüglich \(X_1,...,X_n\).
\item
  Das \(i,j\)te Element von \(\Sigma\) spezifiziert die Kovarianz on
  \(X_i\) und \(X_j\).
\item
  Der Term \((2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\) ist die
  Normalsieriungskonstante für den Exponentialfunktionsterm.
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Multivariate Normalverteilung}
\protect\hypertarget{multivariate-normalverteilung}{}
\vspace{1mm}

\textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen}
\vspace{1mm} \tiny \setstretch{.9}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# multivariate Normalverteilungstools}
\CommentTok{\# install.packages("mvtnorm")}
\FunctionTok{library}\NormalTok{(mvtnorm)}


\CommentTok{\# Ergebnisraumdefintion}
\NormalTok{x\_min  }\OtherTok{=} \DecValTok{0}                                           \CommentTok{\# x\_i Minimum}
\NormalTok{x\_max  }\OtherTok{=} \DecValTok{2}                                           \CommentTok{\# x\_i Maxim}
\NormalTok{x\_res  }\OtherTok{=} \FloatTok{1e3}                                         \CommentTok{\# x\_i Auflösung}
\NormalTok{x\_1    }\OtherTok{=} \FunctionTok{seq}\NormalTok{(x\_min, x\_max, }\AttributeTok{length.out =}\NormalTok{ x\_res)       }\CommentTok{\# x\_1 Raum}
\NormalTok{x\_2    }\OtherTok{=} \FunctionTok{seq}\NormalTok{(x\_min, x\_max, }\AttributeTok{length.out =}\NormalTok{ x\_res)       }\CommentTok{\# x\_2 Raum}
\NormalTok{X      }\OtherTok{=} \FunctionTok{expand.grid}\NormalTok{(x\_1,x\_2)                        }\CommentTok{\# X = (x\_1,x\_2)\^{}T Raum}

\CommentTok{\# Parameterdefinition}
\NormalTok{mu     }\OtherTok{=} \FunctionTok{c}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{1}\NormalTok{)                                      }\CommentTok{\# \textbackslash{}mu \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}2}
\NormalTok{S      }\OtherTok{=} \FunctionTok{list}\NormalTok{(}\FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FloatTok{0.2}\NormalTok{,  }\FloatTok{0.15}\NormalTok{,  }\FloatTok{0.15}\NormalTok{, }\FloatTok{0.2}\NormalTok{), }\DecValTok{2}\NormalTok{),  }\CommentTok{\# \textbackslash{}Sigma in \textbackslash{}mathbb\{R\}\^{}\{2 \textbackslash{}times 2\}}
              \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FloatTok{0.2}\NormalTok{,  }\FloatTok{0.00}\NormalTok{,  }\FloatTok{0.00}\NormalTok{, }\FloatTok{0.2}\NormalTok{), }\DecValTok{2}\NormalTok{),  }\CommentTok{\# \textbackslash{}Sigma in \textbackslash{}mathbb\{R\}\^{}\{2 \textbackslash{}times 2\}}
              \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FloatTok{0.2}\NormalTok{, }\SpecialCharTok{{-}}\FloatTok{0.15}\NormalTok{, }\SpecialCharTok{{-}}\FloatTok{0.15}\NormalTok{, }\FloatTok{0.2}\NormalTok{), }\DecValTok{2}\NormalTok{))  }\CommentTok{\# \textbackslash{}Sigma in \textbackslash{}mathbb\{R\}\^{}\{2 \textbackslash{}times 2\}}

\CommentTok{\# Kovarianzparametervariantenschleife}
\ControlFlowTok{for}\NormalTok{ (Sigma }\ControlFlowTok{in}\NormalTok{ S)\{}

  \CommentTok{\# Wahrscheinlichkeitsdichtefunktionauswertung}
\NormalTok{  p      }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(                                   }\CommentTok{\# Matrixkonversion des von}
                  \FunctionTok{dmvnorm}\NormalTok{(}\FunctionTok{as.matrix}\NormalTok{(X), mu, Sigma),  }\CommentTok{\# dmvnorm() ausgegebenen Vektors}
                  \AttributeTok{nrow =}\NormalTok{ x\_res)}

  \CommentTok{\# Visualisierung}
  \FunctionTok{contour}\NormalTok{(}
\NormalTok{  x\_1,}
\NormalTok{  x\_2,}
\NormalTok{  p,}
  \AttributeTok{xlim      =}  \FunctionTok{c}\NormalTok{(x\_min,x\_max),}
  \AttributeTok{ylim      =}  \FunctionTok{c}\NormalTok{(x\_min,x\_max),}
  \AttributeTok{nlevels   =} \DecValTok{5}\NormalTok{)}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Multivariate Normalverteilung}
\protect\hypertarget{multivariate-normalverteilung-1}{}
\textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen}
\vspace{2mm}

\begin{center}\includegraphics[width=1\linewidth]{3_Abbildungen/mvda_3_mvnwdf} \end{center}
\end{frame}

\begin{frame}[fragile]{Multivariate Normalverteilung}
\protect\hypertarget{multivariate-normalverteilung-2}{}
\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}
\footnotesize \setstretch{1.1} \vspace{1mm}

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# R Paket für multivariate Normalverteilungen}
\FunctionTok{library}\NormalTok{(mvtnorm)}

\CommentTok{\# Parameterdefinition}
\NormalTok{mu     }\OtherTok{=} \FunctionTok{c}\NormalTok{(}\DecValTok{1}\NormalTok{,}\DecValTok{1}\NormalTok{)                                }\CommentTok{\# \textbackslash{}mu \textbackslash{}in \textbackslash{}mathbb\{R\}\^{}2}
\NormalTok{Sigma  }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\FloatTok{0.2}\NormalTok{,  }\FloatTok{0.15}\NormalTok{,  }\FloatTok{0.15}\NormalTok{, }\FloatTok{0.2}\NormalTok{), }\DecValTok{2}\NormalTok{)  }\CommentTok{\# \textbackslash{}Sigma in \textbackslash{}mathbb\{R\}\^{}\{2 \textbackslash{}times 2\}}

\CommentTok{\# Zufallsvektorrealisierungen}
\FunctionTok{rmvnorm}\NormalTok{(}\AttributeTok{n =} \DecValTok{10}\NormalTok{, mu, Sigma)}
\end{Highlighting}
\end{Shaded}

\begin{verbatim}
>        [,1]  [,2]
>  [1,] 1.316 0.927
>  [2,] 1.409 1.105
>  [3,] 0.340 0.386
>  [4,] 1.458 1.250
>  [5,] 0.886 0.397
>  [6,] 0.453 0.845
>  [7,] 1.589 1.343
>  [8,] 1.634 1.456
>  [9,] 1.227 1.067
> [10,] 1.054 0.995
\end{verbatim}
\end{frame}

\begin{frame}{Multivariate Normalverteilung}
\protect\hypertarget{multivariate-normalverteilung-3}{}
\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}
\vspace{2mm}

\begin{center}\includegraphics[width=1\linewidth]{3_Abbildungen/mvda_3_rmvnorm} \end{center}
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen-2}{}
\footnotesize
\begin{theorem}[Marginale Normalverteilungen]
\justifying
\normalfont
Es sei $m := k + l$ und $X = (X_1,...,X_m)$ sei ein $m$-dimensionaler
normalverteilter Zufallsvektor mit Erwartungswertparameter
\begin{equation}
\mu =
\left(\begin{matrix}
\mu_y \\
\mu_z
\end{matrix}\right) \in \mathbb{R}^m,
\end{equation}
mit $\mu_y \in \mathbb{R}^k$ and $\mu_z \in \mathbb{R}^l$ und Kovarianzmatrixparameter
\begin{equation}
\Sigma =
\left(\begin{matrix}
\Sigma_{yy}     & \Sigma_{yz} \\
\Sigma_{zy}     & \Sigma_{zz}
\end{matrix}\right) \in \mathbb{R}^{m \times m},
\end{equation}
mit $\Sigma_{yy} \in \mathbb{R}^{k \times k}$,
    $\Sigma_{yz} \in \mathbb{R}^{k \times l}$,
    $\Sigma_{zy} \in \mathbb{R}^{l \times k}$,
und $\Sigma_{zz} \in \mathbb{R}^{l \times l}$.
Dann sind $Y := (X_1,...,X_k)$ und $Z := (X_{k+1}, ...,X_m)$ $k$- und $l$-dimensionale
normalverteilte Zufallsvektoren, respektive, und es gilt
\begin{equation}
Y \sim N(\mu_y,\Sigma_{yy}) \mbox{ and } Z \sim N(\mu_z,\Sigma_{xx}),
\end{equation}
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis
\item
  Die Marginalverteilungen einer multivariaten Normalverteilung sind
  auch Normalverteilungen.
\item
  Die Parameter der Marginalverteilungen ergeben sich aus den Parametern
  der gemeinsamen Verteilung.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen-3}{}
\textcolor{darkblue}{Marginale Normalverteilungen} \small \center
\(m := 2, k = 1, l = 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.10 & 0.08 \\ 0.08 & 0.15 \end{pmatrix}\)

\vspace{-2mm}

\begin{center}\includegraphics[width=1\linewidth]{3_Abbildungen/mvda_3_marginale_mvnorm} \end{center}
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen-4}{}
\footnotesize
\begin{theorem}[Gemeinsame Normalverteilunge]
\justifying
\normalfont
$X$ sei ein $m$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_X : \mathbb{R}^m \to \mathbb{R}_{>0},\,x\mapsto
p_X(x) := N(x;\mu_x,\Sigma_{xx}) \mbox{ mit }
\mu_x \in \mathbb{R}^m,
\Sigma_{xx} \in \mathbb{R}^{m\times m},
\end{equation}
$A\in\mathbb{R}^{n\times m}$ sei eine Matrix, $b\in\mathbb{R}^n$ sei ein Vektor
und $Y$ sei ein $n$-dimensionaler bedingt normalverteilter Zufallsvektor mit
bedingter WDF
\begin{equation}
p_{y|X}(\cdot|x) : \mathbb{R}^n \to \mathbb{R}_{>0},\, y\mapsto
p_{Y|X}(y|x) := N(y;AX+b,\Sigma_{yy}) \mbox{ mit }
\Sigma_{yy} \in \mathbb{R}^{n\times n}.
\end{equation}
Dann ist der $m+n$-dimensionale Zufallsvektor $(X,Y)$ normalverteilt mit (gemeinsamer) WDF
\begin{equation}\label{eq:gauss_joint}
p_{X,Y} : \mathbb{R}^{m+n} \to \mathbb{R}_{>0},\, (x,y) \mapsto
p_{X,Y}(x,y) = N\left((x,y);
\mu_{x,y}, \Sigma_{x,y} \right),
\end{equation}
mit $\mu_{x,y} \in \mathbb{R}^{n + m}$ and $\Sigma_{x,y} \in \mathbb{R}^{m+n \times m+n}$ und insbesondere
\begin{equation}
\mu_{x,y} = \left( \begin{matrix} \mu_x \\ A\mu_x + b \end{matrix} \right)
\mbox{ und }
\Sigma_{x,y} = \left(\begin{matrix} \Sigma_{xx} & \Sigma_{xx}A^T \\ A\Sigma_{xx} & \Sigma_{yy} + A\Sigma_{xx}A^T \end{matrix} \right).
\end{equation}
\end{theorem}
\vspace{-1mm}

Bemerkungen \vspace{-1mm}

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\item
  Eine marginale und eine bedingte multivariate Normalverteilung
  induzieren eine gemeinsame Normalverteilung.
\item
  Die Parameter der gemeinsamen Verteilungen ergeben sich als
  linear-affine Transformation der Parameter der induzierenden
  Verteilungen.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen-5}{}
\textcolor{darkblue}{Gemeinsame Normalverteilungen} \small \vspace{2mm}
\center
\(m := 1, n := 1, \mu_x := 1, \Sigma_{xx} := 0.2, A := 1, b := 1, \Sigma_{yy} := 0.1\)
\vspace{-2mm}

\begin{center}\includegraphics[width=1.05\linewidth]{3_Abbildungen/mvda_3_gemeinsame_mvnorm} \end{center}
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen-6}{}
\footnotesize
\begin{theorem}[Bedingte Normalverteilungen]
\justifying
\normalfont
$(X,Y)$ sei ein $m+n$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_{X,Y} : \mathbb{R}^{m + n} \to \mathbb{R}_{>0}, (x,y) \mapsto
p_{X,Y}(x,y) := N\left((x,y); \mu_{x,y}, \Sigma_{x,y}\right),
\end{equation}
mit
\begin{equation}
\mu_{x,y} = \left(\begin{matrix} \mu_x \\ \mu_y \end{matrix} \right),
\Sigma_{x,y} = \left(\begin{matrix} \Sigma_{xx} & \Sigma_{xy} \\ \Sigma_{yx} & \Sigma_{yy} \end{matrix} \right),
\end{equation}
mit $x,\mu_x \in \mathbb{R}^m, y,\mu_y\in\mathbb{R}^n$ and  $\Sigma_{xx} \in \mathbb{R}^{m\times m}, \Sigma_{xy} \in \mathbb{R}^{m\times n}, \Sigma_{yy} \in \mathbb{R}^{n \times n}$. Dann ist die
bedingte Verteilung von $X$ gegeben $Y$ eine $m$-dimensionale Normalverteilung
mit bedingter WDF
\begin{equation}
p_{X|Y}(\cdot|y) : \mathbb{R}^m \to \mathbb{R}_{>0}, x \mapsto p_{X|Y}(x|y) :=
N(x;\mu_{x|y},\Sigma_{x|y})
\end{equation}
mit
\begin{equation}\label{eq:gauss_cond_exp}
\mu_{x|y} = \mu_x  + \Sigma_{xy}\Sigma_{yy}^{-1}(Y-\mu_y) \in \mathbb{R}^m
\end{equation}
und
\begin{equation}\label{eq:gauss_cond_var}
\Sigma_{x|y} = \Sigma_{xx}  - \Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx} \in \mathbb{R}^{m\times m}.
\end{equation}
\end{theorem}
\vspace{-2mm}

Bemerkungen \vspace{-1mm}

\begin{itemize}
\tightlist
\item
  \justifying Wir verzichten auf einen Beweis.
\item
  Die Parameter einer bedingten (multivariaten) Normalverteilung ergeben
  sich aus den Parametern einer gemeinsamen multivariaten
  Normalverteilung. Im Zusammenspiel mit den vorherigen Theoremen können
  die Parameter bedingter und marginale Normalverteilungen aus den
  Parametern der komplementären bedingten und marginalen
  Normalverteilungen bestimmt werden.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Normalverteilungen}
\protect\hypertarget{multivariate-normalverteilungen-7}{}
\textcolor{darkblue}{Bedingte Normalverteilungen} \small \center
\(m := 2, n := 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.12 & 0.09 \\ 0.09 & 0.12 \end{pmatrix}\)

\vspace{-2mm}

\begin{center}\includegraphics[width=1\linewidth]{3_Abbildungen/mvda_3_bedingte_mvnorm} \end{center}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-11}{}
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

\textbf{Selbstkontrollfragen}
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen}{}
\setstretch{1.1}
\footnotesize
\begin{enumerate}
\item Definieren Sie den Begriff des Zufallsvektors.
\item Definieren Sie den Begriff der multivariaten Verteilung eines Zufallsvektors.
\item Definieren Sie den Begriff der multivariaten WMF.
\item Definieren Sie den Begriff der multivariaten WDF.
\item Definieren Sie den Begriff der univariaten Marginalverteilung eines Zufallsvektors.
\item Wie berechnet man die WMF der $i$ten Komponente eines diskreten Zufallsvektors?
\item Wie berechnet man die WDF der $i$ten Komponente eines kontinuierlichen Zufallsvektors?
\item Definieren Sie die Begriffe der bedingten WMF und der diskreten bedingten Verteilung.
\item Definieren Sie die Begriffe der bedingten WDF und der kontinuierlichen bedingten Verteilung.
\item Geben Sie die Definition des Erwartungswerts eines Zufallsvektors wieder.
\item Geben Sie die Definition der Kovarianzmatrix eines Zufallsvektors wieder.
\item Geben Sie die Definition des Stichprobenmittels und der Stichprobenkovarianzmatrix wieder.
\item Erläutern Sie, warum für eine Stichprobenkovarianzmatrix $C = \frac{1}{n-1}Y_c Y_c^T$ gilt.
\item Definieren Sie die WDF einer univariaten normalverteilten Zufallsvariable und erläutern Sie diese.
\item Definieren Sie die WDF eines multivariaten normalverteilten Zufallsvektors wieder und erläutern Sie diese.
\item Geben Sie das Theorem zu Marginalen Normalverteilungen wieder.
\item Geben Sie das Theorem zu Gemeinsamen Normalverteilungen wieder.
\item Geben Sie das Theorem zu Bedingten Normalverteilungen wieder.
\end{enumerate}
\end{frame}

\end{document}
