---
fontsize: 8pt
format:
    beamer:
        include-in-header: "3_Header.tex"
bibliography: 3_Referenzen.bib
---

#  {.plain}

\center
```{r, echo = FALSE, out.width = "20%", fig.align = "center"}
knitr::include_graphics("3_Abbildungen/mv_3_otto.png")
```
\vspace{2mm}

\huge
Multivariate Verfahren
\vspace{4mm}

\large
MSc Psychologie | MSc Klinische Psychologie und Psychotherapie   

WiSe 2023/24

\vspace{4mm}
\normalsize
Prof. Dr. Dirk Ostwald


#  {.plain}
\vfill
\center
\huge
\textcolor{black}{(3) Zufallsvektoren}
\vfill

# 
\large
\setstretch{3}
\vfill
Definition und multivariate Verteilungen 

Marginale und bedingte Verteilungen 

Normalverteilungen

Selbstkontrollfragen
\vfill

# 
\large
\setstretch{3}
\vfill
**Definition und multivariate Verteilungen**

Marginale und bedingte Verteilungen 

Normalverteilungen

Selbstkontrollfragen
\vfill

# Definition und multivariate Verteilungen
\small
\begin{definition}[Zufallsvektor]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum und 
$(\mathcal{X},\mathcal{S})$ sei ein $m$-dimensionaler Messraum. 
Ein $m$-dimensionaler \textit{Zufallsvektor} ist definiert als eine Abbildung
\begin{equation}
\xi:\Omega \to \mathcal{X}, \omega \mapsto \xi(\omega) :=
\begin{pmatrix}
\xi_1(\omega) \\
\vdots  	\\
\xi_m(\omega)
\end{pmatrix}
\end{equation}
mit der \textit{Messbarkeitseigenschaft}
\begin{equation}
\{\omega \in \Omega|\xi(\omega) \in S \} \in \mathcal{A} \mbox{ für alle } S \in \mathcal{S}.
\end{equation}
\end{definition}
\vspace{-2mm}
\footnotesize
Bemerkungen
\vspace{-2mm}

* $\xi$ ist hier eine univariate, vektorwertige Abbildung.
* Das Standardbeispiel für $(\mathcal{X},\mathcal{S})$ ist $(\mathbb{R}^m, \mathcal{B}(\mathbb{R}^m))$.
* Wir verzichten auf eine explizite Einführung $m$-dimensionaler $\sigma$-Algebren wie $\mathcal{B}(\mathbb{R}^m)$.
* Ohne Beweis halten wir fest, dass $\xi$ messbar ist, wenn die Funktionen $\xi_1,...,\xi_m$ messbar sind.
* Die Komponentenfunktionen eines Zufallsvektors sind Zufallsvariablen.
* Ein $m$-dimensionaler Zufallsvektor ist die Konkatenation von $m$ Zufallsvariablen.
* Für $m := 1$ ist ein Zufallsvektor eine Zufallsvariable.


# Definition und multivariate Verteilungen
\vspace{.2cm}
\center
```{r, echo = FALSE,out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mv_3_zufallsvektor.pdf")
```

# Definition und multivariate Verteilungen
\small
\begin{definition}[Multivariate Verteilung]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum, 
$(\mathcal{X},\mathcal{S})$ sei ein $m$-dimensionaler Messraum und
\begin{equation}
\xi : \Omega \to \mathcal{X}, \omega \mapsto \xi(\omega)
\end{equation}
sei ein Zufallsvektor. Dann heißt das Wahrscheinlichkeitsmaß $\mathbb{P}_\xi$, 
definiert durch
\begin{equation}
\mathbb{P}_\xi : \mathcal{S} \to [0,1], S \mapsto \mathbb{P}_\xi(S)
:= \mathbb{P}(\xi^{-1}(S))
 = \mathbb{P}\left(\{\omega \in \Omega|\xi(\omega) \in S\}\right)
\end{equation}
die \textit{multivariate Verteilung des Zufallsvektor $\xi$}.
\end{definition}
\footnotesize
Bemerkungen

* Der Einfachheit halber spricht man oft auch nur von "der Verteilung des Zufallsvektors $\xi$".
* Die Notationskonventionen für Zufallsvariablen gelten für Zufallsvektoren analog, z.B.
\begin{align}
\begin{split}
\mathbb{P}_\xi(\xi \in S)
& := \mathbb{P}\left(\{\xi \in S\} \right)
= \mathbb{P}\left(\{\omega \in \Omega|\xi(\omega) \in S\} \right)
\\
\mathbb{P}_\xi(\xi = x)
& := \mathbb{P}\left(\{\xi = x\} \right)
= \mathbb{P}\left(\{\omega \in \Omega|\xi(\omega) = x\} \right)
\\
\mathbb{P}_\xi(\xi \le x)
& := \mathbb{P}\left(\{\xi \le x\} \right)
= \mathbb{P}\left(\{\omega \in \Omega|\xi(\omega) \le x\} \right)
\\
\mathbb{P}_\xi(x_1 \le \xi \le x_2)
& := \mathbb{P}\left(\{x_1 \le \xi \le x_2\} \right)
   = \mathbb{P}\left(\{\omega \in \Omega|x_1 \le \xi(\omega) \le x_2\} \right)
\end{split}
\end{align}
* Relationsoperatoren wie $\le$ werden hier \textit{komponentenweise} verstanden.
* Zum Beispiel heißt $x \le y$ für $x,y \in \mathbb{R}^m$, dass $x_i \le y_i$ für alle $i = 1,...,m$.

# Definition und multivariate Verteilungen
\small
\begin{definition}[Diskreter Zufallsvektor, Multivariate WMF]
\justifying
$\xi$ sei ein Zufallsvektor mit Ergebnisraum $\mathcal{X}$. $\xi$ heißt 
\textit{diskreter Zufallsvektor} wenn der Ergebnisraum $\mathcal{X}$ endlich oder
abzählbar ist und eine Funktion 
\begin{equation}
p_\xi : \mathcal{X} \to [0,1], x \mapsto p_\xi(x)  
\end{equation}
existiert, für die gilt
\begin{itemize}
\item[(1)] $\sum_{x \in \mathcal{X}}p_\xi(x) = 1$ und
\item[(2)] $\mathbb{P}_\xi(\xi = x) = p_\xi(x)$ für alle $x \in \mathcal{X}$.
\end{itemize}
Ein entsprechende Funktion $p$ heißt \textit{multivariate Wahrscheinlichkeitsmassefunktion (WMF)} von $\xi$.
\end{definition}
\footnotesize
Bemerkungen

* Der Begriff der multivariaten WMF ist analog zum Begriff der WMF.
* Man spricht oft einfach von der WMF eines Zufallsvektors.
* Wie univariate WMFen sind multivariate WMFen nicht-negativ und normiert.

# Definition und multivariate Verteilungen
Beispiel (Multivariate Wahrscheinlichkeitsmassefunktion)

\vspace{2mm}

\small
\justifying

Wir betrachten einen zweidimensionalen Zufallsvektor $\xi:= (\xi_1,\xi_2)$ der Werte 
in $\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$ annimmt, wobei
$\mathcal{X}_1 := \{1,2,3\}$ und $\mathcal{X}_2 = \{1,2,3,4\}$ seien.

Dann entspricht der Ergebnisraum von $\xi$ der in untenstehender
Tabelle spezifizierten Menge an Tupeln $(x_1,x_2)$

\vspace{2mm}
\begin{table}\label{tab:wmf_bivariat_ergebnisraum}
\begin{center}
\begin{tabular}{|c|cccc|}
\hline
$(x_1,x_2)$	    & 	$x_2 = 1$ 	& 	$x_2 = 2$ 	& 	$x_2 = 3$ 	& 	$x_2 = 4$ 	\\\hline
$x_1 = 1$		&	$(1,1)$		&	$(1,2)$		&	$(1,3)$		&	$(1,4)$		\\
$x_1 = 2$		&	$(2,1)$		&	$(2,2)$		&	$(2,3)$		&	$(2,4)$		\\
$x_1 = 3$		&	$(3,1)$		&	$(3,2)$		&	$(3,3)$		&	$(3,4)$		\\\hline
\end{tabular}
\end{center}
\end{table}
\vspace{1mm}


# Definition und multivariate Verteilungen
Beispiel (Multivariate Wahrscheinlichkeitsmassefunktion)

\vspace{2mm}

\small
\justifying

Wir betrachten einen zweidimensionalen Zufallsvektor $\xi:= (\xi_1,\xi_2)$ der Werte 
in $\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$ annimmt, wobei
$\mathcal{X}_1 := \{1,2,3\}$ und $\mathcal{X}_2 = \{1,2,3,4\}$ seien.

Eine exemplarische bivariate WMF der Form
\begin{equation}
p_\xi: \{1,2,3\} \times \{1,2,3,4\} \to [0,1], (x_1,x_2) \mapsto p_\xi(x_1,x_2)
\end{equation}
ist dann durch nachfolgende Tabelle definiert:
\vspace{1mm}

\begin{table}\label{tab:wmf_bivariat}
\begin{center}
\begin{tabular}{|c|cccc|}
\hline
$p_\xi(x_1,x_2)$	& 	$x_2 = 1$ 	& 	$x_2 = 2$ 	& 	$x_2 = 3$ 	& 	$x_2 = 4$ 	\\\hline
$x_1 = 1$		&	$0.1$		&	$0.0$		&	$0.2$		&	$0.1$		\\
$x_1 = 2$		&	$0.1$		&	$0.2$		&	$0.0$		&	$0.0$		\\
$x_1 = 3$		&	$0.0$		&	$0.1$		&	$0.1$		&	$0.1$		\\\hline
\end{tabular}
\end{center}
\end{table}
\vspace{1mm}

Man beachte, dass $\sum_{x_1 = 1}^3 \sum_{x_2 = 1}^4 p_\xi(x_1,x_2) = 1$.

# Definition und multivariate Verteilungen
\small
\begin{definition}[Kontinuierlicher Zufallsvektor, Multivariate WDF]
\justifying
Ein Zufallsvektor $\xi$ heißt \textit{kontinuierlich}, wenn $\mathbb{R}^m$ der 
Ergebnisraum von $\xi$ ist und eine Funktion  
\begin{equation}
p_\xi : \mathbb{R}^m \to \mathbb{R}_{\ge 0}, x \mapsto p_\xi(x),
\end{equation}
existiert, für die gilt
\begin{itemize}
\item[(1)] $\int_{\mathbb{R}^m} p_\xi(x)\,dx = 1$ und
\item[(2)] $\mathbb{P}_\xi(x_1 \le \xi \le x_2)
		    = \int_{x_{1_1}}^{x_{2_1}} \cdots \int_{x_{1_m}}^{x_{2_m}} p_\xi(s_1,...,s_m)\,ds_1 \cdots ds_m$.
\end{itemize}
Eine entsprechende Funktion $p$ heißt \textit{multivariate Wahrscheinlichkeitsdichtefunktion (WDF)} von $\xi$.
\end{definition}
\footnotesize
Bemerkungen

* Der Begriff der multivariaten WDF ist analog zum Begriff der WDF.
* Man spricht häufig auch einfach von der WDF eines Zufallsvektors
* Wie univariate WDFen sind multivariate WDFen nicht-negativ und normiert.
* Wie für kontinuierliche Zufallsvariablen gilt für kontinuierliche Zufallsvektoren
\begin{equation}
\mathbb{P}_\xi(\xi = x)
= \mathbb{P}_\xi(x \le \xi \le x)
= \int_{x_1}^{x_1} \cdots \int_{x_m}^{x_m} p_\xi(s_1,...,s_m)\,ds_1 \cdots ds_m
= 0
\end{equation}
* Mit den multivariaten Normalverteilungen diskutieren wir unten ein ausführliches Beispiel. -->


# Definition und multivariate Verteilungen
\footnotesize
\begin{definition}[Erwartungswert eines Zufallsvektors]
\justifying
$\xi$ sei ein $m$-dimensionaler Zufallvektor. Der \textit{Erwartungwert von $\xi$} 
ist definiert als der $m$-dimensionale Vektor
\begin{equation}
\mathbb{E}(\xi) :=
\begin{pmatrix}
\mathbb{E}(\xi_1) \\
\vdots            \\
\mathbb{E}(\xi_m)
\end{pmatrix}.
\end{equation}
\end{definition}

Bemerkung 

* Der Erwartungswert eines Zufallsvektors ist der Vektor der Erwartungswerte seiner Komponenten.


# Definition und multivariate Verteilungen
\footnotesize
\begin{definition}[Erwartungswert einer Zufallsmatrix]
\justifying
$\Xi$ sei eine durch die spaltenweise Konkatenation von $\xi^1,...,\xi^n$ 
$m$-dimensionalen Zufallsvektoren gebildete Zufallsmatrix. Dann ist der 
\textit{Erwartungwert von $\Xi$} ist definiert als die $m \times n$ Matrix
\begin{equation}
\mathbb{E}(\Xi) :=
\begin{pmatrix}
\mathbb{E}\left(\xi^1_1\right)  & \cdots  & \mathbb{E}\left(\xi^n_1\right)  \\
\vdots                          & \ddots  & \vdots                          \\
\mathbb{E}\left(\xi^1_m\right)  & \cdots  & \mathbb{E}\left(\xi^n_m\right) 
\end{pmatrix}.
\end{equation}
\end{definition}
Bemerkung 

* Der Erwartungswert einer Zufallsmatrix ist von $\Xi$ ist die Matrix der spaltenweise konkatenierten Erwartungswerte $\mathbb{E}\left(\xi^1\right), ..., \mathbb{E}\left(\xi^n\right)$.

# Definition und multivariate Verteilungen
\footnotesize
\begin{theorem}[Eigenschaften von Erwartungswerten]
\justifying
\normalfont
\begin{itemize}
\item[(1)] (Linear-affine Transformation einer Zufallsmatrix) $\Xi$ sei ein $m \times n$-dimensionale Zufallsmatrix
und es seien $A \in \mathbb{R}^{l\times m},B \in \mathbb{R}^{n\times p}$ und $C \in \mathbb{R}^{l\times p}$. Dann gilt
\begin{equation}
\mathbb{E}(A\xi B + C) = A\mathbb{E}(\xi)B + C.
\end{equation}
\item[(2)] (Linear-affine Transformation eines Zufallsvektors) $\xi$ sei ein $m$-dimensionaler Zufallvektor und
es seien $A \in \mathbb{R}^{n \times m}$ und $b \in \mathbb{R}^n$. Dann gilt
\begin{equation}
\mathbb{E}(A\xi + b) = A\mathbb{E}(\xi) + b.
\end{equation}
\item[(3)] (Lineare Kombination zweier Zufallsvektoren) $\xi$ und $\ups$ seien $m$-dimensionale 
Zufallvektoren und es seien $A,B \in \mathbb{R}^{n \times m}$. Dann gilt
\begin{equation}
\mathbb{E}\left(A\xi + B\ups\right) = A\mathbb{E}(\xi) + B\mathbb{E}(\ups).
\end{equation}
\end{itemize}
\end{theorem}

Bemerkungen

* Die Aussagen sind im Wesentlichen analog zu den Eigenschaften des Erwartungswerts bei Zufallsvariablen.
* Eigenschaft (2) ist ein Spezialfall von Eigenschaft (1).

# Definition und multivariate Verteilungen
\footnotesize
\underline{Beweis (fortgeführt)}

Wir halten zunächst fest, dass für $i = 1,...,l$ und $j = 1,...pm it den Regeln von 
Matrixmultiplikation und Matrixaddition und den Eigenschaften des Erwartungswertes 
von Zufallsvariablen gilt, dass
\begin{equation}
\mathbb{E}(A\xi B + C)_{ij} 
= \mathbb{E}\left(\sum_{r=1}^m\sum_{s=1}^n a_{ir}\xi_{r}^s b_{sj} + c_{ij}\right) 
= \sum_{r=1}^m\sum_{s=1}^n a_{ir}\mathbb{E}(\xi_{r}^s)  b_{sj} + c_{ij}
\end{equation}.
Dann aber gilt mit der Definition des Erwartungswerts einer Zufallsmatrix, dass
\begin{align}
\begin{split}
\mathbb{E}(A\xi B + C) 
& = (\mathbb{E}(A\xi B + C)_{ij} )_{1 \le i \le l, 1\le j \le p}                                    \\
& = \left(\sum_{r=1}^m\sum_{s=1}^n a_{ir}\mathbb{E}(\xi_{r}^s)  b_{sj} + c_{ij}\right)_{1 \le i \le l, 1\le j \le p}              \\
& = \left(\sum_{r=1}^m\sum_{s=1}^n a_{ir}\mathbb{E}(\xi_{r}^s)  b_{sj} \right)_{1 \le i \le l, 1\le j \le p}   + \left(c_{ij}\right)_{1 \le i \le l, 1\le j \le p} \\
& = A\mathbb{E}(\xi)B + C.
\end{split}
\end{align}


# Definition und multivariate Verteilungen
\footnotesize

\underline{Beweis (fortgeführt)}

\noindent (2) Für $i = 1,...,n$ gilt mit der Definition des Erwartungswert eines Zufallsvektors und den Eigenschaften
des Erwartungswert einer Zufallsvariable, dass
\begin{equation}
\mathbb{E}(A\xi + b)_{i} 
= \mathbb{E}\left(\sum_{j=1}^m a_{ij}\xi_j + b_i\right)
= \sum_{j=1}^m a_{ij}\mathbb{E}(\xi_j) + b_i.
\end{equation}
Also gilt
\begin{equation}
\mathbb{E}(A\xi + b)
= 
\begin{pmatrix}
\sum_{j=1}^m a_{1j}\mathbb{E}(\xi_j) + b_1  \\
\vdots                                      \\
\sum_{j=1}^m a_{nj}\mathbb{E}(\xi_j) + b_n  \\
\end{pmatrix}
=
\begin{pmatrix}
\sum_{j=1}^m a_{1j}\mathbb{E}(\xi_j)  \\
\vdots                                \\
\sum_{j=1}^m a_{nj}\mathbb{E}(\xi_j)   \\
\end{pmatrix}
+
\begin{pmatrix}
b_1  \\
\vdots                                 \\
b_n  \\
\end{pmatrix}
=
A \mathbb{E}(\xi) + b.
\end{equation}
\noindent (3) Für $i = 1,...,n$ gilt mit der Definition des Erwartungswert 
eines Zufallsvektors und den Eigenschaften des Erwartungswert einer Zufallsvariable, dass
\begin{equation}
\mathbb{E}\left(A\xi + B\ups\right)_{i} 
= \mathbb{E}\left(\sum_{j=1}^m a_{ij}\xi_j + \sum_{j=1}^m b_{ij}\ups_j\right)
= \sum_{j=1}^m a_{ij}\mathbb{E}\left(\xi_j\right) + \sum_{j=1}^m b_{ij}\mathbb{E}\left(\ups_j\right)
\end{equation}
Also gilt
\begin{equation}
\mathbb{E}\left(A\xi + B\ups\right)
= 
\begin{pmatrix}
\sum_{j=1}^m a_{1j}\mathbb{E}\left(\xi_j\right) + \sum_{j=1}^m b_{1j}\mathbb{E}\left(\ups_j\right)  \\
\vdots                                                                                               \\
\sum_{j=1}^m a_{nj}\mathbb{E}\left(\xi_j\right) + \sum_{j=1}^m b_{nj}\mathbb{E}\left(\ups_j\right)  \\
\end{pmatrix}
= 
A\mathbb{E}(\xi) + B\mathbb{E}(\ups).
\end{equation}

# Definition und multivariate Verteilungen
\footnotesize
\begin{definition}[Kovarianzmatrix eines Zufallsvektors]
\justifying
$\xi$ sei ein $m$-dimensionaler Zufallvektor. Dann ist die \textit{Kovarianzmatrix von $\xi$} 
definiert als die $m\times m$ Matrix
\begin{equation}
\mathbb{C}(\xi) := \mathbb{E}\left((\xi - \mathbb{E}(\xi))(\xi - \mathbb{E}(\xi))^T \right).
\end{equation}
\end{definition}

Bemerkungen

* Die Kovarianzmatrix ist formal analog zur Kovarianz zweier Zufallsvariablen definiert.
* Der äußere Erwartungswert ist der Erwartungswert einer Matrix, die inneren Erwartungswerte von Vektoren.

# Definition und multivariate Verteilungen
\footnotesize
\begin{theorem}[Eigenschaften der Kovarianzmatrix]
\justifying
\normalfont
$\xi$ sei ein $m$-dimensionaler Zufallsvektor und $\mathbb{C}(\xi)$ sei seine Kovarianzmatrix. Dann gelten
\begin{enumerate}
\item[(1)] (Elemente) Die Elemente von $\mathbb{C}(\xi)$ sind die Kovarianzen der Komponenten von $\xi$,
\begin{equation}
\mathbb{C}(\xi) = \left(\mathbb{C}(\xi_i,\xi_j)\right)_{1 \le i,j \le m}.
\end{equation}
\item[(2)] (Kovarianzmatrixverschiebungssatz) Es gilt 
\begin{equation}
\mathbb{C}(\xi) = \mathbb{E}\left(\xi\xi^T\right) -  \mathbb{E}(\xi)\mathbb{E}(\xi)^T.
\end{equation} 
\item[(3)] (Linear-affine Transformation) Für $A \in \mathbb{R}^{n \times m}$ und $b \in \mathbb{R}^n$ gilt 
\begin{equation}
\mathbb{C}(A\xi +b) = A\mathbb{C}(\xi)A^T.
\end{equation}
\item[(4)] (Matrixeigenschaften) $\mathbb{C}(\xi)$ ist symmetrisch und positiv-semidefinit.
\end{enumerate}
\end{theorem}

Bemerkungen

* Die Diagonalelemente von $\mathbb{C}(\xi)$ sind die Varianzen der Komponenten von $\xi$, da
\begin{equation}
\mathbb{V}(\xi_i) = \mathbb{C}(\xi_i,\xi_i) \mbox{ für } i = 1,...m.
\end{equation}
* Eigenschaften (2) und (3) sind im Wesentlichen analog zu den Eigenschaften der Varianz.

# Definition und multivariate Verteilungen
\footnotesize
\vspace{2mm}
\underline{Beweis}

\noindent (1) Es gilt
\begin{align}
\begin{split}
\mathbb{C}(\xi)
& := \mathbb{E}\left((\xi - \mathbb{E}(\xi))(\xi - \mathbb{E}(\xi))^T \right) \\
& =
\mathbb{E}
\left(
\left(
\begin{pmatrix}
\xi_1 \\
\vdots \\
\xi_n
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(\xi_1) \\
\vdots \\
\mathbb{E}(\xi_n)
\end{pmatrix}
\right)
\left(
\begin{pmatrix}
\xi_1 \\
\vdots \\
\xi_n
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(\xi_1) \\
\vdots \\
\mathbb{E}(\xi_n)
\end{pmatrix}
\right)^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1) \\
\vdots \\
\xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1)\\
\vdots \\
\xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1) \\
\vdots \\
\xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1)
& \dots
& \xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}
\right) \\
& =
\mathbb{E}
\begin{pmatrix}
  (\xi_1 - \mathbb{E}(\xi_1))(\xi_1 - \mathbb{E}(\xi_1))
& \dots
& (\xi_1 - \mathbb{E}(\xi_1))(\xi_n - \mathbb{E}(\xi_n)
\\
\vdots
& \ddots
& \vdots
\\
  (\xi_n - \mathbb{E}(\xi_n))(\xi_1 - \mathbb{E}(\xi_1))
& \dots
& (\xi_n - \mathbb{E}(\xi_n))(\xi_n - \mathbb{E}(\xi_n))
\\
\end{pmatrix}
\\
& =
\left(\mathbb{E}\left((\xi_i - \mathbb{E}(\xi_i))(\xi_j - \mathbb{E}(\xi_j)) \right) \right)_{1 \le i,j \le n} \\
& =
\left(\mathbb{C}(\xi_i,\xi_j)\right)_{1 \le i,j \le n}. \\
\end{split}
\end{align}

# Definition und multivariate Verteilungen
\footnotesize
\vspace{2mm}
\underline{Beweis (fortgeführt)}

\noindent (2) Mit den Eigenschaften von Erwartungswerten  gilt
\begin{align}
\begin{split}
\mathbb{C}(\xi)
& = \mathbb{E}\left((\xi - \mathbb{E}(\xi))(\xi - \mathbb{E}(\xi))^T \right)                                          \\
& = \mathbb{E}\left(\xi\xi^T - \xi\mathbb{E}(\xi)^T - \mathbb{E}(\xi)\xi^T + \mathbb{E}(\xi)\mathbb{E}(\xi)^T  \right) \\
& = \mathbb{E}\left(\xi\xi^T\right) - \mathbb{E}(\xi)\mathbb{E}(\xi)^T - \mathbb{E}(\xi)\mathbb{E}(\xi)^T + \mathbb{E}(\xi)\mathbb{E}(\xi)^T  \\
& = \mathbb{E}\left(\xi\xi^T\right) - \mathbb{E}(\xi)\mathbb{E}(\xi)^T.  \\
\end{split}
\end{align}

\noindent (3) Mit den Eigenschaften von Erwartungswerten gilt
\begin{align}
\begin{split}
\mathbb{C}(A\xi+b)
& = \mathbb{E}\left((A\xi+b-\mathbb{E}(A\xi+b))(A\xi+b-\mathbb{E}(A\xi+b))^T \right)  \\
& = \mathbb{E}\left((A\xi+b-A\mathbb{E}(\xi)-b)(A\xi+b-A\mathbb{E}(\xi)-b)^T \right)  \\
& = \mathbb{E}\left((A(\xi-\mathbb{E}(\xi)))(A(\xi-\mathbb{E}(\xi)))^T \right)        \\
& = \mathbb{E}\left(A(\xi-\mathbb{E}(\xi))(\xi-\mathbb{E}(\xi))^T A^T\right)          \\
& = A\mathbb{E}\left((\xi-\mathbb{E}(\xi))(\xi-\mathbb{E}(\xi))^T\right)A^T           \\
& = A\mathbb{C}(\xi)A^T.                                                               \\
\end{split}
\end{align}


# Definition und multivariate Verteilungen
\footnotesize
\vspace{2mm}
\underline{Beweis (fortgeführt)}

\noindent (4) Die Symmetrie von $\mathbb{C}(\xi)$ folgt aus der Symmetrie der Kovarianz einer Zufallsvariable mit
\begin{equation}
\mathbb{C}(\xi_i,\xi_j) = \mathbb{C}(\xi_j, \xi_i) \mbox{ für alle } i = 1,...,m, j = 1,...,m.
\end{equation}
Um die positive Semidefinitheit von $\mathbb{C}(\xi)$ nachzuweisen, ist zu zeigen, dass
$a^T\mathbb{C}(\xi)a \ge 0$ für alle $a\in \mathbb{R}^m$ mit $a \neq 0_m$. Sei also 
$a \in \mathbb{R}^m$ mit $a\neq 0$. Dann gilt mit Aussage (3) für $A := a^T \in \mathbb{R}^{1\times m}$,
dass
\begin{equation}
a^T\mathbb{C}(\xi)a = \mathbb{C}(a^T\xi). 
\end{equation}
Weiterhin gilt mit der Definition der Kovarianzmatrix aber, dass
\begin{equation}
\mathbb{C}(a^T\xi) 
= \mathbb{E}\left(\left(a^T\xi-\mathbb{E}(a^T\xi)\right)^2\right) 
= \mathbb{V}\left(a^T\xi\right).
\end{equation}
Da mit den Eigenschaften der Varianz die Varianz der Zufallsvariable $a^T\xi$ aber immer nichtnegativ ist, folgt
\begin{equation}
a^T\mathbb{C}(\xi)a = \mathbb{V}(a^T\xi)\ge 0 
\end{equation}
und damit die positive Semidefinitheit von $\mathbb{C}(\xi)$.

# Definition und multivariate Verteilungen
\small
\begin{definition}[Korrelationsmatrix]
$\xi$ sei ein $m$-dimensionaler Zufallsvektor. Dann ist die \textit{Korrelationsmatrix}
von $\xi$ definiert als die $m\times m$ Matrix
\begin{equation}
\mathbb{R}(\xi)
:= \left(\rho_{ij} \right)_{1 \le i,j\le m}
 =  \left(\frac{\mathbb{C}(\xi_i,\xi_j)}{\sqrt{\mathbb{V}(\xi_i)}\sqrt{\mathbb{V}(\xi_j)}}\right)_{1 \le i,j\le m}
\end{equation}
\end{definition}
\footnotesize
Bemerkungen


* Mit $\mathbb{V}(\xi_i) = \mathbb{C}(\xi_i,\xi_i), i = 1,...,m$ ist die Korrelationsmatrix in der Kovarianzmatrix implizit.
* Es gelten $\rho_{ij} \in [-1,1]$ für $1 \le i,j \le m$ und $\rho_{ii} = 1$ für $1 \le i \le m$.


# 
\large
\setstretch{3}
\vfill
Definition und multivariate Verteilungen

**Marginale und bedingte Verteilungen** 

Normalverteilungen

Selbstkontrollfragen
\vfill

# Marginale und bedingte Verteilungen
\small
\begin{definition}[Univariate Marginalverteilung]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum, 
$(\mathcal{X}, \mathcal{S})$ sei ein $m$-dimensionaler Messraum, 
$\xi:\Omega \to \mathcal{X}$ sei ein Zufallsvektor, $\mathbb{P}_\xi$ sei die 
Verteilung von $\xi$, $\mathcal{X}_i \subset \mathcal{X}$ sei der Ergebnisraum der 
$i$ten Komponente $\xi_i$ von $\xi$, und $\mathcal{S}_i$ sei eine 
$\sigma$-Algebra auf $\xi_i$. Dann heißt die durch
\begin{equation}
\mathbb{P}_{\xi_i} : \mathcal{S}_i \to [0,1],
S \mapsto  \mathbb{P}_\xi\left(\mathcal{X}_1
                     \times
                     \cdots
                     \times
                     \mathcal{X}_{i-1}
                     \times S
                     \times \mathcal{X}_{i+1}
                     \times \cdots
                     \times \mathcal{X}_m\right)
\mbox{ für } S \in \mathcal{S}_i
\end{equation}
definierte Verteilung die \textit{$i$te univariate Marginalverteilung von $\xi$}.
\end{definition}
\footnotesize
Bemerkungen

* \justifying Univariate Marginalverteilungen sind die Verteilungen der Komponenten eines Zufallsvektors.
* Univariate Marginalverteilungen sind Verteilungen von Zufallsvariablen.
* Die Festlegung der multivariaten Verteilung von $\xi$ legt auch die Verteilungen der $\xi_i$ fest.


# Marginale und bedingte Verteilungen
\footnotesize
\begin{theorem}[Marginale Wahrscheinlichkeitsmasse- und dichtefunktionen]
\justifying
\normalfont
(1) $\xi= (\xi_1,...,\xi_m)^T$ sei ein $m$-dimensionaler diskreter Zufallsvektor
mit Wahrscheinlichkeitsmassefunktion $p_\xi$ und Komponentenergebnisräumen 
$\mathcal{X}_1, ..., \mathcal{X}_m$. Dann ergibt sich die 
Wahrscheinlichkeitsmassefunktion der $i$ten Komponente $\xi_i$ von $\xi$ als
\begin{equation}
p_{\xi_i} : \mathcal{X}_i \to [0,1], x_i \mapsto p_{\xi_i}(x_i) :=
\sum_{x_1} \cdots \sum_{x_{i-1}} \sum_{x_{i+1}} \cdots \sum_{x_m} p_\xi(x_1,...,x_{i-1},x_i,x_{i+1}, ...,x_m).
\end{equation}
(2) $\xi= (\xi_1,...,\xi_m)^T$ sei ein $m$-dimensionaler kontinuierlicher Zufallsvektor 
mit Wahrscheinlichkeitsdichtefunktion $p_\xi$ und Komponentenergebnisraum $\mathbb{R}$. 
Dann ergibt sich die Wahrscheinlichkeitsdichtefunktion der $i$ten Komponente $\xi_i$ von $\xi$ als
\begin{multline}
p_{\xi_i} : \mathbb{R} \to \mathbb{R}_{\ge 0},  x_i \mapsto p_{\xi_i}(x_i) :=  \\
\smallint_{x_1} \cdots \smallint_{x_{i-1}} \smallint_{x_{i+1}} \cdots \smallint_{x_m}
   p_\xi(x_1,..., x_{i-1},x_i,x_{i+1}, ...,x_m)
   \,dx_1...\,dx_{i-1}\,dx_{i+1}...\,dx_m.
\end{multline}
\end{theorem}
\vspace{-2mm}
Bemerkungen
\vspace{-1mm}

* \justifying Wir verzichten auf einen Beweis.
* Die WMFen der Marginalverteilungen diskreter Zufallsvektoren ergeben sich durch Summation. 
* Die WDFen der Marginalverteilungen kontinuierlicher Zufallsvektoren ergeben sich durch Integration. 


# Marginale und bedingte Verteilungen
Beispiel (Marginale Wahrscheinlichkeitsmassefunktionen)

\vspace{2mm}

\small
\justifying

Wir betrachten erneut den zweidimensionalen Zufallsvektor $\xi:= (\xi_1,\xi_2)$ der 
Werte in $\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$ annimmt, wobei 
$\mathcal{X}_1 := \{1,2,3\}$ und $\mathcal{X}_2 = \{1,2,3,4\}$ seien. 
\vspace{1mm}

Basierend auf der oben definierten WMF ergeben sich folgende marginale WMFen 
$p_{\xi_1}$ und $p_{\xi_2}$:
\vspace{2mm}

\begin{table}\label{tab:wmf_marginal}
\begin{center}
\begin{tabular}{|c|cccc|c|}
\hline
$p_\xi(x_1,x_2)$    & 	$x_2 = 1$ 	& 	$x_2 = 2$ 	& 	$x_2 = 3$ 	& 	$x_2 = 4$ 	& $p_{\xi_1}(x_1)$	\\\hline
$x_1 = 1$		    &	$0.1$		&	$0.0$		&	$0.2$		&	$0.1$		& $0.4$				\\
$x_1 = 2$		    &	$0.1$		&	$0.2$		&	$0.0$		&	$0.0$		& $0.3$				\\
$x_1 = 3$		    &	$0.0$		&	$0.1$		&	$0.1$		&	$0.1$		& $0.3$				\\\hline
$p_{\xi_2}(x_2)$	&   $0.2$	 	&   $0.3$ 		&   $0.3$ 		&   $0.2$       & 					\\\hline
\end{tabular}
\end{center}
\end{table}
\vspace{2mm}

Man beachte, dass $\sum_{x_1 = 1}^3 p_{\xi_1}(x_1) = 1$ und $\sum_{x_2 = 1}^3 p_{\xi_2}(x_2) = 1$ gilt.

# Marginale und bedingte Verteilungen
Beispiel (Marginale Wahrscheinlichkeitsmassefunktionen)

\small
\justifying
Ein Realisierungsbeispiel mithilfe relativer Häufigkeiten mag den Begriff der 
marginalen WMF intuitiv verdeutlichen. Nehmen wir an, wir hätten $n = 100$ (unabhängige) 
Realisierungen von $\xi$ vorliegen.

Um die Wahrscheinlichkeiten $p_\xi(x_1,x_2)$ zu schätzen, würden wir die Anzahl 
der Realisierungen von $(x_1,x_2)$ zählen und durch $n$ teilen. Hätten wir 
beispielsweise 12 Realisierungen von $(3,2)$ vorliegen, so würden wir 
$p_\xi(3,2) \approx 12/100 = 0.12$ schätzen. 

Die Frage nach der marginalen
Wahrscheinlichkeit von $x_2 = 2$ entspräche dann der Frage, wie oft unter den Realisierungen
zu finden sind, bei denen $x_2 = 2$ ist, irrespektive des Wertes von $x_1$. Dies wäre gerade
die Anzahl der Realisierungen der Form $(1,2), (2,2)$ und $(3,2)$. Gäbe es von diesen 
beispielsweise $0, 22$ und $12$ respektive, so würde man die Wahrscheinlichkeit $p_{\xi_2}(2)$ 
natürlicherweise durch 
\begin{equation}
\frac{0 + 22 + 12}{100} = \frac{0}{100} + \frac{22}{100} + \frac{12}{100} = 0.00 + 0.22 + 0.12 = 0.34
\end{equation}
schätzen. Anstelle der Wahrscheinlichkeiten $p_\xi(1,2)$, $p_\xi(2,2)$, $p_\xi(3,2)$ addiert man
hier also die entsprechenden relativen Häufigkeiten.


# Marginale und bedingte Verteilungen
\small
Vorbemerkungen zu bedingten Verteilungen

\footnotesize
Wir erinnern uns, dass für einen Wahrscheinlichkeitsraum $(\Omega, \mathcal{A}, \mathbb{P})$ 
und zwei Ereignisse $A,B \in \mathcal{A}$ mit $\mathbb{P}(B) > 0$ die bedingte 
Wahrscheinlichkeit von $A$ gegeben $B$ definiert ist als
\begin{equation}
\mathbb{P}(A|B) = \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}.
\end{equation}

Analog wird für zwei Zufallsvariablen $\xi_1,\xi_2$ mit Ereignisräumen 
$\mathcal{X}_1,\mathcal{X}_2$ und (messbaren) Mengen $S_1 \in \mathcal{X}_1, S_2 \in \mathcal{X}_2$ 
die bedingte Verteilung von $\xi_1$ gegeben $\xi_2$ mithilfe der Ereignisse
\begin{equation}
A := \{\xi_1 \in S_1\} \mbox{ und } B := \{\xi_2 \in S_2\}
\end{equation}
definiert. 
\vspace{1mm}

So ergibt sich zum Beispiel die bedingte Wahrscheinlichkeit, dass $\xi_1 \in S_1$ 
gegeben dass $\xi_2 \in S_2$ unter der Annahme, dass $\mathbb{P}(\{\xi_2 \in S_2\}) > 0$, zu
\begin{equation}
\mathbb{P}( \{\xi_1 \in S_1\}|\{\xi_2 \in S_2\})
= \frac{\mathbb{P}(\{\xi_1 \in S_1\} \cap \{\xi_2 \in S_2\})}{\mathbb{P}(\{\xi_2 \in S_2\})}.
\end{equation}

Wir betrachten zunächst durch WMFen/WDFen zweidimensionaler Zufallsvektoren definierte bedingte Verteilungen.

# Marginale und bedingte Verteilungen
\footnotesize
\begin{definition}[Bedingte WMF, diskrete bedingte Verteilung]
\justifying
$\xi:= (\xi_1,\xi_2)$ sei ein diskreter Zufallsvektor mit Ergebnisraum 
$\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$, WMF $p_\xi = p_{\xi_1,\xi_2}$ 
und marginalen WMFen $p_{\xi_1}$ und $p_{\xi_2}$. Die bedingte WMF von $\xi_1$ gegeben 
$\xi_2 = x_2$ ist dann für $p_{\xi_2}(x_2) > 0$ definiert als
\begin{equation}
p_{\xi_1|\xi_2 = x_2} : \mathcal{X}_1 \to [0,1],
x_1 \mapsto p_{\xi_1|\xi_2 = x_2}(x_1|x_2) := \frac{p_{\xi_1,\xi_2}(x_1,x_2)}{p_{\xi_2}(x_2)}
\end{equation}
Analog ist für $p_{\xi_1}(x_1) > 0$ die bedingte WMF von $\xi_2$ gegeben $\xi_1 = x_1$ 
definiert als
\begin{equation}
p_{\xi_2|\xi_1 = x_1} : \mathcal{X}_2 \to [0,1],
x_2 \mapsto p_{\xi_2|\xi_1 = x_1}(x_2|x_1) := \frac{p_{\xi_1,\xi_2}(x_1,x_2)}{p_{\xi_1}(x_1)}
\end{equation}
Die bedingten Verteilungen mit WMFen $p_{\xi_1|\xi_2 = x_2}$ und $p_{\xi_2|\xi_1 = x_1}$ 
heißen dann die \textit{diskreten bedingten Verteilungen von $\xi_1$ gegeben $\xi_2 = x_2$ 
und $\xi_2$ gegeben $\xi_1 = x_1$}, respektive.
\end{definition}
Bemerkungen

* In Analogie zur Definition der bedingten Wahrscheinlichkeit von Ereignissen gilt also
\begin{equation}
p_{\xi_1|\xi_2}(x_1|x_2)
= \frac{p_{\xi_1,\xi_2}(x_1,x_2)}{p_{\xi_2}(x_2)}
= \frac{\mathbb{P}(\{\xi_1 = x_1\} \cap \{\xi_2 = x_2\})}{\mathbb{P}(\{\xi_2 = x_2\})}.
\end{equation}
* Bedingte Verteilungen sind (lediglich) normalisierte gemeinsame Verteilungen.


# Marginale und bedingte Verteilungen
Beispiel (Bedingte Wahrscheinlichkeitsmassefunktionen)

\vspace{2mm}

\small
\justifying

Wir betrachten erneut den zweidimensionalen Zufallsvektor $\xi:= (\xi_1,\xi_2)$ der 
Werte in $\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$ annimmt, wobei 
$\mathcal{X}_1 := \{1,2,3\}$ und $\mathcal{X}_2 = \{1,2,3,4\}$ seien.

Basierend auf der oben definierten WMF  und den entsprechenden oben evaluierten 
marginalen WMFen ergeben sich folgende bedingte WMFen für $p_{\xi_2|\xi_1 = x_1}$
\vspace{1mm}

\renewcommand{\arraystretch}{1.4}
\begin{center}
\begin{tabular}{|c|cccc|}
\hline
$p_{\xi_2|\xi_1}(x_2|x_1)$
& 	$x_2 = 1$
& 	$x_2 = 2$
& 	$x_2 = 3$
& 	$x_2 = 4$
\\\hline
$p_{\xi_2|\xi_1 = 1}(x_2|x_1 = 1)$

& 	$\frac{0.1}{0.4} = 0.25$

&	$\frac{0.0}{0.4} = 0.00$

&	$\frac{0.2}{0.4} = 0.50$

&	$\frac{0.1}{0.4} = 0.25$
\\
$p_{\xi_2|\xi_1 = 2}(x_2|x_1 = 2)$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$

&	$\frac{0.2}{0.3} = 0.6\bar{6}$

&	$\frac{0.0}{0.3} = 0.00$

&	$\frac{0.0}{0.3} = 0.00$
\\
$p_{\xi_2|\xi_1 = 3}(x_2|x_1 = 3)$

&	$\frac{0.0}{0.3} = 0.00$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$
\\\hline
\end{tabular}
\end{center}

\footnotesize
Bemerkungen

* Man beachte, dass $\sum_{x_2 = 1}^4 p_{\xi_2|\xi_1 = x_1}(x_2|x_1) = 1$ für alle $x_1 \in \mathcal{X}_1$.
* Man beachte die qualitative Ähnlichkeit der WMFen $p_{\xi_1,\xi_2}(x_1,x_2)$ und $p_{\xi_2|\xi_1}(x_2|x_1)$.
* Bedingte Verteilungen sind (lediglich) normalisierte gemeinsame Verteilungen.

# Marginale und bedingte Verteilungen
\footnotesize
\begin{definition}[Bedingte WDF, kontinuierliche bedingte Verteilungen]
\justifying
$\xi:= (\xi_1,\xi_2)$ sei ein kontinuierlicher Zufallsvektor mit Ergebnisraum 
$\mathbb{R}^2$, WDF $p_\xi = p_{\xi_1,\xi_2}$ und marginalen WDFen $p_{\xi_1}$ und $p_{\xi_2}$.
Die bedingte WDF von $\xi_1$ gegeben $\xi_2 = x_2$ ist dann für $p_{\xi_2}(x_2) > 0$ definiert als
\begin{equation}
p_{\xi_1|\xi_2 = x_2} : \mathbb{R} \to \mathbb{R}_{\ge 0},
x_1 \mapsto p_{\xi_1|\xi_2 = x_2}(x_1|x_2) := \frac{p_{\xi_1,\xi_2}(x_1,x_2)}{p_{\xi_2}(x_2)}
\end{equation}
Analog ist für $p_{\xi_1}(x_1) > 0$ die bedingte WMF von $\xi_2$ gegeben $\xi_1 = x_1$ definiert als
\begin{equation}
p_{\xi_2|\xi_1 = x_1} : \mathbb{R} \to \mathbb{R}_{\ge 0},
x_2 \mapsto p_{\xi_2|\xi_1 = x_1}(x_2|x_1) := \frac{p_{\xi_1,\xi_2}(x_1,x_2)}{p_{\xi_1}(x_1)}
\end{equation}

Die Verteilungen mit WDFen $p_{\xi_1|\xi_2 = x_2}$ und $p_{\xi_2|\xi_1 = x_1}$ heißen dann
die \textit{kontinuierlichen bedingten Verteilungen von $\xi_1$ gegeben $\xi_2 = x_2$ 
und $\xi_2$ gegeben $\xi_1 = x_1$}, respektive.
\end{definition}

\footnotesize
Bemerkung

* Im kontinuierlichen Fall gilt zwar $\mathbb{P}(\xi = x) = 0$, aber nicht notwendig auch $p_\xi(x) = 0$.

# 
\large
\setstretch{3}
\vfill
Definition und multivariate Verteilungen

Marginale und bedingte Verteilungen

**Normalverteilungen**

Selbstkontrollfragen
\vfill

# Normalverteilungen
\setstretch{1.3}
\footnotesize
\begin{definition}[Normalverteilte Zufallsvariable]
\justifying
$\xi$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und WDF
\begin{equation}
p : \mathbb{R} \to \mathbb{R}_{>0}, x\mapsto p(x)
:= \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}
Dann sagen wir, dass $\xi$ einer \textit{Normalverteilung (oder \textit{Gauß-Verteilung})
mit Erwartungswertparameter $\mu \in \mathbb{R}$ und Varianzparameter $\sigma^2 > 0$} unterliegt
und nennen $\xi$ eine \textit{normalverteilte Zufallsvariable}.
Wir kürzen dies mit $\xi \sim N(\mu,\sigma^2)$ ab. Die WDF einer normalverteilten
Zufallsvariable bezeichnen wir mit
\begin{equation}
N\left(x;\mu,\sigma^2\right) := \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}
\end{definition}
Bemerkungen

* Es gelten $\mathbb{E}(\xi) = \mu$ und $\mathbb{V}(\xi) = \sigma^2$.
* Der Parameter $\mu$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte.
* Der Parameter $\sigma^2$ spezifiziert die Breite der WDF.
* $\xi \sim N(0,1)$ heißt auch *standardnormalverteilt*.


# Normalverteilungen
\vspace{1mm}
Visualisierung univariater Normalverteilungsdichtefunktionen
\vspace{1mm}
\vspace{1cm}

```{r, echo = F, eval = F}
# model formulation
x_min   = -10                                                                    # minimum x-value
x_max   = 10                                                                     # maximum x-value
x_res   = 1e3                                                                    # x space resolution
x       = seq(x_min,x_max,len = x_res)                                           # x space
mu      = c(0,-2.5,3)                                                            # expectation parameters
sigsqr  = c(1,10,0.5)                                                            # variance parameters

# visualization
liberary(latex2exp)
pdf(
file   = "./3_Abbildungen/mv_3_normalverteilung_wdf.pdf",
width  = 7,                                                          
height = 3)
par(                                                                    
mfcol      = c(1,length(mu)),                                           
family     = "sans",                                                    
pty        = "s",                                                       
bty        = "l",                                                      
lwd        = 1,                                                         
las        = 1,                                                         
mgp        = c(2,1,0),                                                 
font.main  = 1,                                                        
cex.main   = 1.4)                                         
          
# parameter iterations
for (i in 1:length(mu)){

# Gaussian PDFs
plot(x,                                                                         
      dnorm(x,mu[i],sqrt(sigsqr[i])),                                            
      type         = "l",                                                        
      lwd          =  1.5,                                                      
      col          = "Black",                                                   
      ylab         = " ",                                                        
      xlab         = "x",                                                       
      ylim         = c(0,0.6))                                                   
title(sprintf("N(x; %g,%g)", mu[i], sigsqr[i]))                                
}
dev.off()
```

```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mv_3_normalverteilung_wdf.pdf")
```

# Normalverteilungen
\footnotesize
\begin{theorem}[Konstruktion bivariater Normalverteilungen]
\justifying
\normalfont
$\zeta_1 \sim N(0,1)$ und $\zeta_2 \sim N(0,1)$ seien zwei unabhängige
standardnormalverteilte  Zufallsvariablen. Weiterhin seien $\mu_1,\mu_2\in \mathbb{R}$,
$\sigma_1,\sigma_2>0$ und $\rho \in ]-1,1[$. Schließlich seien
\begin{align}
\begin{split}
\xi_1 & := \sigma_1\zeta_1 + \mu_1                                            \\
\xi_2 & := \sigma_2\left(\rho\zeta_1 + (1 -\rho^2)^{1/2}\zeta_2\right) + \mu_2.
\end{split}
\end{align}
Dann hat die WDF des Zufallsvektors $\xi := (\xi_1,\xi_2)^T$, also der gemeinsamen
Verteilung von $\xi_1$ und $\xi_2$, die Form
\begin{equation}
p : \mathbb{R}^2 \to \mathbb{R}_{>0},\, x \mapsto p(x)
:= (2\pi)^{-1}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right),
\end{equation}
wobei
\begin{equation}
n := 2,
\mu :=
\begin{pmatrix}
\mu_1 \\
\mu_2
\end{pmatrix}
\mbox{ und }
\Sigma :=
\begin{pmatrix}
\sigma_1^2           & \rho\sigma_1\sigma_2 \\
\rho\sigma_2\sigma_1 & \sigma_2^2           \\
\end{pmatrix}
\end{equation}

\end{theorem}

Bemerkungen

* Man nennt die gemeinsame Verteilung von $\xi_1$ und $\xi_2$ *bivariate Normalverteilung*.

```{r, eval = F}
# Parameterdefinitionen
mu_1   = 5.0                                              # \mu_1
mu_2   = 4.0                                              # \mu_2
sig_1  = 1.5                                              # \sigma_1
sig_2  = 1.0                                              # \sigma_2
rho    = 0.9                                              # \rho

# Realisierungen der standardnormalverteilten ZVen
nr     = 100                                              # Anzahl Realisierungen
zeta_1 = rnorm(nr)                                        # \zeta_1 \sim N(0,1)
zeta_2 = rnorm(nr)                                        # \zeta_1 \sim N(0,1)

# Evaluation von Realisierungen von \xi_1 und \xi_2
xi_1   = sig_1*zeta_1 + mu_1                              # Realsierungen von zeta_1
xi_2   = sig_2*(rho*zeta_1 + sqrt(1-rho^2)*zeta_2) + mu_2 # Realsierungen von zeta_2


# Parameter der gemeinsamen Verteilung von \xi_1 und \xi_2
mu     = matrix(c(mu_1,                                   # \mu \in \mathbb{R}^2
                  mu_2),
                  nrow = 2, byrow = TRUE)
Sigma  = matrix(c(sig_1^2        , rho*sig_1*sig_2,       # \Sigma \in \mathbb{R}^{2 x 2}
                 rho*sig_1*sig_2, sig_2^2),
                 nrow = 2, byrow = TRUE)
print(mu)
print(Sigma)
```

```{r, eval = F, echo = F}
# Abbildungsparameter
library(latex2exp)
library(mvtnorm)
pdf(
file        = "./3_Abbildungen/mv_3_konstruktion.pdf",
width       = 3, 
height      = 3)
par(
family      = "sans",
mfcol       = c(1,1),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Visualisierung
x_min       = 0
x_max       = 10
x_res       = 1e3
x_1         = seq(x_min, x_max, length.out = x_res)
x_2         = seq(x_min, x_max, length.out = x_res)
X           = expand.grid(x_1,x_2)
p           = matrix(dmvnorm(as.matrix(X), mu, Sigma), nrow = x_res)
contour(
x_1,
x_2,
p,
xlim        = c(x_min,x_max),
ylim        = c(x_min,x_max),
xlab        = TeX("$x_1$"),
ylab        = TeX("$x_2$"),
nlevels     = 5)
points(
xi_1,
xi_2,
pch         = 21,
col         = "white",
bg          = "gray60",
cex         = .9)
dev.off()
```

# Normalverteilungen
\vspace{2mm}
Konstruktion bivariater Normalverteilungen

\center
\footnotesize
$\mu_1:= 5.0,\mu_2:= 4.0,\sigma_1:= 1.5,\sigma_2:= 1.0,\rho := 0.9$

\textcolor{lightgray}{$\bullet$} Realisierungen von $\xi = (\xi_1,\xi_2)^T$

$-$ Isokonturen (Linien gleicher Wahrscheinlichkeitsdichte) von $p$

\vspace{-2mm}
```{r, echo = FALSE, out.width = "60%"}
knitr::include_graphics("3_Abbildungen/mv_3_konstruktion.pdf")
```

# Normalverteilungen
\setstretch{1.3}
\footnotesize
\begin{definition}[Multivariate Normalverteilung]
\justifying
$\xi$ sei ein $m$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^m$ und WDF
\begin{equation}
p_\xi: \mathbb{R}^m \to \mathbb{R}_{>0},\, x \mapsto p_\xi(x)
:= (2\pi)^{-\frac{m}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
Dann sagen wird, dass $\xi$ einer \textit{multivariaten (oder $m$-dimensionalen)
Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^m$ und
positive-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{m \times m}$
unterliegt und nennen $\xi$ einen \textit{(multivariat) normalverteilten Zufallsvektor}.
Wir kürzen dies mit $\xi \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat
normalverteilten Zufallsvektors bezeichnen wir mit
\begin{equation}
N(x;\mu,\Sigma):= (2\pi)^{-\frac{m}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
\end{definition}
Bemerkungen

* Der Parameter $\mu \in \mathbb{R}^m$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte
* Die Diagonalelemente von $\Sigma$ spezifizieren die Breite der WDF bezüglich $\xi_1,...,\xi_m$.
* Das $i,j$te Element von $\Sigma$ spezifiziert die Kovarianz on $\xi_i$ und $\xi_j$.
* Der Term $(2\pi)^{-m/2}|\Sigma|^{-1/2}$ ist die Normalisierungskonstante für den Exponentialfunktionsterm.

# Normalverteilungen
Visualisierung bivariater Normalverteilungsdichtefunktionen

```{r, eval = F, echo = F}
# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
library(latex2exp)
pdf(                                                                     
file        = "./3_Abbildungen/mv_3_mvnwdf.pdf",                 
width       = 8,                                                          
height      = 4)
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 2                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))

# Kovarianzparametervariantenschleife
i = 1
for (Sigma in S){

  # Wahrscheinlichkeitsdichtefunktionauswertung
  p      = matrix(                                   # Matrixkonversion des von
                  dmvnorm(as.matrix(X), mu, Sigma),  # dmvnorm() ausgegebenen Vektors
                  nrow = x_res)

  # Visualisierung
  contour(
  x_1,
  x_2,
  p,
  xlim  = c(x_min,x_max),
  ylim  = c(x_min,x_max),
  xlab  = TeX("$x_1$"),
  ylab  = TeX("$x_2$"),
  nlevels   = 5)
  text(1,2.2, L[[i]], xpd = TRUE)
  i = i + 1
}
dev.off()
```

\footnotesize
\center
$\mu = (1,1)^T, \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt.

\vspace{1mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mv_3_mvnwdf.pdf")
```

```{r, eval = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Parameterdefinition
mu     = c(1,1)                                # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.2,  0.15,  0.15, 0.2), 2)  # \Sigma in \mathbb{R}^{2 \times 2}

# Zufallsvektorrealisierungen
t(rmvnorm(n = 10, mu, Sigma))
```

# Normalverteilungen
Realisierung bivariater normalverteilter Zufallsvektoren
\vspace{2mm}

\footnotesize
\center
$\mu = (1,1)^T, \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt.

```{r, eval = F, echo = F}
library(mvtnorm)
library(latex2exp)
pdf(
file        = "./3_Abbildungen/mv_3_rmvnorm.pdf",                     
width       = 8,                                                          
height      = 4)                                                          
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))

# Kovarianzparametervariantenschleife
i = 1
for (Sigma in S){

  # Zufallsvektorrealisierungen
  samples = rmvnorm(n = 200, mu, Sigma)

  # Visualisierung
  plot(
  samples,
  xlim  = c(0,2),
  ylim  = c(0,2),
  xlab  = TeX("$x_1$"),
  ylab  = TeX("$x_2$"),
  pch   = 21,
  col   = "white",
  bg    = "gray60",
  cex   = 1.5)
  text(1,2.2, L[[i]], xpd = TRUE)
  i = i + 1
}
dev.off()
```

```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mv_3_rmvnorm.pdf")
```


# Normalverteilungen
\footnotesize
\begin{theorem}[Erwartungswert und Kovarianzmatrix]
\justifying
\normalfont
$\xi\sim N(\mu,\Sigma)$ sei ein multivariate normalverteilter Zufallsvektor mit
Erwartungswertparameter $\mu \in \mathbb{R}^m$ und Kovarianzmatrixparameter 
$\Sigma \in \mathbb{R}^{m \times m} \mbox{pd }$. Dann gelten für den Erwartungswert
und die Kovarianzmatrix von $\xi$, dass
\begin{equation}
\mathbb{E}(\xi) = \mu
\mbox{ und }
\mathbb{C}(\xi) = \Sigma,
\end{equation}
respektive.
\end{theorem}
Bemerkungen

* Wir verzichten auf einen Beweis. 
* Das Theorem ist die direkte Generalisierung der Eigenschaften univariater normalverteilter Zufallsvariablen

# Normalverteilungen

Einige Eigenschaften von multivariaten Normalverteilungen

\small
Wie bei univariaten Normalverteilungen gilt bei multivariaten Normalverteilungen, dass linear-affine Transformationen wiederrum auf
Normalverteilugen führen, deren Parameter anhand der Ausgangsparameter
und der Transformationsparameter errechnet werden können.

Multivariate Normalverteilungen haben weiterhin die Eigenschaft, dass auch alle anderen assoziierten Verteilung Normalverteilungen sind und deren Erwartungswert- und Kovarianzmatrixparameter aus den Parametern der jeweils komplementären Verteilung errechnet werden können.

Insbesondere gelten:

(1) \justifying Die uni- und multivariaten Marginalverteilungen multivariater Normalverteilungen sind Normalverteilungen.
(2) Wie alle multivariaten Verteilungen lassen sich multivariate Normalverteilungen multiplikativ in eine marginale
und eine bedingte Verteilung zerlegen. Insbesondere sind bei multivariaten Normalverteilungen diese Verteilungen
auch Normalverteilungen, deren Parameter aus den Parametern der gemeinsame Verteilung errechnet werden
können und umgekehrt.

Wir fassen diese Einsichten in den folgenden Theoremen zusammen.

# Normalverteilungen
\small
\begin{theorem}[Linear-affine Transformation]
\justifying
\normalfont
$\xi \sim N(\mu,\Sigma)$ sei ein normalverteilter $m$-dimensionaler Zufallsvektor
und es sei 
\begin{equation}
\upsilon := A\xi + b \mbox{ mit } A \in \mathbb{R}^{n \times m} \mbox{ und } b \in \mathbb{R}^n.
\end{equation}
Dann gilt
\begin{equation}
\upsilon \sim N\left(A\mu + b,A\Sigma A^T\right).
\end{equation}
\end{theorem}
\footnotesize
Bemerkung

* \justifying Die linear-affine Transformation eines multivariate normalverteilten Zuallsvektors
  ergibt wieder ein normalverteilten Zufallsvektor. Die Parameter des resultierenden
  normalverteilten Zufallsvektors ergeben sich dabei aus den
  Parametern des ursprünglichen Zufallsvektors und der Transformationsparamter.

# Normalverteilungen
\footnotesize
\begin{theorem}[Marginale Normalverteilungen]
\justifying
\normalfont
Es sei $m := k + l$ und $\xi = (\xi_1,...,\xi_m)^T$ sei ein $m$-dimensionaler
normalverteilter Zufallsvektor mit Erwartungswertparameter
\begin{equation}
\mu =
\left(\begin{matrix}
\mu_\ups \\
\mu_\zeta
\end{matrix}\right) \in \mathbb{R}^m,
\end{equation}
mit $\mu_\ups \in \mathbb{R}^k$ and $\mu_\zeta \in \mathbb{R}^l$ und Kovarianzmatrixparameter
\begin{equation}
\Sigma =
\left(\begin{matrix}
\Sigma_{\ups\ups} 	& \Sigma_{\ups\zeta} \\
\Sigma_{\zeta\ups} 	& \Sigma_{\zeta\zeta}
\end{matrix}\right) \in \mathbb{R}^{m \times m},
\end{equation}
mit $\Sigma_{\ups\ups}   \in \mathbb{R}^{k \times k}$,
    $\Sigma_{\ups\zeta}  \in \mathbb{R}^{k \times l}$,
    $\Sigma_{\zeta\ups}  \in \mathbb{R}^{l \times k}$,
und $\Sigma_{\zeta\zeta} \in \mathbb{R}^{l \times l}$.
Dann sind $\ups := (\xi_1,...,\xi_k)^T$ und $\zeta := (\xi_{k+1}, ...,\xi_m)^T$
$k$- und $l$-dimensionale normalverteilte Zufallsvektoren, respektive, und es gilt
\begin{equation}
\ups \sim N(\mu_\ups,\Sigma_{\ups\ups}) \mbox{ and } \zeta \sim N(\mu_\zeta,\Sigma_{\zeta\zeta}),
\end{equation}
\end{theorem}

Bemerkungen

* Die Marginalverteilungen einer multivariaten Normalverteilung sind auch Normalverteilungen.
* Die Parameter der Marginalverteilungen ergeben sich aus den Parametern der gemeinsamen Verteilung.

# Normalverteilungen
Marginale Normalverteilungen
\small
\center
$m := 2, k = 1, l = 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.10 & 0.08 \\ 0.08 & 0.15 \end{pmatrix}$

```{r, eval = F, echo = F}
library(mvtnorm)
library(latex2exp)
pdf(
file       = "./3_Abbildungen/mv_3_marginale_mvnorm.pdf",          
width       = 8,                                                   
height      = 4)                                                          
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 3                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.10, 0.08,
                  0.08, 0.15),
                nrow = 2,
                byrow = TRUE)                        # \Sigma in \mathbb{R}^{2 \times 2}


# Visualisierung gemeinsame Verteilung
p      = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(X), mu, Sigma),    # dmvnorm() ausgegebenen Vektors
                nrow = x_res)
contour(
x_1,
x_2,
p,
xlim      =  c(x_min,x_max),
ylim      =  c(x_min,x_max),
xlab      = TeX("$y$"),
ylab      = TeX("$z$"),
main      = TeX("$N(x;\\mu,\\Sigma)$"),
nlevels   = 10)

# Visualisierung Marginalverteilungen
p_marg   = list(dnorm(x_1, mu[1],Sigma[1,1]), dnorm(x_1, mu[2],Sigma[2,2]))
l_marg   = c(TeX("$y$"), TeX("$z$"))
L_marg   = c(TeX("$N(y;\\mu_\\upsilon,\\Sigma_{\\upsilon\\upsilon})$"), TeX("$N(z; \\mu_\\zeta,\\Sigma_{\\zeta\\zeta})$"))
i        = 1
for(i in 1:length(p_marg)){
  plot(
  x_1,
  p_marg[[i]],
  type = "l",
  xlab = l_marg[[i]],
  ylim = c(0,5),
  ylab = "",
  main = L_marg[[i]])
}
dev.off()
```

\vspace{-2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mv_3_marginale_mvnorm.pdf")
```

# Normalverteilungen
\footnotesize
\begin{theorem}[Gemeinsame Normalverteilungen]
\justifying
\normalfont
$\xi$ sei ein $m$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_\xi : \mathbb{R}^m \to \mathbb{R}_{>0},\,x\mapsto
p_\xi(x) := N(x;\mu_\xi,\Sigma_{\xi\xi}) \mbox{ mit }
\mu_\xi \in \mathbb{R}^m,
\Sigma_{\xi\xi} \in \mathbb{R}^{m\times m},
\end{equation}
$A\in\mathbb{R}^{n\times m}$ sei eine Matrix, $b\in\mathbb{R}^n$ sei ein Vektor
und $\ups$ sei ein $n$-dimensionaler bedingt normalverteilter Zufallsvektor mit
bedingter WDF
\begin{equation}
p_{\ups|\xi}(\cdot|x) : \mathbb{R}^n \to \mathbb{R}_{>0},\, y\mapsto
p_{\ups|\xi}(y|x) := N(y;A\xi+b,\Sigma_{\ups\ups}) \mbox{ mit }
\Sigma_{\ups\ups} \in \mathbb{R}^{n\times n}.
\end{equation}
Dann ist der $m+n$-dimensionale Zufallsvektor $(\xi,\ups)^T$ normalverteilt mit (gemeinsamer) WDF
\begin{equation}\label{eq:gauss_joint}
p_{\xi,\ups} : \mathbb{R}^{m+n} \to \mathbb{R}_{>0},\, \begin{pmatrix} x \\ y \end{pmatrix} \mapsto
p_{\xi,\ups}\left(\begin{pmatrix} x \\ y \end{pmatrix}\right) = N\left(\begin{pmatrix} x \\ y \end{pmatrix};
\mu_{\xi,\ups}, \Sigma_{\xi,\ups} \right),
\end{equation}
mit $\mu_{\xi,\ups} \in \mathbb{R}^{m+n}$ and $\Sigma_{\xi,\ups} \in \mathbb{R}^{m+n \times m+n}$ und insbesondere
\begin{equation}
\mu_{\xi,\ups} = \left( \begin{matrix} \mu_\xi \\ A\mu_\xi + b \end{matrix} \right)
\mbox{ und }
\Sigma_{\xi,\ups} = \left(\begin{matrix} \Sigma_{\xi\xi} & \Sigma_{\xi\xi}A^T \\ A\Sigma_{\xi\xi} & \Sigma_{\ups\ups} + A\Sigma_{\xi\xi}A^T \end{matrix} \right).
\end{equation}
\end{theorem}
Bemerkungen

* Eine marginale und eine bedingte multivariate Normalverteilung induzieren eine gemeinsame Normalverteilung.
* Die Parameter der gemeinsamen Verteilungen ergeben sich als linear-affine Transformation der Parameter der
  induzierenden Verteilungen.

# Normalverteilungen
Gemeinsame Normalverteilungen
\small
\vspace{2mm}
\center
$m := 1, n := 1, \mu_\xi := 1, \Sigma_{\xi\xi} := 0.2, A := 1, b := 1, \Sigma_{\ups\ups} := 0.1$
\vspace{-2mm}
```{r, eval = F, echo = F}
# Abbildungsparameter
library(mvtnorm)
library(latex2exp)
pdf(                                                                     
file        = "./3_Abbildungen/mv_3_gemeinsame_mvnorm.pdf",
width       = 8,                                                         
height      = 4)
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = -1                                          # x_i Minimum
x_max  = 4                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x      = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
y      = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
xy     = expand.grid(x,y)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu_x      = 1                                        # \mu \in \mathbb{R}
Sigma_xx  = 0.2                                      # \Sigma_xx in \mathbb{R}
A         = 1                                        # A
b         = 1                                        # b
Sigma_yy  = 0.1                                      # \Sigma_yy

mu_xy     = c(mu_x, A*mu_x + b)
Sigma_xy  = matrix(c(Sigma_xx  , Sigma_xx*t(A),
                     A*Sigma_xx, Sigma_yy + A*Sigma_xx*t(A)),
                   nrow = 2,
                   byrow = TRUE)

# Visualisierung marginale Verteilung
plot(
x,
dnorm(x, mu_x, sqrt(Sigma_xx)),
type = "l",
xlab = TeX("$x$"),
ylim = c(0,2),
ylab = "",
main = TeX("$p(x) = N(x;\\mu_\\xi,\\Sigma_{\\xi\\xi})$"))

# Visualisierung bedingte Verteilung
plot(
y,
dnorm(y, A*1 + b, sqrt(Sigma_yy)),
type = "l",
xlab = TeX("$y$"),
ylim = c(0,2),
ylab = "",
main = TeX("$p(y|x) = N(y; Ax + b, \\Sigma_{\\upsilon\\upsilon})$"))
text(0,1.75, TeX("$x = 1$"), cex = 1.2)


# Visualisierung gemeinsame Verteilung
p_xy    = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(xy), mu_xy, Sigma_xy),    # dmvnorm() ausgegebenen Vektors
                nrow = x_res)
contour(
x,
y,
p_xy,
xlim      = c(x_min,x_max),
ylim      = c(x_min,x_max),
xlab      = TeX("$x$"),
ylab      = TeX("$y$"),
main      = TeX("$p((x,y)^T) = N((x,y)^T; \\mu_{\\xi,\\upsilon},\\Sigma_{\\xi,\\upsilon})$"),
nlevels   = 5)
dev.off()
```

```{r, echo = FALSE, out.width = "105%"}
knitr::include_graphics("3_Abbildungen/mv_3_gemeinsame_mvnorm.pdf")
```


# Normalverteilungen
\vspace{1mm}
\footnotesize
\begin{theorem}[Bedingte Normalverteilungen]
\justifying
\normalfont
$(\xi,\ups)$ sei ein $m+n$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_{\xi,\ups} : \mathbb{R}^{m + n} \to \mathbb{R}_{>0}, \begin{pmatrix} x \\ y \end{pmatrix}
\mapsto p_{\xi,\ups}\left(\begin{pmatrix} x \\ y \end{pmatrix} \right)
:= N\left(\begin{pmatrix} x \\ y \end{pmatrix}; \mu_{\xi,\ups}, \Sigma_{\xi,\ups}\right),
\end{equation}
mit
\begin{equation}
\mu_{\xi,\ups} = \left(\begin{matrix} \mu_\xi \\ \mu_\ups \end{matrix} \right),
\Sigma_{\xi,\ups} = \left(\begin{matrix} \Sigma_{\xi\xi} & \Sigma_{\xi\ups} \\ \Sigma_{\ups\xi} & \Sigma_{\ups\ups} \end{matrix} \right),
\end{equation}
mit $x,\mu_\xi \in \mathbb{R}^m, y,\mu_\ups\in\mathbb{R}^n$ and  $\Sigma_{\xi\xi} \in \mathbb{R}^{m\times m}, \Sigma_{\xi\ups} \in \mathbb{R}^{m\times n}, \Sigma_{\ups\ups} \in \mathbb{R}^{n \times n}$. Dann ist die
bedingte Verteilung von $\xi$ gegeben $\ups$ eine $m$-dimensionale Normalverteilung
mit bedingter WDF
\begin{equation}
p_{\xi|\ups}(\cdot|y) : \mathbb{R}^m \to \mathbb{R}_{>0}, x \mapsto p_{\xi|\ups}(x|y) :=
N(x;\mu_{\xi|\ups},\Sigma_{\xi|\ups})
\end{equation}
mit
\begin{equation}\label{eq:gauss_cond_exp}
\mu_{\xi|\ups} = \mu_\xi  + \Sigma_{\xi\ups}\Sigma_{\ups\ups}^{-1}(y-\mu_\ups) \in \mathbb{R}^m
\end{equation}
und
\begin{equation}\label{eq:gauss_cond_var}
\Sigma_{\xi|\ups} = \Sigma_{\xi\xi}  - \Sigma_{\xi\ups}\Sigma_{\ups\ups}^{-1}\Sigma_{\ups\xi} \in \mathbb{R}^{m\times m}.
\end{equation}
\end{theorem}
\vspace{-2mm}
Bemerkungen
\vspace{-1mm}

* Die Parameter einer bedingten (multivariaten) Normalverteilung ergeben sich
  aus den Parametern einer gemeinsamen multivariaten Normalverteilung. Im Zusammenspiel
  mit den vorherigen Theoremen können die Parameter bedingter und marginale
  Normalverteilungen aus den Parametern der komplementären bedingten und marginalen
  Normalverteilungen bestimmt werden.

# Normalverteilungen
Bedingte Normalverteilungen
\small
\center
$m := 2, n := 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.12 & 0.09 \\ 0.09 & 0.12 \end{pmatrix}$

```{r, eval = F, echo = F}
# Abbildungsparameter
library(mvtnorm)
library(latex2exp)
pdf(
file        = "./3_Abbildungen/mv_3_bedingte_mvnorm.pdf", 
width       = 8, 
height      = 4)
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 4                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x      = seq(x_min, x_max, length.out = x_res)       # x Raum
y      = seq(x_min, x_max, length.out = x_res)        # y Raum
X      = expand.grid(x,y)                            # (x,y)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.12, 0.09,
                  0.09, 0.12),
                nrow = 2,
                byrow = TRUE)                        # \Sigma in \mathbb{R}^{2 \times 2}


# Visualisierung gemeinsame Verteilung
p      = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(X), mu, Sigma),    # dmvnorm() ausgegebenen Vektors
                nrow = x_res)
contour(
x,
y,
p,
xlim      = c(x_min,x_max),
ylim      = c(x_min,x_max),
xlab      = TeX("$x$"),
ylab      = TeX("$y$"),
main      = TeX("$p(x,y) = N((x,y)^T; \\mu_{\\xi,\\upsilon},\\Sigma_{\\xi,\\upsilon})$"),
nlevels   = 8)
abline(1.5,0)
abline(2.5,0)
text(3.5,1, TeX("$y = 1.5$"))
text(3.5,3, TeX("$y = 2.5$"))

# Visualsierung bedingter Verteilung
plot(
x,
dnorm(x, mu[1] + Sigma[1,2]*(1/Sigma[2,2])*(1.5 - mu[2]),sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
type = "l",
xlim = c(x_min,x_max),
ylim = c(0,2),
xlab = TeX("$x$"),
ylab = "",
main = TeX("$p(x|y) = N(x; \\mu_{\\xi|\\upsilon},\\Sigma_{\\xi|\\upsilon})$"))
text(3.5,1.8, TeX("$y = 1.5$"))

# Visualsierung bedingter Verteilung
plot(
x,
dnorm(x, mu[1] + Sigma[1,2]*(1/Sigma[2,2])*(2.5 - mu[2]), sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
type = "l",
xlim = c(x_min,x_max),
ylim = c(0,2),
xlab = TeX("$x$"),
ylab = "",
main = TeX("$p(x|y) = N(x; \\mu_{\\xi|\\upsilon},\\Sigma_{\\xi|\\upsilon})$"))
text(3.5,1.8, TeX("$y = 2.5$"))
dev.off()
```

\vspace{-2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mv_3_bedingte_mvnorm.pdf")
```


# 
\large
\setstretch{3}
\vfill
Definition und multivariate Verteilungen

Marginale und bedingte Verteilungen

Normalverteilungen

**Selbstkontrollfragen**
\vfill

# Selbstkontrollfragen
\footnotesize
\setstretch{1.6}
1. Geben Sie Definition eines Zufallsvektors wieder.
1. Geben Sie Definition der multivariaten Verteilung eines Zufallsvektors wieder.
1. Geben Sie Definition einer multivariaten WMF wieder.
1. Geben Sie Definition einer multivariaten WDF wieder.
1. Geben Sie die Definition des Erwartungswerts eines Zufallsvektors wieder.
1. Geben Sie die Definition der Kovarianzmatrix eines Zufallsvektors wieder.
1. Was repräsentieren die Diagonalelemente der Kovarianzmatrix eines Zufallsvektors?
1. Was repräsentieren die Nichtdiagonalelemente der Kovarianzmatrix eines Zufallsvektors?
1. Geben Sie die Definition der Korrelationsmatrix eines Zufallsvektors wieder.
1. Geben Sie die Definition der univariaten Marginalverteilung eines Zufallsvektors wieder.
1. Wie berechnet man die WMF der $i$ten Komponente eines diskreten Zufallsvektors?
1. Wie berechnet man die WDF der $i$ten Komponente eines kontinuierlichen Zufallsvektors?
1. Geben Sie Definition der bedingten WMF und der diskreten bedingten Verteilung wieder.
1. Geben Sie Definition der bedingten WDF und der kontinuierlichen bedingten Verteilung wieder.
1. Geben Sie die Definition der WDF eines multivariaten normalverteilten Zufallsvektors wieder.
1. Erläutern Sie die Komponenten der WDF eines multivariaten normalverteilten Zufallsvektors.
1. Welche Werte haben der Erwartungswert und die Kovarianzmatrix eines normalverteilten Zufallsvektors?  

