---
fontsize: 8pt
bibliography: 3_Referenzen.bib
citation_package: natbib
output:
  beamer_presentation:
    keep_tex: true
    includes:
      in_header: 3_header.tex
---


```{r, include = F}
source("3_R_common.R")
```

#  {.plain}
\center
```{r, echo = FALSE, out.width = "20%"}
knitr::include_graphics("3_Abbildungen/mvda_3_otto.png")
```

\vspace{2mm}

\Huge
Multivariate Datenanalyse
\vspace{6mm}

\large
MSc Psychologie WiSe 2021/22

\vspace{6mm}
\large
Prof. Dr. Dirk Ostwald

#  {.plain}

\vfill
\center
\huge
\textcolor{black}{(3) Wahrscheinlichkeitstheorie}
\vfill

#
\textcolor{darkblue}{Realisierungen von Zufallsvariablen}
\footnotesize
\setstretch{1.1}
\vspace{2mm}
```{r}

# Univariate Normalverteilungsparameter
mu      = 2.0                        # Erwartungswertparameter
sigsqr  = 0.5                        # Varianzparameter
n       = 10                         # Anzahl von u.i.v. Realisierungen

# 10 Realisierungen
X       = rnorm(n,mu,sqrt(sigsqr))   # X_i \sim N(\mu,\sigma^2), i = 1,...,n
print(X)

# 10 Realisierungen
X       = rnorm(n,mu,sqrt(sigsqr))   # X_i \sim N(\mu,\sigma^2), i = 1,...,n
print(X)

```


#
\textcolor{darkblue}{Wahrscheinlichkeitstheorie, Daten, Deskriptive Statistik}

```{r, eval = F, echo = F}

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "3_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = 0                                           # x Minimum
x_max  = 4                                           # x Maxim
x_res  = 1e3                                         # x Auflösung
x      = seq(x_min, x_max, length.out = x_res)       # x Raum

# Univariate Normalverteilungsparameter
mu     = 2                                           # Erwartungsparameter
sigsqr = 0.4                                         # Varianzparameter

# Wahrscheinlichkeitstheorie
plot(
x,
dnorm(x,mu,sqrt(sigsqr)),
type = "l",
col  = "black",
lwd  = 1,
main = "Wahrscheinlichkeitstheorie",
xlab = "x",
ylab = "",
ylim = c(0,.7)
)

# Daten
n = 50
D = rnorm(n,mu,sqrt(sigsqr))
plot(
D,
rep(0,n),
type = "p",
lwd  = 1,
main = "Daten",
xlab = "x",
ylab = "",
xlim = c(0,4),
ylim = c(-2,2),
pch   = 21,
col  = "white",
bg   = "gray60",
cex  = 1.5)

# Deskriptive Statistik
hist(
D,
main = "Deskriptive Statistik",
xlim = c(0,4),
ylab = "Häufigkeit",
xlab = "x",
ylim = c(0,20))

# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "mvda_3_univariate_statistik.pdf"),        # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )


```


```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mvda_3_univariate_statistik.pdf")
```


#
\textcolor{darkblue}{Realisierungen von Zufallsvektoren}
\footnotesize
\setstretch{1}
\vspace{1mm}
```{r}
# R Paket für multivariate Normalverteilungsrealisierung
library(MASS)

# Multivariate Normalverteilungsparameter
mu      = c(2.0,5.0)                 # Erwartungswertparameter
Sigma   = matrix(c(0.5,0.1,          # Kovarianzmatrixparamter
                   0.1,0.5),
                 nrow = 2,
                 byrow = TRUE)
n       = 10                         # Anzahl von u.i.v. Realisierungen

# 10 Realisierungen
X       = t(mvrnorm(n,mu,Sigma))     # X_i \sim N(\mu,\Sigma), i = 1,...,n
print(X)


# 10 Realisierungen
X       = t(mvrnorm(n,mu,Sigma))     # X_i \sim N(\mu,\sigma^2), i = 1,...,n
print(X)

```



#
\small
\textcolor{darkblue}{Multivariate Wahrscheinlichkeitstheorie, Multivariate Daten, Multivariate Deskriptive Statistik}

```{r, eval = F, echo = F}
# multivariate Normalverteilungstools
# install.packages("mvtnorm")
library(mvtnorm)

# install.packages("squash")
library(squash)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "3_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 2                                           # x_i Maximum
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.2,  0.15,  0.15, 0.2), 2)        # \Sigma in \mathbb{R}^{2 \times 2}

# Wahrscheinlichkeitsdichtefunke
contour(
x_1,
x_2,
matrix(dmvnorm(as.matrix(X), mu, Sigma), nrow = x_res),
xlim      =  c(x_min,x_max),
ylim      =  c(x_min,x_max),
xlab      = TeX("x_1"),
ylab      = TeX("x_2"),
nlevels   = 5,
main      = "Wahrscheinlichkeitstheorie")

# Daten
X        = rmvnorm(n = 300, mu, Sigma)
plot(
X,
xlim     = c(0,2),
ylim     = c(0,2),
xlab     = TeX("x_1"),
ylab     = TeX("x_2"),
pch      = 21,
col      = "white",
bg       = "gray60",
cex      = 1.5,
main    = "Daten")

# # # Deskriptive Statistik
hist2(
X[,1],
X[,2],
base = 2,
key = vkey,
nz = 5,
bty = 'l',
xlim  = c(0,2),
ylim     = c(0,2),
main   = "Deskriptive Statistik"
)

# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "mvda_3_multivariate_statistik.pdf"),     # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```


```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mvda_3_multivariate_statistik.pdf")
```



#
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill

#
\large
\setstretch{2.2}
\vfill

**Zufallsvektoren und multivariate Verteilungen**

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill


# Zufallsvektoren und multivariate Verteilungen
\small
\begin{definition}[Zufallsvektor]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum und
$(\mathcal{X},\mathcal{S})$ sei ein $m$-dimensionaler Messraum.
Ein $m$-dimensionaler \textit{Zufallsvektor} ist definiert als eine Abbildung
\begin{equation}
X:\Omega \to \mathcal{X}, \omega \mapsto X(\omega) :=
\begin{pmatrix}
X_1(\omega) \\
\vdots  	\\
X_m(\omega)
\end{pmatrix}
\end{equation}
mit der \textit{Messbarkeitseigenschaft}
\begin{equation}
\{\omega \in \Omega|X(\omega) \in S \} \in \mathcal{A} \mbox{ für alle } S \in \mathcal{S}.
\end{equation}
\end{definition}

Bemerkungen

* $X$ ist messbar, wenn die Komponentenfunktionen $X_1,...,X_m$ messbar sind.
* Die Komponentenfunktionen eines Zufallsvektors sind Zufallsvariablen.
* Ein $m$-dimensionaler Zufallsvektor ist die Konkatenation von $m$ Zufallsvariablen.
* Für einen Zufallsvektor schreiben wir auch häufig $X := (X_1,...,X_m)$.
* Für $m := 1$ ist ein Zufallsvektor eine Zufallsvariable.


# Zufallsvektoren und multivariate Verteilungen
\vspace{.2cm}
\center
```{r, echo = FALSE,out.width = "95%"}
knitr::include_graphics("3_Abbildungen/mvda_3_zufallsvektor.pdf")
```


# Zufallsvektoren und multivariate Verteilungen
\small
\begin{definition}[Multivariate Verteilung]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum,
$(\mathcal{X},\mathcal{S})$ sei ein $m$-dimensionaler Messraum und
\begin{equation}
X : \Omega \to \mathcal{X}, \omega \mapsto X(\omega)
\end{equation}
sei ein Zufallsvektor. Dann heißt das Wahrscheinlichkeitsmaß $\mathbb{P}_X$,
definiert durch
\begin{equation}
\mathbb{P}_X : \mathcal{S} \to [0,1], S \mapsto \mathbb{P}_X(S)
:= \mathbb{P}(X^{-1}(S))
 = \mathbb{P}\left(\{\omega \in \Omega|X(\omega) \in S\}\right)
\end{equation}
die \textit{multivariate Verteilung des Zufallsvektor $X$}.
\end{definition}
\footnotesize
Bemerkungen

* Der Einfachheit halber spricht man oft auch nur von "der Verteilung des Zufallsvektors $X$".
* Die Notationskonventionen für Zufallsvariablen gelten für Zufallsvektoren analog, z.B.
\begin{align}
\begin{split}
\mathbb{P}_X(X \in S)
& := \mathbb{P}\left(\{X \in S\} \right)
= \mathbb{P}\left(\{\omega \in \Omega|X(\omega) \in S\} \right)
\\
\mathbb{P}_X(X = x)
& := \mathbb{P}\left(\{X = x\} \right)
= \mathbb{P}\left(\{\omega \in \Omega|X(\omega) = x\} \right)
\\
\mathbb{P}_X(X \le x)
& := \mathbb{P}\left(\{X \le x\} \right)
= \mathbb{P}\left(\{\omega \in \Omega|X(\omega) \le x\} \right)
\\
\mathbb{P}_X(x_1 \le X \le x_2)
& := \mathbb{P}\left(\{x_1 \le X \le x_2\} \right)
= \mathbb{P}\left(\{\omega \in \Omega|x_1 \le X(\omega) \le x_2\} \right)
\end{split}
\end{align}
* Relationsoperatoren wie $\le$ werden hier \textit{komponentenweise} verstanden.
* Zum Beispiel heißt $x \le y$ für $x,y \in \mathbb{R}^m$, dass $x_i \le y_i$ für alle $i = 1,...,m$.

# Zufallsvektoren und multivariate Verteilungen
\small
\begin{definition}[Multivariate kumulative Verteilungsfunktionen]
$X$ sei ein Zufallsvektor mit Ergebnisraum $\mathcal{X}$. Dann heißt eine Funktion
der Form
\begin{equation}
P_X : \mathcal{X} \to [0,1],\, x \mapsto P_X(x) := \mathbb{P}_X(X \le x)
\end{equation}
multivariate kumulative Verteilungsfunktion von $X$.
\end{definition}

Bemerkung

* \justifying Multivariate kumulative Verteilungsfunktionen können zur Definition
von multivariaten Verteilungen genutzt werden, häufiger ist allerdings die
Definition multivariater Verteilungen durch multivariate Wahrscheinlichkeitsmasse-
oder Wahrscheinlichkeitsdichtefunktionen.


# Zufallsvektoren und multivariate Verteilungen
\small
\begin{definition}[Diskreter Zufallsvektor, multivariate WMF]
\justifying
$(\Omega,\mathcal{A},\mathbb{P})$ sei ein Wahrscheinlichkeitsraum und
$X: \Omega \to \mathcal{X}$ ein Zufallsvektor. $X$ heißt \textit{diskreter Zufallsvektor},
wenn der Ergebnisraum $\mathcal{X}$ endlich viele oder höchsten abzählbar viele
Elemente $x_i, i = 1,2,...$ enthält. Die \textit{multivariate
Wahrscheinlichkeitsmassefunktion (WMF)} eines diskreten Zufallsvektors $X$ wird
mit $p_X$ bezeichnet und ist definiert durch
\begin{equation}
p_X : \mathcal{X} \to [0,1], x \mapsto p_X(x) := \mathbb{P}_X(X = x).
\end{equation}
\end{definition}

Bemerkungen

* Der Begriff der multivariaten WMF ist analog zum Begriff der WMF.
* Man spricht oft einfach von der WMF eines Zufallsvektors.
* Wie univariate WMFen sind multivariate WMFen nicht-negativ und normiert.



# Zufallsvektoren und multivariate Verteilungen
Beispiel (Multivariate Wahrscheinlichkeitsmassefunktion)

\vspace{2mm}

\small
\justifying

Wir betrachten einen zweidimensionalen Zufallsvektor $X := (X_1,X_2)$ der Werte
in $\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$ annimmt, wobei
$\mathcal{X}_1 := \{1,2,3\}$ und $\mathcal{X}_2 = \{1,2,3,4\}$ seien.

Eine exemplarische bivariate WMF der Form
\begin{equation}
p_X: \{1,2,3\} \times \{1,2,3,4\} \to [0,1], (x_1,x_2) \mapsto p_X(x_1,x_2)
\end{equation}
ist dann durch nachfolgende Tabelle definiert.
\vspace{1mm}

\begin{table}\label{tab:wmf_bivariat}
\begin{center}
\begin{tabular}{|c|cccc|}
\hline
$p_X(x_1,x_2)$	& 	$x_2 = 1$ 	& 	$x_2 = 2$ 	& 	$x_2 = 3$ 	& 	$x_2 = 4$ 	\\\hline
$x_1 = 1$		&	$0.1$		&	$0.0$		&	$0.2$		&	$0.1$		\\
$x_1 = 2$		&	$0.1$		&	$0.2$		&	$0.0$		&	$0.0$		\\
$x_1 = 3$		&	$0.0$		&	$0.1$		&	$0.1$		&	$0.1$		\\\hline
\end{tabular}
\end{center}
\end{table}
\vspace{1mm}

Man beachte, dass $\sum_{x_1 = 1}^3 \sum_{x_2 = 1}^4 p_X(x_1,x_2) = 1$.

# Zufallsvektoren und multivariate Verteilungen
\footnotesize
\begin{definition}[Kontinuierlicher Zufallsvektor, multivariate WDF]
\justifying
Es sei $(\Omega,\mathcal{A},\mathbb{P})$ ein Wahrscheinlichkeitsraum. Ein
Zufallsvektor der Form $X: \Omega \to \mathbb{R}^m$ heißt \textit{kontinuierlicher}
Zufallsvektor. Die \textit{multivariate Wahrscheinlichkeitsdichtefunktion (WDF)}
eines kontinuierlichen  Zufallsvektors $X$ ist eine Funktion
\begin{equation}
p_X : \mathbb{R}^m \to \mathbb{R}_{\ge 0}, x \mapsto p_X(x),
\end{equation}
mit den Eigenschaften
\begin{itemize}
\item[(1)] $\int_{\mathbb{R}^m} p_X(x)\,dx = 1$
\item[(2)] $\mathbb{P}_X(x_1 \le X \le x_2)
		    = \int_{x_{1_1}}^{x_{2_1}} \cdots \int_{x_{1_m}}^{x_{2_m}} p_X(s_1,...,s_m)\,ds_1 \cdots ds_m$
\end{itemize}
\end{definition}

Bemerkungen

* Der Begriff der multivariaten WDF ist analog zum Begriff der WDF.
* Man spricht häufig auch einfach von der WDF eines Zufallsvektors
* Wie univariate WDFen sind multivariate WDFen nicht-negativ und normiert.
* Wie für kontinuierliche Zufallsvariablen gilt für kontinuierliche Zufallsvektoren
\begin{equation}
\mathbb{P}_X(X = x)
= \mathbb{P}_X(x \le X \le x)
= \int_{x_1}^{x_1} \cdots \int_{x_m}^{x_m} p_X(s_1,...,s_m)\,ds_1 \cdots ds_m
= 0
\end{equation}


#
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

**Marginale und bedingte Verteilungen**

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill


# Marginale und bedingte Verteilungen
\small
\begin{definition}[Univariate Marginalverteilung]
\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum,
$(\mathcal{X}, \mathcal{S})$ sei ein $m$-dimensionaler Messraum,
$X: \Omega \to \mathcal{X}$ sei ein Zufallsvektor, $\mathbb{P}_X$ sei die
Verteilung von $X$, $\mathcal{X}_i \subset \mathcal{X}$ sei der Ergebnisraum der
$i$ten Komponente $X_i$ von $X$, und $\mathcal{S}_i$ sei eine
$\sigma$-Algebra auf $X_i$. Dann heißt die durch
\begin{equation}
\mathbb{P}_{X_i} : \mathcal{S}_i \to [0,1],
S \mapsto  \mathbb{P}_X\left(\mathcal{X}_1
                     \times
                     \cdots
                     \times
                     \mathcal{X}_{i-1}
                     \times S
                     \times \mathcal{X}_{i+1}
                     \times \cdots
                     \times \mathcal{X}_m\right)
\mbox{ für } S \in \mathcal{S}_i
\end{equation}
definierte Verteilung die \textit{$i$te univariate Marginalverteilung von $X$}.
\end{definition}

Bemerkungen

* \justifying Univariate Marginalverteilungen sind die Verteilungen der Komponenten eines Zufallsvektors.
* Univariate Marginalverteilungen sind Verteilungen von Zufallsvariablen.
* Die Festlegung der multivariaten Verteilung von $X$ legt auch die Verteilungen der $X_i$ fest.


# Marginale und bedingte Verteilungen
\footnotesize
\begin{theorem}[Marginale Wahrscheinlichkeitsmasse- und dichtefunktionen]
\justifying
\normalfont
(1) $X = (X_1,...,X_m)$ sei ein $m$-dimensionaler diskreter Zufallsvektor
mit Wahrscheinlichkeitsmassefunktion $p_X$ und Komponentenergebnisräumen
$\mathcal{X}_1, ..., \mathcal{X}_m$. Dann ergibt sich die
Wahrscheinlichkeitsmassefunktion der $i$ten Komponente $X_i$ von $X$ als
\begin{multline}
p_{X_i} : \mathcal{X}_i \to [0,1], x_i \mapsto p_{X_i}(x_i) := \\
\sum_{x_1} \cdots \sum_{x_{i-1}} \sum_{x_{i+1}} \cdots \sum_{x_m} p_X(x_1,...,x_{i-1},x_i,x_{i+1}, ...,x_m)
\end{multline}
(2) $X = (X_1,...,X_m)$ sei ein $m$-dimensionaler kontinuierlicher Zufallsvektor
mit Wahrscheinlichkeitsdichtefunktion $p_X$ und Komponentenergebnisraum $\mathbb{R}$.
Dann ergibt sich die Wahrscheinlichkeitsdichtefunktion der $i$ten Komponente $X_i$ von $X$ als
\begin{multline}
p_{X_i} : \mathbb{R} \to \mathbb{R}_{\ge 0},  x_i \mapsto p_{X_i}(x_i) :=  \\
\smallint_{x_1} \cdots \smallint_{x_{i-1}} \smallint_{x_{i+1}} \cdots \smallint_{x_m}
   p_X(x_1,..., x_{i-1},x_i,x_{i+1}, ...,x_m)
   \,dx_1...\,dx_{i-1}\,dx_{i+1}...\,dx_m.
\end{multline}
\end{theorem}
\vspace{-2mm}
Bemerkungen
\vspace{-1mm}

* \justifying Wir verzichten auf einen Beweis.
* Die WMFen der univariaten Marginalverteilungen diskreter Zufallsvektoren ergeben sich durch Summation.
* Die WDFen der univariaten Marginalverteilungen kontinuierlicher Zufallsvektoren ergeben sich durch Integration.


# Marginale und bedingte Verteilungen
Beispiel (Marginale Wahrscheinlichkeitsmassefunktionen)

\vspace{2mm}

\small
\justifying

Wir betrachten erneut den zweidimensionalen Zufallsvektor $X := (X_1,X_2)$ der
Werte in $\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$ annimmt, wobei
$\mathcal{X}_1 := \{1,2,3\}$ und $\mathcal{X}_2 = \{1,2,3,4\}$ seien.
\vspace{1mm}

Basierend auf der oben definierten WMF ergeben sich folgende marginalen WMFen
$p_{X_1}$ und $p_{X_2}$
\vspace{2mm}

\begin{table}\label{tab:wmf_marginal}
\begin{center}
\begin{tabular}{|c|cccc|c|}
\hline
$p_X(x_1,x_2)$	& 	$x_2 = 1$ 	& 	$x_2 = 2$ 	& 	$x_2 = 3$ 	& 	$x_2 = 4$ 	& $p_{X_1}(x_1)$	\\\hline
$x_1 = 1$		&	$0.1$		&	$0.0$		&	$0.2$		&	$0.1$		& $0.4$				\\
$x_1 = 2$		&	$0.1$		&	$0.2$		&	$0.0$		&	$0.0$		& $0.3$				\\
$x_1 = 3$		&	$0.0$		&	$0.1$		&	$0.1$		&	$0.1$		& $0.3$				\\\hline
$p_{X_2}(x_2)$	&   $0.2$	 	&   $0.3$ 		&   $0.3$ 		&   $0.2$       & 					\\\hline
\end{tabular}
\end{center}
\end{table}
\vspace{2mm}

Man beachte, dass $\sum_{x_1 = 1}^3 p_{X_1}(x_1) = 1$ und $\sum_{x_2 = 1}^3 p_{X_2}(x_2) = 1$ gilt.

# Marginale und bedingte Verteilungen
\justifying
Vorbemerkungen
\vspace{1mm}

\small
Wir erinnern uns, dass für einen Wahrscheinlichkeitsraum $(\Omega, \mathcal{A}, \mathbb{P})$
und zwei Ereignisse $A,B \in \mathcal{A}$ mit $\mathbb{P}(B) > 0$ die bedingte
Wahrscheinlichkeit von $A$ gegeben $B$ definiert ist als
\begin{equation}
\mathbb{P}(A|B) = \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}.
\end{equation}

Analog wird für zwei Zufallsvariablen $X_1,X_2$ mit Ereignisräumen
$\mathcal{X}_1,\mathcal{X}_2$ und (messbaren) Mengen $S_1 \in \mathcal{X}_1, S_2 \in \mathcal{X}_2$
die bedingte Verteilung von $X_1$ gegeben $X_2$ mithilfe der Ereignisse
$A := \{X_1 \in S_1\}$ und $B := \{X_2 \in S_2\}$ definiert.
\vspace{2mm}

So ergibt sich zum Beispiel die bedingte Wahrscheinlichkeit, dass $X_1 \in S_1$
gegeben dass $X_2 \in S_2$ unter der Annahme, dass $\mathbb{P}(\{X_2 \in S_2\}) > 0$, zu
\begin{equation}
\mathbb{P}( \{X_1 \in S_1\}|\{X_2 \in S_2\})
= \frac{\mathbb{P}(\{X_1 \in S_1\} \cap \{X_2 \in S_2\})}{\mathbb{P}(\{X_2 \in S_2\})}.
\end{equation}

In der Folge betrachten wir zunächst durch die WMFen/WDFen zweidimensionaler Zufallsvektoren definierte bedingte Verteilungen.

# Marginale und bedingte Verteilungen
\footnotesize
\begin{definition}[Bedingte WMF, diskrete bedingte Verteilung]
\justifying
$X := (X_1,X_2)$ sei ein diskreter Zufallsvektor mit Ergebnisraum
$\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$, WMF $p_X = p_{X_1,X_2}$
und marginalen WMFen $p_{X_1}$ und $p_{X_2}$. Die bedingte WMF von $X_1$ gegeben
$X_2 = x_2$ ist dann für $p_{X_2}(x_2) > 0$ definiert als
\begin{equation}
p_{X_1|X_2 = x_2} : \mathcal{X}_1 \to [0,1],
x_1 \mapsto p_{X_1|X_2 = x_2}(x_1|x_2) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_2}(x_2)}
\end{equation}
Analog ist für $p_{X_1}(x_1) > 0$ die bedingte WMF von $X_2$ gegeben $X_1 = x_1$
definiert als
\begin{equation}
p_{X_2|X_1 = x_1} : \mathcal{X}_2 \to [0,1],
x_2 \mapsto p_{X_2|X_1 = x_2}(x_1|x_2) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_1}(x_1)}
\end{equation}
Die bedingten Verteilungen mit WMFen $p_{X_1|X_2 = x_2}$ und $p_{X_2|X_1 = x_1}$
heißen dann die \textit{diskreten bedingten Verteilungen von $X_1$ gegeben $X_2 = x_2$
und $X_2$ gegeben $X_1 = x_1$}, respektive.
\end{definition}
Bemerkungen

* In Analogie zur Definition der bedingten Wahrscheinlichkeit von Ereignissen gilt also
\begin{equation}
p_{X_1|X_2}(x_1|x_2)
= \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_2}(x_2)}
= \frac{\mathbb{P}(\{X_1 = x_1\} \cap \{X_2 = x_2\})}{\mathbb{P}(\{X_2 = x_2\})}.
\end{equation}
* Bedingte Verteilungen sind (lediglich) normalisierte gemeinsame Verteilungen.


# Marginale und bedingte Verteilungen
Beispiel (Bedingte Wahrscheinlichkeitsmassefunktionen)

\vspace{2mm}

\small
\justifying

Wir betrachten erneut den zweidimensionalen Zufallsvektor $X := (X_1,X_2)$ der
Werte in $\mathcal{X} := \mathcal{X}_1 \times \mathcal{X}_2$ annimmt, wobei
$\mathcal{X}_1 := \{1,2,3\}$ und $\mathcal{X}_2 = \{1,2,3,4\}$ seien.

Basierend auf der oben definierten WMF  und den entsprechenden oben evaluierten
marginalen WMFen ergeben sich folgende bedingte WMFen für $p_{X_2|X_1 = x_1}$
\vspace{1mm}

\begin{table}\label{tab:wmf_bedingt}
\renewcommand{\arraystretch}{1.4}
\begin{center}
\begin{tabular}{|c|cccc|}
\hline
$p_{X_1|X_2}(x_1,x_2)$
& 	$x_2 = 1$
& 	$x_2 = 2$
& 	$x_2 = 3$
& 	$x_2 = 4$
\\\hline
$p_{X_2|X_1 = 1}(x_2|x_1 = 1)$

& 	$\frac{0.1}{0.4} = 0.25$

&	$\frac{0.0}{0.4} = 0.00$

&	$\frac{0.2}{0.4} = 0.50$

&	$\frac{0.1}{0.4} = 0.25$
\\
$p_{X_2|X_1 = 2}(x_2|x_1 = 2)$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$

&	$\frac{0.2}{0.3} = 0.6\bar{6}$

&	$\frac{0.0}{0.3} = 0.00$

&	$\frac{0.0}{0.3} = 0.00$
\\
$p_{X_2|X_1 = 3}(x_2|x_1 = 3)$

&	$\frac{0.0}{0.3} = 0.00$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$

&	$\frac{0.1}{0.3} = 0.3\bar{3}$
\\\hline
\end{tabular}
\end{center}
\end{table}

\footnotesize
Bemerkungen

* Man beachte, dass $\sum_{x_2 = 1}^4 p_{X_2|X_1 = x_1}(x_2|x_1) = 1$ für alle $x_1 \in \mathcal{X}_1$.
* Man beachte die qualitative Ähnlichkeit der WMFen $p_{X_1,X_2}(x_1,x_2)$ und $p_{X_2|X_1}(x_2|x_1)$.
* Bedingte Verteilungen sind (lediglich) normalisierte gemeinsame Verteilungen.

# Marginale und bedingte Verteilungen
\small
\begin{definition}[Bedingte WDF, kontinuierliche bedingte Verteilungen]
\justifying
$X := (X_1,X_2)$ sei ein kontinuierlicher Zufallsvektor mit Ergebnisraum
$\mathbb{R}^2$, WDF $p_X = p_{X_1,X_2}$ und marginalen WDFen $p_{X_1}$ und $p_{X_2}$.
Die bedingte WDF von $X_1$ gegeben $X_2 = x_2$ ist dann für $p_{X_2}(x_2) > 0$ definiert als
\begin{equation}
p_{X_1|X_2 = x_2} : \mathbb{R} \to \mathbb{R}_{\ge 0},
x_1 \mapsto p_{X_1|X_2 = x_2}(x_1|x_2) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_2}(x_2)}
\end{equation}
Analog ist für $p_{X_1}(x_1) > 0$ die bedingte WMF von $X_2$ gegeben $X_1 = x_1$ definiert als
\begin{equation}
p_{X_2|X_1 = x_1} : \mathbb{R} \to \mathbb{R}_{\ge 0},
x_2 \mapsto p_{X_2|X_1 = x_2}(x_2|x_1) := \frac{p_{X_1,X_2}(x_1,x_2)}{p_{X_1}(x_1)}
\end{equation}

Die Verteilungen mit WDFen $p_{X_1|X_2 = x_2}$ und $p_{X_2|X_1 = x_1}$ heißen dann
die \textit{kontinuierlichen bedingten Verteilungen von $X_1$ gegeben $X_2 = x_2$
und $X_2$ gegeben $X_1 = x_1$}, respektive.
\end{definition}

Bemerkung

* Im kontinuierlichen Fall gilt zwar $\mathbb{P}(X = x) = 0$, aber nicht notwendig auch $p_X(x) = 0$.

#
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

**Erwartungswerte und Kovarianzmatrizen**

Multivariate Normalverteilungen

Selbstkontrollfragen

\vfill


# Erwartungswerte und Kovarianzmatrizen
\small
\begin{definition}[Erwartungswert]
\justifying
$X$ sei ein $m$-dimensionaler Zufallvektor. Dann ist der \textit{Erwartungwert}
von $X$ definiert als der $m$-dimensionale Vektor
\begin{equation}
\mathbb{E}(X) :=
\begin{pmatrix}
\mathbb{E}(X_1) \\
\vdots 	\\
\mathbb{E}(X_m) \\
\end{pmatrix}.
\end{equation}
\end{definition}
Bemerkungen
\begin{itemize}
\item Der Erwartungswert von $X$ ist der Vektor der Erwartungswerte $\mathbb{E}(X_1), ..., \mathbb{E}(X_m)$.
\item Im allgemeinen linearen Modell $X = D\beta + \varepsilon$ gilt zum Beispiel $\mathbb{E}(\varepsilon) = 0_m$ und $\mathbb{E}(X) = D\beta$.
\end{itemize}


# Erwartungswerte und Kovarianzmatrizen
\small
\begin{definition}[Kovarianzmatrix]
\justifying
$X$ sei ein $m$-dimensionaler Zufallsvektor. Die \textit{Kovarianzmatrix} von $X$
ist definiert als die $m \times m$ matrix
\begin{align}
\begin{split}
\mathbb{C}(X)
:= \mathbb{E}\left((X - \mathbb{E}(X))(X - \mathbb{E}(X))^T \right)
 =
\begin{pmatrix}
\mathbb{C}(X_1,X_1) & \cdots & \mathbb{C}(X_1,X_m) \\
\vdots  			& \ddots & \vdots 			 \\
\mathbb{C}(X_m,X_1) & \cdots & \mathbb{C}(X_m,X_m) \\
\end{pmatrix}.
\end{split}
\end{align}
\end{definition}
\footnotesize
Bemerkungen

* Die Kovarianzmatrix $\mathbb{C}(X)$ ist die Matrix der Kovarianzen $\mathbb{C}(X_i,X_j), i,j = 1,...,m$.
* Die Korrelation von $X_i$ and $X_j$ ist definiert als
\begin{equation}
\rho_{ij} = \frac{\mathbb{C}(X_i,X_j)}{\sqrt{\mathbb{C}(X_i,X_i)}\sqrt{\mathbb{C}(X_j,X_j)}}\in [-1,1].
\end{equation}
* Die Kovarianzmatrix repräsentiert also die Korrelationsstruktur der Zufallsvariablen $X_1,...,X_m$
* Im ALM mit sphärischer Kovarianmatrix gilt per Definition $\mathbb{C}(\varepsilon) = \mathbb{C}(X) = \sigma^2 I_m$.


# Erwartungswerte und Kovarianzmatrizen
\setstretch{1.2}
\footnotesize
\vspace{1mm}
Die Äquivalenz der Kovarianzschreibweisen folgt mit
\vspace{1mm}
\tiny
\begin{align*}
& \mathbb{E}\left((X - \mathbb{E}(X))(X - \mathbb{E}(X))^T \right) \\
& =
\mathbb{E}
\left(
\left(
\begin{pmatrix}
X_1 \\
\vdots \\
X_m
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(X_1) \\
\vdots \\
\mathbb{E}(X_m)
\end{pmatrix}
\right)
\left(
\begin{pmatrix}
X_1 \\
\vdots \\
X_m
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(X_1) \\
\vdots \\
\mathbb{E}(X_m)
\end{pmatrix}
\right)^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
X_1 - \mathbb{E}(X_1) \\
\vdots \\
X_m - \mathbb{E}(X_m)
\end{pmatrix}
\begin{pmatrix}
X_1 - \mathbb{E}(X_1)\\
\vdots \\
X_m - \mathbb{E}(X_m)
\end{pmatrix}^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
X_1 - \mathbb{E}(X_1) \\
\vdots \\
X_m - \mathbb{E}(X_m)
\end{pmatrix}
\begin{pmatrix}
X_1 - \mathbb{E}(X_1)
& \dots
& X_m - \mathbb{E}(X_m)
\end{pmatrix}
\right) \\
& =
\mathbb{E}
\begin{pmatrix}
  (X_1 - \mathbb{E}(X_1))(X_1 - \mathbb{E}(X_1))
& \dots
& (X_1 - \mathbb{E}(X_1))(X_m - \mathbb{E}(X_m)
\\
\vdots
& \ddots
& \vdots
\\
  (X_m - \mathbb{E}(X_m))(X_1 - \mathbb{E}(X_1))
& \dots
& (X_m - \mathbb{E}(X_m))(X_m - \mathbb{E}(X_m))
\\
\end{pmatrix}
\\
& =
\left(\mathbb{E}\left((X_i - \mathbb{E}(X_i))(X_j - \mathbb{E}(X_j)) \right) \right)_{1 \le i,j \le m} \\
& =:
\left(\mathbb{C}(X_i,X_j)\right)_{1 \le i,j \le m} \\
& =: \mathbb{C}(X).
\end{align*}

# Erwartungswerte und Kovarianzmatrizen
\small
\begin{definition}[Stichprobenmittel, Stichprobenkovarianmatrix]
\justifying
$X^{(1)},...,X^{(n)}$ seien $n$ $m$-dimensionale Zufallsvektoren.
Dann ist das Stichprobenmittel der $X^{(1)},...,X^{(n)}$ definiert als
\begin{equation}
\bar{X} := \frac{1}{n} \sum_{i=1}^n X^{(i)}
\end{equation}
und die Stichprobenkovarianzmatrix der  $X^{(1)},...,X^{(m)}$ ist definiert als
\begin{equation}
C := \frac{1}{n-1}\sum_{i=1}^n (X^{(i)} - \bar{X})(X^{(i)} - \bar{X})^T .
\end{equation}
\end{definition}

\footnotesize
Bemerkungen

* $\bar{X}$ ist ein unverzerrter Schätzer von $\mathbb{E}(X)$.
* $C$ ist ein unverzerrter Schätzer von $\mathbb{C}(X)$.

# Erwartungswerte und Kovarianzmatrizen
\footnotesize
\begin{theorem}[Datenmatrix und Stichprobenkovarianzmatrix]
\justifying
\normalfont
\begin{equation}
Y :=
\begin{pmatrix}
X^{(1)} & X^{(2)} & \cdots & X^{(n)}
\end{pmatrix}
\in \mathbb{R}^{m \times n}
\end{equation}
sei eine $m \times n$ \textit{Datenmatrix}, die durch die spaltenweise Konkatenation
von $n$ $m$-dimensionalen Zufallvektoren $X^{(1)},...,X^{(n)}$ gegeben sei. Dann
kann das Stichprobenmittel berechnet werden als
\begin{equation}
\bar{Y} :=  \frac{1}{n}Y1_{n} = \bar{X}  
\end{equation}
Weiterhin sei
\begin{equation}
Y_c := Y - \bar{Y}1_n^T \in \mathbb{R}^{m \times n}
\end{equation}
die $m \times n $ \textit{zentrierte Datenmatrix}. Dann kann die Stichprobenkovarianzmatrix der
$X^{(1)},...,X^{(n)}$ durch
\begin{equation}
C = \frac{1}{n-1}Y_cY_c^T \mbox{ und } C = \frac{1}{n-1}\left(Y\left(I_n - \frac{1}{n}1_{nn}\right)Y^T\right)
\end{equation}
berechnet werden.
\end{theorem}

\footnotesize
Bemerkungen

* $C = \frac{1}{n-1}Y_cY_c^T$ ist in der Theorie der Hauptkomponentenanalyse von Bedeutung.
* $C = \frac{1}{n-1}\left(Y\left(I_n - \frac{1}{n}1_{nn}\right)Y^T\right)$ erleichtert die numerische Implementation.

# Erwartungswerte und Kovarianzmatrizen
\footnotesize
\underline{Beweis}
\vspace{1mm}

Die Darstellung des Stichprobenmittels ergibt sich direkt aus 
\begin{align}
\begin{split}
\bar{Y}  
& := \frac{1}{n}Y1_{n} \\
& = \frac{1}{n}\left(\begin{pmatrix} X_1^{(1)} & \cdots  & X_1^{(n)} \\
                                  \vdots     & \ddots  & \vdots     \\
                                   X_m^{(1)} & \cdots  & X_m^{(n)} \\
                   \end{pmatrix}
                   \begin{pmatrix} 1 \\ \vdots \\ 1 \end{pmatrix}
              \right) \\
& = \frac{1}{n}\begin{pmatrix} \sum_{i=1}^n X_1^{(i)} \\ \vdots \\ \sum_{i=1}^n X_m^{(i)} \end{pmatrix} \\
& =  \frac{1}{n} \sum_{i=1}^n X^{(i)} =: \bar{X}
\end{split}
\end{align}

# Erwartungswerte und Kovarianzmatrizen
\footnotesize
\underline{Beweis (fortgeführt)}

Wir halten weiterhin zunächt fest, dass gilt
\begin{align*}
Y_c
& = Y - \bar{X}1_n^T 		\\
& =
\begin{pmatrix}
X_1^{(1)} & \dots  & X_1^{(n)} 	\\
\vdots & \ddots &  \vdots 	\\
X_m^{(1)} & \dots  & X_m^{(n)}
\end{pmatrix}
-
\begin{pmatrix}
\bar{X}_1 	\\
\vdots		\\
\bar{X}_m 	\\
\end{pmatrix}
\begin{pmatrix}
1 & \dots & 1
\end{pmatrix} \\
& =
\begin{pmatrix}
X_1^{(1)} & \dots  & X_1^{(n)} 	\\
\vdots & \ddots & \vdots 	\\
X_m^{(1)} & \dots  & X_m^{(n)}
\end{pmatrix}
-
\begin{pmatrix}
\bar{X}_1  & \dots  & \bar{X}_1  	\\
\vdots     & \ddots & \vdots 			\\
\bar{X}_m  & \dots  & \bar{X}_m
\end{pmatrix} \\
& =
\begin{pmatrix}
X_1^{(1)} - \bar{X}_1 & \dots  & X_1^{(n)} - \bar{X}_1	\\
\vdots & \ddots &  \vdots 	\\
X_m^{(1)} - \bar{X}_m & \dots  & X_m^{(n)} - \bar{X}_m
\end{pmatrix} \\
& =
\begin{pmatrix}
X^{(1)} - \bar{X} & \dots & X^{(n)} - \bar{X}
\end{pmatrix}
\end{align*}

# Erwartungswerte und Kovarianzmatrizen
\footnotesize
\underline{Beweis (fortgeführt)}
\vspace{1mm}

Dann aber gilt
\begin{align*}
\frac{1}{n-1}
Y_cY_c^T
& =
\frac{1}{n-1}
\begin{pmatrix}
X^{(1)} - \bar{X} & \dots & X^{(n)} - \bar{X}
\end{pmatrix}
\begin{pmatrix}
\left(X^{(1)} - \bar{X}\right)^T	\\
\vdots								\\
\left(X^{(n)} - \bar{X}\right)^T
\end{pmatrix} \\
& =
\frac{1}{n-1}
\sum_{i=1}^n
\left(X^{(i)} - \bar{X}\right)
\left(X^{(i)} - \bar{X}\right)^T \\
& = C.
\end{align*}
$\hfill \Box$


#
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

**Multivariate Normalverteilungen**

Selbstkontrollfragen

\vfill


# Multivariate Normalverteilungen
\setstretch{1.3}
\small
\begin{definition}[Normalverteilte Zufallsvariable]
\justifying
$X$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und WDF
\begin{equation}
p : \mathbb{R} \to \mathbb{R}_{>0}, x\mapsto p(x)
:= \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}
Dann sagen wir, dass $X$ einer \textit{Normalverteilung (oder \textit{Gauß-Verteilung})
mit Parametern $\mu \in \mathbb{R}$ und $\sigma^2 > 0$} unterliegt und nennen $X$
eine \textit{normalverteilte Zufallsvariable}. Wir kürzen dies mit
$X \sim N\left(\mu,\sigma^2\right)$ ab. Die WDF einer normalverteilten
Zufallsvariable bezeichnen wir mit
\begin{equation}
N\left(x;\mu,\sigma^2\right) := \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}
\end{definition}
Bemerkungen

* Der Parameter $\mu$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte.
* Der Parameter $\sigma^2$ spezifiziert die Breite der WDF.


# Multivariate Normalverteilungen
\setstretch{1.3}
\small
\begin{definition}[Multivariate Normalverteilung]
\justifying
$X$ sei ein $n$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^n$ und WDF
\begin{equation}
p : \mathbb{R}^n \to \mathbb{R}_{>0},\, x \mapsto p(x)
:= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
Dann sagen wird, dass $X$ einer \textit{multivariaten (oder $n$-dimensionalen)
Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^n$ und
positive-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{n \times n}$
unterliegt und nennen $X$ einen \textit{(multivariat) normalverteilten Zufallsvektor}.
Wir kürzen dies mit $X \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat
normalverteilten Zufallsvektors bezeichnen wir mit
\begin{equation}
N(x;\mu,\Sigma):= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(x-\mu)^T \Sigma^{-1} (x-\mu)\right).
\end{equation}
\end{definition}
Bemerkungen

* Der Parameter $\mu \in \mathbb{R}^n$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte
* Die Diagonalelemente von $\Sigma$ spezifizieren die Breite der WDF bezüglich $X_1,...,X_n$.
* Das $i,j$te Element von $\Sigma$ spezifiziert die Kovarianz on $X_i$ und $X_j$.
* Der Term $(2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}$ ist die Normalsieriungskonstante für den Exponentialfunktionsterm.


# Multivariate Normalverteilung
\vspace{1mm}
\textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen}
\vspace{1mm}
\tiny
\setstretch{.9}

```{r, eval = F, echo = T}
# multivariate Normalverteilungstools
# install.packages("mvtnorm")
library(mvtnorm)


# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 2                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}

# Kovarianzparametervariantenschleife
for (Sigma in S){

  # Wahrscheinlichkeitsdichtefunktionauswertung
  p      = matrix(                                   # Matrixkonversion des von
                  dmvnorm(as.matrix(X), mu, Sigma),  # dmvnorm() ausgegebenen Vektors
                  nrow = x_res)

  # Visualisierung
  contour(
  x_1,
  x_2,
  p,
  xlim      =  c(x_min,x_max),
  ylim      =  c(x_min,x_max),
  nlevels   = 5)
}

```


```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "3_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 2                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))



# Kovarianzparametervariantenschleife
for (Sigma in S){

  # Wahrscheinlichkeitsdichtefunktionauswertung
  p      = matrix(                                   # Matrixkonversion des von
                  dmvnorm(as.matrix(X), mu, Sigma),  # dmvnorm() ausgegebenen Vektors
                  nrow = x_res)

  # Visualisierung
  contour(
  x_1,
  x_2,
  p,
  xlim      =  c(x_min,x_max),
  ylim      =  c(x_min,x_max),
  nlevels   = 5)
  text(1,2.2, L[[i]], xpd = TRUE)
}

# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "mvda_3_mvnwdf.pdf"),                 # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

# Multivariate Normalverteilung
\textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen}
\vspace{2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mvda_3_mvnwdf.pdf")
```

# Multivariate Normalverteilung

\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}
\footnotesize
\setstretch{1.1}
\vspace{1mm}

```{r}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Parameterdefinition
mu     = c(1,1)                                # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.2,  0.15,  0.15, 0.2), 2)  # \Sigma in \mathbb{R}^{2 \times 2}

# Zufallsvektorrealisierungen
rmvnorm(n = 10, mu, Sigma)

```

# Multivariate Normalverteilung
\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}
\vspace{2mm}

```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "3_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))



# Kovarianzparametervariantenschleife
i = 1
for (Sigma in S){

  # Zufallsvektorrealisierungen
  samples = rmvnorm(n = 200, mu, Sigma)

  # Visualisierung
  plot(
  samples,
  xlim  = c(0,2),
  ylim  = c(0,2),
  xlab  = TeX("x_1"),
  ylab  = TeX("x_2"),
  pch   = 21,
  col  = "white",
  bg   = "gray60",
  cex  = 1.5,
  )
  text(1,2.2, L[[i]], xpd = TRUE)
  i = i + 1
}

# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "mvda_3_rmvnorm.pdf"),                     # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mvda_3_rmvnorm.pdf")
```


# Multivariate Normalverteilungen
\footnotesize
\begin{theorem}[Marginale Normalverteilungen]
\justifying
\normalfont
Es sei $m := k + l$ und $X = (X_1,...,X_m)$ sei ein $m$-dimensionaler
normalverteilter Zufallsvektor mit Erwartungswertparameter
\begin{equation}
\mu =
\left(\begin{matrix}
\mu_y \\
\mu_z
\end{matrix}\right) \in \mathbb{R}^m,
\end{equation}
mit $\mu_y \in \mathbb{R}^k$ and $\mu_z \in \mathbb{R}^l$ und Kovarianzmatrixparameter
\begin{equation}
\Sigma =
\left(\begin{matrix}
\Sigma_{yy} 	& \Sigma_{yz} \\
\Sigma_{zy} 	& \Sigma_{zz}
\end{matrix}\right) \in \mathbb{R}^{m \times m},
\end{equation}
mit $\Sigma_{yy} \in \mathbb{R}^{k \times k}$,
    $\Sigma_{yz} \in \mathbb{R}^{k \times l}$,
    $\Sigma_{zy} \in \mathbb{R}^{l \times k}$,
und $\Sigma_{zz} \in \mathbb{R}^{l \times l}$.
Dann sind $Y := (X_1,...,X_k)$ und $Z := (X_{k+1}, ...,X_m)$ $k$- und $l$-dimensionale
normalverteilte Zufallsvektoren, respektive, und es gilt
\begin{equation}
Y \sim N(\mu_y,\Sigma_{yy}) \mbox{ and } Z \sim N(\mu_z,\Sigma_{xx}),
\end{equation}
\end{theorem}

Bemerkungen

* Wir verzichten auf einen Beweis
* Die Marginalverteilungen einer multivariaten Normalverteilung sind auch Normalverteilungen.
* Die Parameter der Marginalverteilungen ergeben sich aus den Parametern der gemeinsamen Verteilung.

# Multivariate Normalverteilungen
\textcolor{darkblue}{Marginale Normalverteilungen}
\small
\center
$m := 2, k = 1, l = 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.10 & 0.08 \\ 0.08 & 0.15 \end{pmatrix}$

```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "3_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 3                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.10, 0.08,
                  0.08, 0.15),
                nrow = 2,
                byrow = TRUE)                        # \Sigma in \mathbb{R}^{2 \times 2}


# Visualisierung gemeinsame Verteilung
p      = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(X), mu, Sigma),    # dmvnorm() ausgegebenen Vektors
                nrow = x_res)
contour(
x_1,
x_2,
p,
xlim      =  c(x_min,x_max),
ylim      =  c(x_min,x_max),
xlab      = TeX("$y$"),
ylab      = TeX("$z$"),
main      = TeX("$N(x; \\mu,\\Sigma)$"),
nlevels   = 10)

# Visualisierung Marginalverteilungen
p_marg   = list(dnorm(x_1, mu[1],Sigma[1,1]), dnorm(x_1, mu[2],Sigma[2,2]))
l_marg   = c(TeX("$y$"), TeX("$z$"))
L_marg   = c(TeX("$N(y; \\mu_y,\\Sigma_{yy})$"), TeX("$N(z; \\mu_z,\\Sigma_{zz})$"))
i        = 1
for(i in 1:length(p_marg))
plot(x_1,
     p_marg[[i]],
     type = "l",
     xlab = l_marg[[i]],
     ylim = c(0,5),
     ylab = "",
     main = L_marg[[i]]
      )


# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "mvda_3_marginale_mvnorm.pdf"),            # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

\vspace{-2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mvda_3_marginale_mvnorm.pdf")
```

# Multivariate Normalverteilungen
\footnotesize
\begin{theorem}[Gemeinsame Normalverteilunge]
\justifying
\normalfont
$X$ sei ein $m$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_X : \mathbb{R}^m \to \mathbb{R}_{>0},\,x\mapsto
p_X(x) := N(x;\mu_x,\Sigma_{xx}) \mbox{ mit }
\mu_x \in \mathbb{R}^m,
\Sigma_{xx} \in \mathbb{R}^{m\times m},
\end{equation}
$A\in\mathbb{R}^{n\times m}$ sei eine Matrix, $b\in\mathbb{R}^n$ sei ein Vektor
und $Y$ sei ein $n$-dimensionaler bedingt normalverteilter Zufallsvektor mit
bedingter WDF
\begin{equation}
p_{y|X}(\cdot|x) : \mathbb{R}^n \to \mathbb{R}_{>0},\, y\mapsto
p_{Y|X}(y|x) := N(y;AX+b,\Sigma_{yy}) \mbox{ mit }
\Sigma_{yy} \in \mathbb{R}^{n\times n}.
\end{equation}
Dann ist der $m+n$-dimensionale Zufallsvektor $(X,Y)$ normalverteilt mit (gemeinsamer) WDF
\begin{equation}\label{eq:gauss_joint}
p_{X,Y} : \mathbb{R}^{m+n} \to \mathbb{R}_{>0},\, (x,y) \mapsto
p_{X,Y}(x,y) = N\left((x,y);
\mu_{x,y}, \Sigma_{x,y} \right),
\end{equation}
mit $\mu_{x,y} \in \mathbb{R}^{n + m}$ and $\Sigma_{x,y} \in \mathbb{R}^{m+n \times m+n}$ und insbesondere
\begin{equation}
\mu_{x,y} = \left( \begin{matrix} \mu_x \\ A\mu_x + b \end{matrix} \right)
\mbox{ und }
\Sigma_{x,y} = \left(\begin{matrix} \Sigma_{xx} & \Sigma_{xx}A^T \\ A\Sigma_{xx} & \Sigma_{yy} + A\Sigma_{xx}A^T \end{matrix} \right).
\end{equation}
\end{theorem}
\vspace{-1mm}
Bemerkungen
\vspace{-1mm}

* Wir verzichten auf einen Beweis.
* Eine marginale und eine bedingte multivariate Normalverteilung induzieren eine gemeinsame Normalverteilung.
* Die Parameter der gemeinsamen Verteilungen ergeben sich als linear-affine Transformation der Parameter der
  induzierenden Verteilungen.

# Multivariate Normalverteilungen
\textcolor{darkblue}{Gemeinsame Normalverteilungen}
\small
\vspace{2mm}
\center
$m := 1, n := 1, \mu_x := 1, \Sigma_{xx} := 0.2, A := 1, b := 1, \Sigma_{yy} := 0.1$
\vspace{-2mm}
```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "3_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
x_min  = -1                                          # x_i Minimum
x_max  = 4                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x      = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
y      = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
xy     = expand.grid(x,y)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu_x      = 1                                        # \mu \in \mathbb{R}
Sigma_xx  = 0.2                                      # \Sigma_xx in \mathbb{R}
A         = 1                                        # A
b         = 1                                        # b
Sigma_yy  = 0.1                                      # \Sigma_yy

mu_xy     = c(mu_x, A*mu_x + b)
Sigma_xy  = matrix(c(Sigma_xx  , Sigma_xx*t(A),
                     A*Sigma_xx, Sigma_yy + A*Sigma_xx*t(A)),
                   nrow = 2,
                   byrow = TRUE)


# Visualisierung marginale Verteilung
plot(
x,
dnorm(x, mu_x, sqrt(Sigma_xx)),
type = "l",
xlab = TeX("$x$"),
ylim = c(0,2),
ylab = "",
main = TeX("$p(x) = N(x;\\mu_x,\\Sigma_{xx})$")
)

# Visualisierung bedingte Verteilung
plot(
y,
dnorm(y, A*1 + b, sqrt(Sigma_yy)),
type = "l",
xlab = TeX("$y$"),
ylim = c(0,2),
ylab = "",
main = TeX("$p(y|x) = N(y;Ax + b, \\Sigma_{yy})$")
)
text(0,1.75, TeX("$x = 1$"), cex = 1.2)


# Visualisierung gemeinsame Verteilung
p_xy    = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(xy), mu_xy, Sigma_xy),    # dmvnorm() ausgegebenen Vektors
                nrow = x_res)
contour(
x,
y,
p_xy,
xlim      = c(x_min,x_max),
ylim      = c(x_min,x_max),
xlab      = TeX("$x$"),
ylab      = TeX("$y$"),
main      = TeX("$N((x,y); \\mu_{xy},\\Sigma_{xy})$"),
nlevels   = 5)



# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "mvda_3_gemeinsame_mvnorm.pdf"),            # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

```{r, echo = FALSE, out.width = "105%"}
knitr::include_graphics("3_Abbildungen/mvda_3_gemeinsame_mvnorm.pdf")
```



# Multivariate Normalverteilungen
\footnotesize
\begin{theorem}[Bedingte Normalverteilungen]
\justifying
\normalfont
$(X,Y)$ sei ein $m+n$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_{X,Y} : \mathbb{R}^{m + n} \to \mathbb{R}_{>0}, (x,y) \mapsto
p_{X,Y}(x,y) := N\left((x,y); \mu_{x,y}, \Sigma_{x,y}\right),
\end{equation}
mit
\begin{equation}
\mu_{x,y} = \left(\begin{matrix} \mu_x \\ \mu_y \end{matrix} \right),
\Sigma_{x,y} = \left(\begin{matrix} \Sigma_{xx} & \Sigma_{xy} \\ \Sigma_{yx} & \Sigma_{yy} \end{matrix} \right),
\end{equation}
mit $x,\mu_x \in \mathbb{R}^m, y,\mu_y\in\mathbb{R}^n$ and  $\Sigma_{xx} \in \mathbb{R}^{m\times m}, \Sigma_{xy} \in \mathbb{R}^{m\times n}, \Sigma_{yy} \in \mathbb{R}^{n \times n}$. Dann ist die
bedingte Verteilung von $X$ gegeben $Y$ eine $m$-dimensionale Normalverteilung
mit bedingter WDF
\begin{equation}
p_{X|Y}(\cdot|y) : \mathbb{R}^m \to \mathbb{R}_{>0}, x \mapsto p_{X|Y}(x|y) :=
N(x;\mu_{x|y},\Sigma_{x|y})
\end{equation}
mit
\begin{equation}\label{eq:gauss_cond_exp}
\mu_{x|y} = \mu_x  + \Sigma_{xy}\Sigma_{yy}^{-1}(Y-\mu_y) \in \mathbb{R}^m
\end{equation}
und
\begin{equation}\label{eq:gauss_cond_var}
\Sigma_{x|y} = \Sigma_{xx}  - \Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx} \in \mathbb{R}^{m\times m}.
\end{equation}
\end{theorem}
\vspace{-2mm}
Bemerkungen
\vspace{-1mm}

* \justifying Wir verzichten auf einen Beweis.
* Die Parameter einer bedingten (multivariaten) Normalverteilung ergeben sich
aus den Parametern einer gemeinsamen multivariaten Normalverteilung. Im Zusammenspiel
mit den vorherigen Theoremen können die Parameter bedingter und marginale
Normalverteilungen aus den Parametern der komplementären bedingten und marginalen
Normalverteilungen bestimmt werden.

# Multivariate Normalverteilungen
\textcolor{darkblue}{Bedingte Normalverteilungen}
\small
\center
$m := 2, n := 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.12 & 0.09 \\ 0.09 & 0.12 \end{pmatrix}$

```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "3_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 4                                           # x_i Maxim
x_res  = 1e3                                         # x_i Auflösung
x      = seq(x_min, x_max, length.out = x_res)       # x Raum
y     = seq(x_min, x_max, length.out = x_res)        # y Raum
X      = expand.grid(x,y)                            # (x,y)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.12, 0.09,
                  0.09, 0.12),
                nrow = 2,
                byrow = TRUE)                        # \Sigma in \mathbb{R}^{2 \times 2}


# Visualisierung gemeinsame Verteilung
p      = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(X), mu, Sigma),    # dmvnorm() ausgegebenen Vektors
                nrow = x_res)
contour(
x,
y,
p,
xlim      = c(x_min,x_max),
ylim      = c(x_min,x_max),
xlab      = TeX("$x$"),
ylab      = TeX("$y$"),
main      = TeX("$p(x,y) = N((x,y); \\mu_{x,y},\\Sigma_{x,y})$"),
nlevels   = 8)

# Visualsierung bedingter Verteilung
plot(
x,
dnorm(x, mu_x + Sigma[1,2]*(1/Sigma[2,2])*(1 - mu[2]),sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
type = "l",
xlim = c(x_min,x_max),
ylim = c(0,2),
xlab = TeX("$x$"),
ylab = "",
main = TeX("$p(x|y = 1) = N(x; \\mu_{x|y},\\Sigma_{x|y})$"))

# Visualsierung bedingter Verteilung
plot(
x,
dnorm(x, mu_x + Sigma[1,2]*(1/Sigma[2,2])*(3 - mu[2]),sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
type = "l",
xlim = c(x_min,x_max),
ylim = c(0,2),
xlab = TeX("$x$"),
ylab = "",
main = TeX("$p(x|y = 3) = N(x; \\mu_{x|y},\\Sigma_{x|y})$"))

# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "mvda_3_bedingte_mvnorm.pdf"),            # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

\vspace{-2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("3_Abbildungen/mvda_3_bedingte_mvnorm.pdf")
```

#
\large
\setstretch{2.2}
\vfill

Zufallsvektoren und multivariate Verteilungen

Marginale und bedingte Verteilungen

Erwartungswerte und Kovarianzmatrizen

Multivariate Normalverteilungen

**Selbstkontrollfragen**

# Selbstkontrollfragen
\setstretch{1.1}
\footnotesize
\begin{enumerate}
\item Definieren Sie den Begriff des Zufallsvektors.
\item Definieren Sie den Begriff der multivariaten Verteilung eines Zufallsvektors.
\item Definieren Sie den Begriff der multivariaten WMF.
\item Definieren Sie den Begriff der multivariaten WDF.
\item Definieren Sie den Begriff der univariaten Marginalverteilung eines Zufallsvektors.
\item Wie berechnet man die WMF der $i$ten Komponente eines diskreten Zufallsvektors?
\item Wie berechnet man die WDF der $i$ten Komponente eines kontinuierlichen Zufallsvektors?
\item Definieren Sie die Begriffe der bedingten WMF und der diskreten bedingten Verteilung.
\item Definieren Sie die Begriffe der bedingten WDF und der kontinuierlichen bedingten Verteilung.
\item Geben Sie die Definition des Erwartungswerts eines Zufallsvektors wieder.
\item Geben Sie die Definition der Kovarianzmatrix eines Zufallsvektors wieder.
\item Geben Sie die Definition des Stichprobenmittels und der Stichprobenkovarianzmatrix wieder.
\item Erläutern Sie, warum für eine Stichprobenkovarianzmatrix $C = \frac{1}{n-1}Y_c Y_c^T$ gilt.
\item Definieren Sie die WDF einer univariaten normalverteilten Zufallsvariable und erläutern Sie diese.
\item Definieren Sie die WDF eines multivariaten normalverteilten Zufallsvektors wieder und erläutern Sie diese.
\item Geben Sie das Theorem zu Marginalen Normalverteilungen wieder.
\item Geben Sie das Theorem zu Gemeinsamen Normalverteilungen wieder.
\item Geben Sie das Theorem zu Bedingten Normalverteilungen wieder.
\end{enumerate}

