---
fontsize: 8pt
bibliography: 4_Referenzen.bib
citation_package: natbib
output:
  beamer_presentation:
    keep_tex: true
    includes:
      in_header: 4_header.tex
---


```{r, include = F}
source("4_R_common.R")
```

#  {.plain}
\center
```{r, echo = FALSE, out.width = "20%"}
knitr::include_graphics("4_Abbildungen/alm_4_otto.png")
```

\vspace{2mm}

\Huge
Allgemeines Lineares Modell
\vspace{6mm}

\large
BSc Psychologie SoSe 2022

\vspace{6mm}
\large
Prof. Dr. Dirk Ostwald

#  {.plain}

\vfill
\center
\huge
\textcolor{black}{(4) Normalverteilungen}
\vfill

# Überblick

\small
Die multivariate Normalverteilung ist zentraler Bestandteil des ALMs.

Die multivariate Normalverteilung ist die multivariate Generalisierung der univariaten Normalverteilung.

Die Motivation von Normalverteilungsannahmen liegt immer im Zentralen Grenzwertsatz:

* \justifying Probabilistische Terme repräsentieren die Summation sehr vieler Prozesse, die durch die deterministischen
Bestandteile eines Modell, also eine mechanistische wissenschaftliche Theorie, nicht erklärt werden.

* Nach dem Zentralen Grenzwertsatz ist die Summe dieser Prozesse normalverteilt.

Darüberhinaus hat die Normalverteilung günstige mathematische Eigenschaften, die auch in der Quantifikation
subjektiver Unsicherheit genutzt werden können. Zur Erarbeitung der Inhalte dieser Einheit bietet sich eine Revision
von (5) Multivariate Verteilungen aus Wahrscheinlichkeitstheorie und Frequentistische Inferenz an

#
\large
\setstretch{2.2}
\vfill

Definition und Eigenschaften

Transformation

Unabhängigkeit

Gemeinsame Verteilungen

Selbstkontrollfragen

\vfill

#
\large
\setstretch{2.2}
\vfill

**Definition und Eigenschaften**

Transformationen

Unabhängigkeit

Gemeinsame Verteilungen

Selbstkontrollfragen

\vfill

# Definition und Eigenschaften
\setstretch{1.3}
\footnotesize
\begin{definition}[Multivariate Normalverteilung]
\justifying
$y$ sei ein $n$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^n$ und WDF
\begin{equation}
p : \mathbb{R}^n \to \mathbb{R}_{>0},\, \upsilon \mapsto p(\upsilon)
:= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(\upsilon-\mu)^T \Sigma^{-1} (\upsilon-\mu)\right).
\end{equation}
Dann sagen wird, dass $y$ einer \textit{multivariaten (oder $n$-dimensionalen)
Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^n$ und
positive-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{n \times n}$
unterliegt und nennen $y$ einen \textit{(multivariat) normalverteilten Zufallsvektor}.
Wir kürzen dies mit $y \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat
normalverteilten Zufallsvektors bezeichnen wir mit
\begin{equation}
N(\upsilon;\mu,\Sigma):= (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(\upsilon-\mu)^T \Sigma^{-1} (\upsilon-\mu)\right).
\end{equation}
\end{definition}
Bemerkungen

* Man beachte, dass wir für Zufallsvektoren von nun an auch kleine Buchstaben zulassen.
* $\upsilon$ ist das kleine griechische Ypsilon.
* Die Dimensionalität von $(\upsilon-\mu)^T \Sigma^{-1} (\upsilon-\mu)$ ergibt sich zu $(1 \times n)(n \times n)(n \times 1) = 1$
* Es gilt weiterhin $(\upsilon-\mu)^T \Sigma^{-1} (\upsilon-\mu) >0$, weil auch $\Sigma^{-1}$ positiv-definit ist.
* Der Parameter $\mu \in \mathbb{R}^n$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte
* Der Term $(2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}$ ist die Normalisierungskonstante für den Exponentialfunktionsterm.

# Definition und Eigenschaften
\footnotesize
\begin{definition}[Erwartungswert und Kovarianzmatrix von Zufallsvektoren]
\justifying
$y$ sei ein $n$-dimensionaler Zufallvektor. Dann ist der \textit{Erwartungwert}
von $y$ definiert als der $n$-dimensionale Vektor
\begin{equation}
\mathbb{E}(y) :=
\left(\mathbb{E}(y_1), ..., \mathbb{E}(y_n)\right)^T 
\end{equation}
und die  \textit{Kovarianzmatrix} von $y$ ist definiert als die $n \times n$ Matrix
\begin{equation}
\mathbb{C}(y) := \mathbb{E}\left((y - \mathbb{E}(y))(y - \mathbb{E}(y))^T \right)
\end{equation}
\end{definition}
Bemerkungen

* Der Erwartungswert von $y$ ist der Vektor der Erwartungswerte $\mathbb{E}(y_1), ..., \mathbb{E}(y_n)$.
* Die Kovarianzmatrix ist formal analog zur Kovarianz zweier Zufallsvariablen definiert.

# Definition und Eigenschaften
\footnotesize
\begin{theorem}[Kovarianzmatrix eines Zufallsvektors]
\justifying
\normalfont
$y$ sei ein $n$-dimensionaler Zufallvektor und $\mathbb{C}(y)$ sei seine Kovarianzmatrix.
Dann gilt
\begin{equation}
\mathbb{C}(y) 
= \left(\mathbb{C}(y_i,y_j)\right)_{1 \le i,j \le n}  
= 
\begin{pmatrix}
\mathbb{C}(y_1,y_1) & \mathbb{C}(y_1,y_2) & \cdots & \mathbb{C}(y_1,y_n) \\
\mathbb{C}(y_2,y_1) & \mathbb{C}(y_2,y_2) & \cdots & \mathbb{C}(y_2,y_n) \\
\vdots              & \vdots              & \ddots & \vdots              \\
\mathbb{C}(y_n,y_1) & \mathbb{C}(y_n,y_2) & \cdots & \mathbb{C}(y_n,y_n) \\
\end{pmatrix}.
\end{equation}
\end{theorem}

Bemerkung 

* Die Kovarianzmatrix $\mathbb{C}(y)$ ist also die Matrix der Kovarianzen der Komponenten von $y$.


# Definition und Eigenschaften
\setstretch{1.2}
\footnotesize
\vspace{1mm}
\underline{Beweis}

Es gilt
\tiny
\begin{align*}
\mathbb{C}(y)
& := \mathbb{E}\left((y - \mathbb{E}(y))(y - \mathbb{E}(y))^T \right) \\
& =
\mathbb{E}
\left(
\left(
\begin{pmatrix}
y_1 \\
\vdots \\
y_n
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(y_1) \\
\vdots \\
\mathbb{E}(y_n)
\end{pmatrix}
\right)
\left(
\begin{pmatrix}
y_1 \\
\vdots \\
y_n
\end{pmatrix}
-
\begin{pmatrix}
\mathbb{E}(y_1) \\
\vdots \\
\mathbb{E}(y_n)
\end{pmatrix}
\right)^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
y_1 - \mathbb{E}(y_1) \\
\vdots \\
y_n - \mathbb{E}(y_n)
\end{pmatrix}
\begin{pmatrix}
y_1 - \mathbb{E}(y_1)\\
\vdots \\
y_n - \mathbb{E}(y_n)
\end{pmatrix}^T
\right)
\\
& =
\mathbb{E}
\left(
\begin{pmatrix}
y_1 - \mathbb{E}(y_1) \\
\vdots \\
y_n - \mathbb{E}(y_n)
\end{pmatrix}
\begin{pmatrix}
y_1 - \mathbb{E}(y_1)
& \dots
& y_n - \mathbb{E}(y_n)
\end{pmatrix}
\right) \\
& =
\mathbb{E}
\begin{pmatrix}
  (y_1 - \mathbb{E}(y_1))(y_1 - \mathbb{E}(y_1))
& \dots
& (y_1 - \mathbb{E}(y_1))(y_n - \mathbb{E}(y_n)
\\
\vdots
& \ddots
& \vdots
\\
  (y_n - \mathbb{E}(y_n))(X_1 - \mathbb{E}(y_1))
& \dots
& (y_n - \mathbb{E}(y_n))(X_n - \mathbb{E}(y_n))
\\
\end{pmatrix}
\\
& =
\left(\mathbb{E}\left((y_i - \mathbb{E}(y_i))(y_j - \mathbb{E}(y_j)) \right) \right)_{1 \le i,j \le n} \\
& =
\left(\mathbb{C}(y_i,y_j)\right)_{1 \le i,j \le n} \\
\end{align*}


# Definition und Eigenschaften
\footnotesize
\begin{theorem}[Erwartungswert eines normalverteilten Zufallsvektors]
\justifying
\normalfont
$y \sim N(\mu,\Sigma)$ sei ein multivariat normalverteilter Zufallsvektor mit
Erwartungswertparameter $\mu \in \mathbb{R}^n$ und Kovarianzmatrixparameter $\Sigma \in \mathbb{R}^{n \times n}\mbox{p.d.}$.
Dann gilt
\begin{equation}
\mathbb{E}(y) = \mu.
\end{equation}
\end{theorem}
\vspace{-1mm}

Bemerkungen

* Der Erwartungswert eines normalverteilten Zufallsvektors entspricht seinem Erwartungswertparameter.
* Wir verzichten auf einen Beweis.

\begin{theorem}[Kovarianzmatrix eines normalverteilten Zufallsvektors]
\justifying
\normalfont
$y \sim N(\mu,\Sigma)$ sei ein multivariat normalverteilter Zufallsvektor mit
Erwartungswertparameter $\mu \in \mathbb{R}^n$ und Kovarianzmatrixparameter 
$\Sigma \in \mathbb{R}^{n \times n}\mbox{p.d.}$.Dann gilt
\begin{equation}
\mathbb{C}(y) = \Sigma.
\end{equation}
\end{theorem}
\vspace{-1mm}

Bemerkungen

* Die Kovarianzmatrix eines normalverteilten Zufallsvektors entspricht seinem Kovarianzmatrixparameter.
* Wir verzichten auf einen Beweis.

# Definition und Eigenschaften
\footnotesize
\begin{theorem}[Bivariate Normalverteilung]
\justifying
\normalfont
Ein $2$-dimensionaler normalverteilter Zufallsvektor $y = (y_1,y_2)^T$ mit 
Ergebnisraum $\mathbb{R}^2$, Erwarungswert und Kovarianzmatrixparameter 
\begin{equation}
\mu 
:= 
\begin{pmatrix}
\mu_1 \\
\mu_2
\end{pmatrix}
\in \mathbb{R}^2
\mbox{ und }
\Sigma 
:= 
\begin{pmatrix}
\sigma_{11}^2 & \sigma_{12}^2 \\
\sigma_{21}^2 & \sigma_{22}^2 \\
\end{pmatrix}
\in \mathbb{R}^{2 \times 2} \mbox{ p.d.},
\end{equation} 
respektive, hat bei Definition von 
\begin{equation}
\rho := \frac{\sigma_{12}^2}{\sigma_{11}^2\sigma_{22}^2}
\end{equation}
die WDF
\begin{equation}
p : \mathbb{R}^2 \to \mathbb{R}_{>0},
\upsilon
\mapsto
p(\upsilon) = N(\upsilon; \mu,\Sigma)
\end{equation}
mit
\begin{tiny}
\begin{align*}
\begin{split}
N(\upsilon;\mu,\Sigma) 
= 
& \frac{1}{2\pi(1-\rho^2)^{1/2}\sigma_{11}\sigma_{22}} 
\\
\times
& \exp\left(-\frac{1}{2(1-\rho^2)}
      \left(\left(\frac{\upsilon_1 - \mu_1}{\sigma_{11}}\right)^2
      -2\rho\left(\frac{\upsilon_1 - \mu_1}{\sigma_{11}}\right)\left(\frac{\upsilon_2 - \mu_2}{\sigma_{22}}\right)
      + \left(\frac{\upsilon_2 - \mu_2}{\sigma_{22}}\right)^2
      \right)
      \right)
\end{split}
\end{align*}
\end{tiny}
\end{theorem}

# Definition und Eigenschaften
```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "4_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
y_nin  = 0                                                                       # y_i Minimum
y_nax  = 2                                                                       # y_i Maximum
y_res  = 1e3                                                                     # y_i Auflösung
y_1    = seq(y_nin, y_nax, length.out = y_res)                                   # y_1 Raum
y_2    = seq(y_nin, y_nax, length.out = y_res)                                   # y_2 Raum
y      = expand.grid(y_1,y_2)                                                    # y = (y_1,y_2)^T Raum

# Parameterdefinition
mu     = c(1,1)                                                                  # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),                              # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),                              # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))                              # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))

# Kovarianzparametervariantenschleife
i = 1
for (Sigma in S){

  # Wahrscheinlichkeitsdichtefunktionauswertung
  p      = matrix(                                                               # Matrixkonversion des von
                  dmvnorm(as.matrix(y), mu, Sigma),                              # dmvnorm() ausgegebenen Vektors
                  nrow = y_res)

  # Visualisierung
  contour(
  y_1,
  y_2,
  p,
  xlim      =  c(y_nin,y_nax),
  ylim      =  c(y_nin,y_nax),
  xlab      = TeX("$\\upsilon_1$"),
  ylab      = TeX("$\\upsilon_2$"),
  nlevels   = 5)
  text(1,2.2, L[[i]], xpd = TRUE)
  i = i + 1
}

# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "alm_4_mvnwdf.pdf"),                       # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```


\textcolor{darkblue}{Bivariate Normalverteilungsdichtefunktionen}
\vspace{2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("4_Abbildungen/alm_4_mvnwdf.pdf")
```



# Definition und Eigenschaften
\footnotesize
\underline{Beweis}

Wir halten zunächst fest, dass aufgrund der positiven Definitheit und damit
der Symmetrie von $\Sigma$ gilt, dass 
\begin{equation}
\sigma_{12}^2 = \sigma_{21}^2.
\end{equation}
Die Inverse von $\Sigma$ ist gegeben durch
\begin{equation}
\Sigma^{-1}
= \frac{1}{\sigma_{11}^2\sigma_{22}^2 - \sigma_{12}^4}
\begin{pmatrix*}[r]
 \sigma_{22}^2 & -\sigma_{12}^2 \\
-\sigma_{12}^2 &  \sigma_{11}^2 \\
\end{pmatrix*},
\end{equation} 
weil
\begin{align}
\begin{split}
\Sigma^{-1}\Sigma
& =
\frac{1}{\sigma_{11}^2\sigma_{22}^2 - \sigma_{12}^4}
\begin{pmatrix*}[r]
 \sigma_{22}^2 & -\sigma_{12}^2 \\
-\sigma_{12}^2 &  \sigma_{11}^2 \\
\end{pmatrix*}
\begin{pmatrix}
\sigma_{11}^2 & \sigma_{12}^2 \\
\sigma_{21}^2 & \sigma_{22}^2 \\
\end{pmatrix}
\\
& =
\frac{1}{\sigma_{11}^2\sigma_{22}^2 - \sigma_{12}^4}
\begin{pmatrix*}[r]
  \sigma_{22}^2\sigma_{11}^2  - \sigma_{12}^2\sigma_{21}^2
& \sigma_{22}^2\sigma_{12}^2  - \sigma_{12}^2\sigma_{22}^2
\\
  -\sigma_{12}^2\sigma_{11}^2 + \sigma_{11}^2\sigma_{21}^2
& -\sigma_{12}^2\sigma_{12}^2 + \sigma_{11}^2\sigma_{22}^2
\end{pmatrix*}
\\
& =
\frac{1}{\sigma_{11}^2\sigma_{22}^2 - \sigma_{12}^4}
\begin{pmatrix*}[r]
  \sigma_{11}^2\sigma_{11}^2  - \sigma_{12}^4
& 0
\\
  0
&  \sigma_{11}^2\sigma_{22}^2 - \sigma_{12}^4
\end{pmatrix*}
\\
& =
\begin{pmatrix*}[r]
  1
& 0
\\
  0
& 1
\end{pmatrix*}
\\
& =
I_2
\end{split}
\end{align}


# Definition und Eigenschaften
\footnotesize
\underline{Beweis (fortgeführt)}

Mit 
\begin{equation}
\rho
= \frac{\sigma_{12}^2}{\sigma_{11}\sigma_{22}}
\Rightarrow
\rho  = \frac{\sigma_{21}^2}{\sigma_{11}\sigma_{22}}
\Rightarrow
\sigma_{12}^2 = \sigma_{21}^2 = \rho \sigma_{11}\sigma_{22}
\end{equation}
lässt sich $\Sigma^{-1}$ weiterhin schreiben als
\begin{align}
\begin{split}
\Sigma^{-1}
& =
\frac{1}{\sigma_{11}^2\sigma_{22}^2 - (\rho \sigma_{11}\sigma_{22})^2}
\begin{pmatrix*}[r]
 \sigma_{22}^2 & -\rho \sigma_{11}\sigma_{22} \\
-\rho \sigma_{11}\sigma_{22} &  \sigma_{11}^2 \\
\end{pmatrix*}
\\
& =
\frac{1}{\sigma_{11}^2\sigma_{22}^2(1-\rho^2)}
\begin{pmatrix*}[r]
 \sigma_{22}^2 & -\rho \sigma_{11}\sigma_{22} \\
-\rho \sigma_{11}\sigma_{22} &  \sigma_{11}^2 \\
\end{pmatrix*}
\end{split}
\end{align}
Schließlich ergibt sich
\begin{equation}
|\Sigma|^{-\frac{1}{2}}
= \left(|\Sigma|^{-1}\right)^{\frac{1}{2}}
= \left\vert \Sigma^{-1} \right\vert^{-\frac{1}{2}}
= \left(\sigma_{22}^2\sigma_{11}^2 - \rho_{12}^2\sigma_{11}^2\sigma_{22}^2\right)^{-\frac{1}{2}}
= \left(\sigma_{22}\sigma_{11}\sqrt{(1 -\rho^2)}\right)^{-1}.
\end{equation}


# Definition und Eigenschaften
\footnotesize
\underline{Beweis (fortgeführt)}

Einsetzen ergibt dann

\tiny
\begin{align*}
\begin{split}
N(\upsilon;\mu,\Sigma)
& = (2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}\exp\left(-\frac{1}{2}(\upsilon-\mu)^T \Sigma^{-1} (\upsilon-\mu)\right) \\
& = (2\pi)^{-\frac{2}{2}}\left(\sigma_{22}\sigma_{11}\sqrt{(1 -\rho^2)}\right)^{-1} 
\\
\times
& \quad 
    \exp\left(
    -\frac{1}{2}
     \frac{1}{\sigma_{11}^2\sigma_{22}^2 - \sigma_{12}^4}
     \begin{pmatrix}
     \upsilon_1 - \mu_1 & \upsilon_2 - \mu_2
     \end{pmatrix}
     \begin{pmatrix*}[r]
     \sigma_{22}^2 & -\sigma_{12}^2 \\
    -\sigma_{12}^2 &  \sigma_{11}^2 \\
     \end{pmatrix*}
     \begin{pmatrix}
     \upsilon_1 - \mu_1 \\
     \upsilon_2 - \mu_2 \\
     \end{pmatrix}
     \right).
\\
= 
& \frac{1}{2\pi(1-\rho^2)^{1/2}\sigma_{11}\sigma_{22}} 
\\
\times
& \exp\left(-\frac{1}{2(1-\rho^2)}
      \left(\left(\frac{\upsilon_1 - \mu_1}{\sigma_{11}}\right)^2
      -2\rho\left(\frac{\upsilon_1 - \mu_1}{\sigma_{11}}\right)\left(\frac{\upsilon_2 - \mu_2}{\sigma_{22}}\right)
      + \left(\frac{\upsilon_2 - \mu_2}{\sigma_{22}}\right)^2
      \right)
      \right),
\end{split}
\end{align*}
wobei sich die letzte Gleichung mit der Definition der Matrixmultiplikation ergibt.

# Definition und Eigenschaften

\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}
\footnotesize
\setstretch{1.1}
\vspace{1mm}

```{r}
# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Parameterdefinition
mu     = c(1,1)                                # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.2,  0.15,  0.15, 0.2), 2)  # \Sigma in \mathbb{R}^{2 \times 2}

# Zufallsvektorrealisierungen
rmvnorm(n = 10, mu, Sigma)
```


# Definition und Eigenschaften
\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}
\vspace{2mm}

```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "4_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Parameterdefinition
mu     = c(1,1)                                                                  # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),                              # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),                              # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))                              # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))


# Kovarianzparametervariantenschleife
i = 1
for (Sigma in S){

  # Zufallsvektorrealisierungen
  samples = rmvnorm(n = 200, mu, Sigma)

  # Visualisierung
  plot(
  samples,
  xlim  = c(0,2),
  ylim  = c(0,2),
  xlab  = TeX("$\\upsilon_1$"),
  ylab  = TeX("$\\upsilon_2$"),
  pch   = 21,
  col   = "white",
  bg    = "gray60",
  cex   = 1.5)
  text(1,2.2, L[[i]], xpd = TRUE)
  i = i + 1
}
dev.copy2pdf(file=file.path(fdir, "alm_4_mvn_realisierungen.pdf"), width= 8, height = 4)
```

```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("4_Abbildungen/alm_4_mvn_realisierungen.pdf")
```

#
\large
\setstretch{2.2}
\vfill

Definition

**Transformationen**

Unabhängigkeit

Gemeinsame Verteilungen

Selbstkontrollfragen

\vfill

# Transformationen
\small
\begin{theorem}[Nichtsinguläre lineare Transformation]
\justifying
\normalfont
$x \sim N(\mu,\Sigma)$ sei ein normalverteilter $n$-dimensionaler Zufallsvektor
und es sei $y := Ax$ mit einer invertierbaren Matrix $A \in \mathbb{R}^{n \times n}$.
Dann gilt
\begin{equation}
y \sim N\left(A\mu,A\Sigma A^T\right)
\end{equation}
\end{theorem}
\footnotesize
Bemerkung

* Wir verzichten auf einen Beweis.
* Die invertierbare lineare Transformation eines multivariate normalverteilten Zuallsvektors ergibt wieder einer multivariate normalverteilten Zufallsvektor.
  Die Parameter des resultierenden normalverteilten Zufallsvektors ergeben sich dabei aus den Parametern des ursprünglichen Zufallsvektors und der Transformationsmatrix.

# Transformationen

```{r, eval = F, echo = F}
# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "4_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,2),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = 1,
cex.main    = 1)

# x-Modell
y_nin  = -3                                                                       # x_i Minimum
y_nax  = 3                                                                       # x_i Maximum
x_res  = 1e3                                                                     # x_i Auflösung
x_1    = seq(y_nin, y_nax, length.out = x_res)                                   # x_1 Raum
x_2    = seq(y_nin, y_nax, length.out = x_res)                                   # x_2 Raum
x      = expand.grid(x_1,x_2)                                                    # x = (x_1,x_2)^T Raum
mu     = c(1,1)                                                                  # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.2,  0.15,  0.15, 0.2), 2)                                    # \Sigma in \mathbb{R}^{2 \times 2}
px     = matrix(dmvnorm(as.matrix(x), mu, Sigma), nrow = x_res)                  # x \sim N(\mu,\Sigma)
xi     = rmvnorm(n = 50, mu, Sigma)                                             # Realisierungen
contour(
x_1,
x_2,
px,
xlim      = c(y_nin,y_nax),
ylim      = c(y_nin,y_nax),
xlab      = TeX("$\\xi_1$"),
ylab      = TeX("$\\xi_2$"),
levels    = c(0.9,0.7,0.5,0.3,0.1),
main      = TeX("$x \\sim N(\\mu,\\Sigma)$"))
points(
xi,
pch   = 21,
col   = "white",
bg    = "gray60",
cex   = 1)

# y-Modell
A      = matrix(c(-2,1,-1,2), nrow = 2, byrow = TRUE)                           # Transformationsmatrix
y_nin  = -3                                                                      # y_i Minimum
y_nax  =  3                                                                      # y_i Maximum
y_res  = 1e3                                                                     # y_i Auflösung
y_1    = seq(y_nin, y_nax, length.out = y_res)                                   # y_1 Raum
y_2    = seq(y_nin, y_nax, length.out = y_res)                                   # y_2 Raum
y      = expand.grid(y_1,y_2)                                                    # y = (y_1,y_2)^T Raum
py     = matrix(dmvnorm(as.matrix(y), A%*%mu, A%*%Sigma%*%t(A)), nrow = y_res)   # y \sim N(A\mu,A\SigmaA^T)
ups    = t(A %*% t(xi))                                                             # Realisierungen
contour(
y_1,
y_2,
py,
xlim      = c(y_nin,y_nax),
ylim      = c(y_nin,y_nax),
xlab      = TeX("$\\upsilon_1$"),
ylab      = TeX("$\\upsilon_2$"),
levels    = c(0.9,0.7,0.5,0.3,0.1),
main      = TeX("$y \\sim N(A\\mu,A\\Sigma A^T)$"))
points(
ups,
pch   = 21,
col   = "white",
bg    = "gray60",
cex   = 1)
dev.copy2pdf(file=file.path(fdir, "alm_4_mvn_transformation_1.pdf"), width= 8, height = 4)
```
\textcolor{darkblue}{Nichtsinguläre lineare Transformation}
\vspace{2mm}

\footnotesize
\center
$n := 2, \mu := \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.20 & 0.15 \\ 0.15 & 0.20 \end{pmatrix}, A := \begin{pmatrix*}[r] -2 & -1 \\1 & 2 \end{pmatrix*}$
\vspace{2mm}

```{r, echo = FALSE, out.width = "85%"}
knitr::include_graphics("4_Abbildungen/alm_4_mvn_transformation_1.pdf")
```

# Transformationen
\small
\begin{theorem}[Linear-affine Transformation]
\justifying
\normalfont
$x \sim N(\mu,\Sigma)$ sei ein normalverteilter $n$-dimensionaler Zufallsvektor
und es sei $y := Ax + b$ mit $A \in \mathbb{R}^{m \times n}$ und $b \in \mathbb{R}^m$.
Dann gilt
\begin{equation}
y \sim N\left(A\mu + b,A\Sigma A^T\right)
\end{equation}
\end{theorem}
\footnotesize
Bemerkung

* \justifying Für einen Beweis siehe @anderson_2003, Section 2.4.
* Die linear-affine Transformation eines multivariate normalverteilten Zuallsvektors
  ergibt wieder ein normalverteilten Zufallsvektor. Die Parameter des resultierenden
  normalverteilten Zufallsvektors ergeben sich dabei aus den
  Parametern des ursprünglichen Zufallsvektors und der Transformationsparamter.

#
\large
\setstretch{2.2}
\vfill

Definition

Transformationen

**Unabhängigkeit**

Gemeinsame Verteilungen

Selbstkontrollfragen

\vfill

# Unabhängigkeit
\footnotesize
\begin{theorem}[Unabhängige normalverteilte Zufallsvariablen]
\justifying
\normalfont
Für $i = 1,...,n$ seien $N(\upsilon; \mu_i,\sigma^2)$ die WDFen von $n$ unabhängigen
univariaten normalverteilten Zufallsvariablen $y_1,...,y_n$ mit $\mu_1,...,\mu_n \in \mathbb{R}$
und $\sigma^2 > 0$. Weiterhin sei $N(\upsilon;\mu,\sigma^2I_n)$ die WDF eines $n$-variaten
Zufallsvektors $y$ mit Erwartungswertparameter $\mu := (\mu_1,...,\mu_n) \in \mathbb{R}^n$.
Dann gilt
\begin{equation}
p_y(\upsilon) = p_{y_1,...,y_n}(\upsilon_1,...,\upsilon_n)
\end{equation}
und insbesondere
\begin{equation}
N\left(\upsilon;\mu,\sigma^2I_n\right) = \prod_{i=1}^n N\left(\upsilon_i;\mu_i,\sigma^2\right).
\end{equation}
\end{theorem}
Bemerkungen

* Das Theorem ist für die Theories des Allgemeinen Linearen Modells zentral.
* Einen Kovarianzmatrixparameter der Form $\sigma^2 I_n$ nennt man auch \textit{sphärisch}.
* Sphärische Kovarianzmatrixparamter von $n$-variaten Normalverteilungen entsprechen $n$ unabhängigen univariaten Normalverteilungen und umgekehrt.
  Eine Realisierung einer $n$-variaten Normalverteilungen entspricht Realisierungen von $n$ unabhängigen univariaten Normalverteilungen.


# Unabhängigkeit
\footnotesize
\underline{Beweis}

Wir zeigen die Identität der multivariaten WDF $N(\upsilon;\mu,\sigma^2 I_n)$ mit dem
Produkt von $n$ univariaten WDFen $N(\upsilon_i;\mu_i,\sigma^2 I_n)$, wobei $\mu_i$
der $i$te Eintrag von $\mu \in \mathbb{R}^n$. Es ergibt sich
\begin{align}
\begin{split}
N\left(\upsilon;\mu,\sigma^{2}I_{n} \right)
& = \left(2\pi \right)^{-\frac{n}{2}}
	\left|\sigma^2 I_n \right|^{-\frac{1}{2}}
	\exp\left(-\frac{1}{2}(\upsilon-\mu)^{T}(\sigma^2 I_n)^{-1}(\upsilon-\mu)\right)\\
& = \left(\prod_{i=1}^n 2\pi ^{-\frac{1}{2}} \right)
	(\sigma^2)^{-\frac{n}{2}}
	\exp\left(-\frac{1}{2\sigma^2}(\upsilon-\mu)^{T}(\upsilon-\mu)\right) \\
& = \left(\prod_{i=1}^n \left(2\pi\sigma^2 \right) ^{-\frac{1}{2}} \right)
	\exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n (\upsilon_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}
	\prod_{i=1}^n \exp\left(-\frac{1}{2\sigma^2} (\upsilon_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}
	 				\exp\left(-\frac{1}{2\sigma^2} (\upsilon_i - \mu_i)^2\right) \\
& = N\left(\upsilon_i; \mu_i,\sigma^2\right).
\end{split}
\end{align}


#
\large
\setstretch{2.2}
\vfill

Definition

Transformationen

Unabhängigkeit

**Gemeinsame Verteilungen**

Selbstkontrollfragen

\vfill


# Gemeinsame Verteilungen
\small
Multivariate Normalverteilungen haben die Eigenschaft, dass auch alle anderen 
assoziierten Verteilung Normalverteilungen sind und deren Erwartungswert- und 
Kovarianzmatrixparameter aus den Parametern der jeweils komplementären Verteilung 
errechnet werden können. 

Insbesondere gilt:

* \justifying Die uni- und multivariaten Marginalverteiltungen multivariater Normalverteilungen sind Normalverteilungen.
* Wie alle multivariaten Verteilungen lassen sich multivariate Normalverteilungen multiplikativ in eine marginale
und eine bedingte Verteilung zerlegen. Insbesondere sind bei multivariaten Normalverteilungen diese Verteilungen
auch Normalverteilungen, deren Parameter aus den Parametern der gemeinsame Verteilung errechnet werden
können und umgekehrt.

Die Resultate dieses Abschnitts sind insbesondere für generalisierte ALMs im Sinne von Linear Mixed Models bzw.
Hierarchischen Normalverteilungsmodellen, die Varianzkomponentenschätzung, und die Bayesianische Inferenz
bei Normalverteilungsannahmen, aber auch die partielle Korrelation zentral.

# Gemeinsame Verteilungen
\setstretch{1.2}
\footnotesize
\begin{theorem}[Marginale Normalverteilungen]
\justifying
\normalfont
Es sei $n := k + l$ und $x = (x_1,...,x_n)$ sei ein $n$-dimensionaler
normalverteilter Zufallsvektor mit Erwartungswertparameter
\begin{equation}
\mu =
\left(\begin{matrix}
\mu_y \\
\mu_z
\end{matrix}\right) \in \mathbb{R}^n,
\end{equation}
mit $\mu_y \in \mathbb{R}^k$ and $\mu_z \in \mathbb{R}^l$ und Kovarianzmatrixparameter
\begin{equation}
\Sigma =
\left(\begin{matrix}
\Sigma_{yy} 	& \Sigma_{yz} \\
\Sigma_{zy} 	& \Sigma_{zz}
\end{matrix}\right) \in \mathbb{R}^{n \times n},
\end{equation}
mit $\Sigma_{yy} \in \mathbb{R}^{k \times k}$,
    $\Sigma_{yz} \in \mathbb{R}^{k \times l}$,
    $\Sigma_{zy} \in \mathbb{R}^{l \times k}$,
und $\Sigma_{zz} \in \mathbb{R}^{l \times l}$.
Dann sind $y := (x_1,...,x_k)$ und $z := (x_{k+1}, ...,x_n)$ $k$- und $l$-dimensionale
normalverteilte Zufallsvektoren, respektive, und es gilt
\begin{equation}
y \sim N(\mu_y,\Sigma_{yy}) \mbox{ and } z \sim N(\mu_z,\Sigma_{xx}),
\end{equation}
\end{theorem}

Bemerkungen

* Wir verzichten auf einen Beweis
* Die Marginalverteilungen einer multivariaten Normalverteilung sind auch Normalverteilungen, insbesondere sind
  die eindimensionalen Marginalverteilungen einer multivariaten Normalverteilung univariate Normalverteilungen.
* Die Parameter der Marginalverteilungen ergeben sich aus den Parametern der gemeinsamen Verteilung.


# Gemeinsame Verteilungen
\textcolor{darkblue}{Marginale Normalverteilungen}
\vspace{2mm}
\footnotesize
\center
$n := 2, k = 1, l = 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.10 & 0.08 \\ 0.08 & 0.15 \end{pmatrix}$
\vspace{3mm}

```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "4_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
y_nin  = 0                                           # y_i Minimum
y_nax  = 3                                           # y_i Maxim
y_res  = 1e3                                         # y_i Auflösung
y_1    = seq(y_nin, y_nax, length.out = y_res)       # y_1 Raum
y_2    = seq(y_nin, y_nax, length.out = y_res)       # y_2 Raum
X      = expand.grid(y_1,y_2)                        # X = (y_1,y_2)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.10, 0.08,
                  0.08, 0.15),
                nrow = 2,
                byrow = TRUE)                        # \Sigma in \mathbb{R}^{2 \times 2}


# Visualisierung gemeinsame Verteilung
p      = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(X), mu, Sigma),    # dmvnorm() ausgegebenen Vektors
                nrow = y_res)
contour(
y_1,
y_2,
p,
xlim      =  c(y_nin,y_nax),
ylim      =  c(y_nin,y_nax),
xlab      = TeX("$\\upsilon$"),
ylab      = TeX("$\\zeta$"),
main      = TeX("$N(\\xi;\\mu,\\Sigma)$"),
nlevels   = 10)

# Visualisierung Marginalverteilungen
p_marg   = list(dnorm(y_1, mu[1],Sigma[1,1]), dnorm(y_1, mu[2],Sigma[2,2]))
l_marg   = c(TeX("$\\upsilon$"), TeX("$\\zeta$"))
L_marg   = c(TeX("$N(\\upsilon; \\mu_y,\\Sigma_{yy})$"), TeX("$N(\\zeta; \\mu_z,\\Sigma_{zz})$"))
i        = 1
for(i in 1:length(p_marg))
plot(y_1,
     p_marg[[i]],
     type = "l",
     xlab = l_marg[[i]],
     ylim = c(0,5),
     ylab = "",
     main = L_marg[[i]]
      )


# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "alm_4_marginale_mvnorm.pdf"),            # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

\vspace{-2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("4_Abbildungen/alm_4_marginale_mvnorm.pdf")
```

# Gemeinsame Verteilungen
\footnotesize
\setstretch{1.2}
\begin{theorem}[Gemeinsame Normalverteilungen]
\justifying
\normalfont
$x$ sei ein $m$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_x : \mathbb{R}^m \to \mathbb{R}_{>0},\,\xi \mapsto
p_x(\xi) := N(\xi;\mu_x,\Sigma_{xx}) \mbox{ mit }
\mu_x \in \mathbb{R}^m,
\Sigma_{xx} \in \mathbb{R}^{m\times m},
\end{equation}
$A\in\mathbb{R}^{n\times m}$ sei eine Matrix, $b\in\mathbb{R}^n$ sei ein Vektor
und $y$ sei ein $n$-dimensionaler bedingt normalverteilter Zufallsvektor mit
bedingter WDF
\begin{equation}
p_{y|x}(\cdot|\xi) : \mathbb{R}^n \to \mathbb{R}_{>0},\, y\mapsto
p_{y|x}(\upsilon|\xi) := N(\upsilon;AX+b,\Sigma_{yy}) \mbox{ mit }
\Sigma_{yy} \in \mathbb{R}^{n\times n}.
\end{equation}
Dann ist der $m+n$-dimensionale Zufallsvektor $(x,y)$ normalverteilt mit (gemeinsamer) WDF
\begin{equation}\label{eq:gauss_joint}
p_{x,y} : \mathbb{R}^{m+n} \to \mathbb{R}_{>0},\, (\xi,\upsilon) \mapsto
p_{x,y}(\xi,\upsilon) = N\left((\xi,\upsilon);
\mu_{x,y}, \Sigma_{x,y} \right),
\end{equation}
mit $\mu_{x,y} \in \mathbb{R}^{n + m}$ and $\Sigma_{x,y} \in \mathbb{R}^{m+n \times m+n}$ und insbesondere
\begin{equation}
\mu_{x,y} = \left( \begin{matrix} \mu_x \\ A\mu_x + b \end{matrix} \right)
\mbox{ und }
\Sigma_{x,y} = \left(\begin{matrix} \Sigma_{xx} & \Sigma_{xx}A^T \\ A\Sigma_{xx} & \Sigma_{yy} + A\Sigma_{xx}A^T \end{matrix} \right).
\end{equation}
\end{theorem}
\vspace{-1mm}
Bemerkungen
\vspace{-1mm}

* Wir verzichten auf einen Beweis.
* Eine marginale und eine bedingte multivariate Normalverteilung induzieren eine gemeinsame Normalverteilung.
* Die Parameter der gemeinsamen Verteilungen ergeben sich als linear-affine Transformation der Parameter der
  induzierenden Verteilungen.

# Gemeinsame Verteilungen
\textcolor{darkblue}{Gemeinsame Verteilungen}
\vspace{2mm}
\footnotesize
\center
$m := 1, n := 1, \mu_x := 1, \Sigma_{xx} := 0.2, A := 1, b := 1, \Sigma_{yy} := 0.1$
```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "4_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
y_nin  = -1                                          # y_i Minimum
y_nax  = 4                                           # y_i Maxim
y_res  = 1e3                                         # y_i Auflösung
x      = seq(y_nin, y_nax, length.out = y_res)       # y_1 Raum
y      = seq(y_nin, y_nax, length.out = y_res)       # y_2 Raum
xy     = expand.grid(x,y)                        # X = (y_1,y_2)^T Raum

# Parameterdefinition
mu_x      = 1                                        # \mu \in \mathbb{R}
Sigma_xx  = 0.2                                      # \Sigma_xx in \mathbb{R}
A         = 1                                        # A
b         = 1                                        # b
Sigma_yy  = 0.1                                      # \Sigma_yy

mu_xy     = c(mu_x, A*mu_x + b)
Sigma_xy  = matrix(c(Sigma_xx  , Sigma_xx*t(A),
                     A*Sigma_xx, Sigma_yy + A*Sigma_xx*t(A)),
                   nrow = 2,
                   byrow = TRUE)


# Visualisierung marginale Verteilung
plot(
x,
dnorm(x, mu_x, sqrt(Sigma_xx)),
type = "l",
xlab = TeX("$\\xi$"),
ylim = c(0,2),
ylab = "",
main = TeX("$p_x(\\xi) = N(\\xi;\\mu_x,\\Sigma_{xx})$"))

# Visualisierung bedingte Verteilung
plot(
y,
dnorm(y, A*1 + b, sqrt(Sigma_yy)),
type = "l",
xlab = TeX("$\\upsilon$"),
ylim = c(0,2),
ylab = "",
main = TeX("$p_{y|x}(\\upsilon|\\xi) = N(\\upsilon;Ax + b, \\Sigma_{yy})$")
)
text(0,1.75, TeX("$x = 1$"), cex = 1.2)


# Visualisierung gemeinsame Verteilung
p_xy    = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(xy), mu_xy, Sigma_xy),    # dmvnorm() ausgegebenen Vektors
                nrow = y_res)
contour(
x,
y,
p_xy,
xlim      = c(y_nin,y_nax),
ylim      = c(y_nin,y_nax),
xlab      = TeX("$\\xi$"),
ylab      = TeX("$\\upsilon$"),
main      = TeX("$p_{x,y}(\\xi,\\upsilon) = N((\\xi,\\upsilon); \\mu_{xy},\\Sigma_{xy})$"),
nlevels   = 5)



# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "alm_4_gemeinsame_mvnorm.pdf"),            # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

```{r, echo = FALSE, out.width = "105%"}
knitr::include_graphics("4_Abbildungen/alm_4_gemeinsame_mvnorm.pdf")
```

# Gemeinsame Verteilungen
\footnotesize
\setstretch{1.2}
\begin{theorem}[Bedingte Normalverteilungen]
\justifying
\normalfont
$(x,y)$ sei ein $m+n$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_{x,y} : \mathbb{R}^{m + n} \to \mathbb{R}_{>0}, (\xi,\upsilon) \mapsto
p_{x,y}(\xi,\upsilon) := N\left((\xi,\upsilon); \mu_{x,y}, \Sigma_{x,y}\right),
\end{equation}
mit
\begin{equation}
\mu_{x,y} = \left(\begin{matrix} \mu_x \\ \mu_y \end{matrix} \right),
\Sigma_{x,y} = \left(\begin{matrix} \Sigma_{xx} & \Sigma_{xy} \\ \Sigma_{yx} & \Sigma_{yy} \end{matrix} \right),
\end{equation}
mit $x,\mu_x \in \mathbb{R}^m, y,\mu_y\in\mathbb{R}^n$ and  $\Sigma_{xx} \in \mathbb{R}^{m\times m}, \Sigma_{xy} \in \mathbb{R}^{m\times n}, \Sigma_{yy} \in \mathbb{R}^{n \times n}$. Dann ist die
bedingte Verteilung von $x$ gegeben $y$ eine $m$-dimensionale Normalverteilung
mit bedingter WDF
\begin{equation}
p_{x|y}(\cdot|\upsilon) : \mathbb{R}^m \to \mathbb{R}_{>0}, x \mapsto p_{x|y}(\xi|\upsilon) :=
N(\xi;\mu_{x|y},\Sigma_{x|y})
\end{equation}
mit
\begin{equation}\label{eq:gauss_cond_exp}
\mu_{x|y} = \mu_x  + \Sigma_{xy}\Sigma_{yy}^{-1}(Y-\mu_y) \in \mathbb{R}^m
\end{equation}
und
\begin{equation}\label{eq:gauss_cond_var}
\Sigma_{x|y} = \Sigma_{xx}  - \Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx} \in \mathbb{R}^{m\times m}.
\end{equation}
\end{theorem}
\vspace{-2mm}
Bemerkungen
\vspace{-1mm}

* \justifying Wir verzichten auf einen Beweis.
* Die Parameter einer bedingten (multivariaten) Normalverteilung ergeben sich
aus den Parameter einer gemeinsamen multivariaten Normalverteilung. Im Zusammenspiel
mit den vorherigen Theoremen können die Parameter bedingter und marginale
Normalverteilungen aus den Parametern der komplementären bedingten und marginalen
Normalverteilungen bestimmt werden.

# Gemeinsame Verteilungen
\textcolor{darkblue}{Bedingte Normalverteilungen}
\vspace{2mm}
\footnotesize
\center
$m := 2, n := 1, \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \Sigma := \begin{pmatrix} 0.12 & 0.09 \\ 0.09 & 0.12 \end{pmatrix}$

```{r, eval = F, echo = F}

# R Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
fdir        =  file.path(getwd(), "4_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,3),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)


# Ergebnisraumdefintion
y_nin  = 0                                           # y_i Minimum
y_nax  = 4                                           # y_i Maxim
y_res  = 1e3                                         # y_i Auflösung
x      = seq(y_nin, y_nax, length.out = y_res)       # x Raum
y      = seq(y_nin, y_nax, length.out = y_res)      # y Raum
X      = expand.grid(x,y)                            # (x,y)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.12, 0.09,
                  0.09, 0.12),
                nrow = 2,
                byrow = TRUE)                        # \Sigma in \mathbb{R}^{2 \times 2}


# Visualisierung gemeinsame Verteilung
p      = matrix(                                     # Matrixkonversion des von
                dmvnorm(as.matrix(X), mu, Sigma),    # dmvnorm() ausgegebenen Vektors
                nrow = y_res)
contour(
x,
y,
p,
xlim      = c(y_nin,y_nax),
ylim      = c(y_nin,y_nax),
xlab      = TeX("$\\xi$"),
ylab      = TeX("$\\upsilon$"),
main      = TeX("$p_{x,y}(\\xi,\\upsilon) = N((\\xi,\\upsilon); \\mu_{x,y},\\Sigma_{x,y})$"),
nlevels   = 8)

# Visualsierung bedingter Verteilung
plot(
x,
dnorm(x, mu_x + Sigma[1,2]*(1/Sigma[2,2])*(1 - mu[2]),sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
type = "l",
xlim = c(y_nin,y_nax),
ylim = c(0,2),
xlab = TeX("$\\xi$"),
ylab = "",
main = TeX("$p_{x|y}(\\xi|\\upsilon = 1) = N(\\xi; \\mu_{x|y},\\Sigma_{x|y})$"))

# Visualsierung bedingter Verteilung
plot(
x,
dnorm(x, mu_x + Sigma[1,2]*(1/Sigma[2,2])*(3 - mu[2]),sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
type = "l",
xlim = c(y_nin,y_nax),
ylim = c(0,2),
xlab = TeX("$x$"),
ylab = "",
main = TeX("$p_{x|y}(\\xi|\\upsilon = 3) = N(\\xi; \\mu_{x|y},\\Sigma_{x|y})$"))

# export to pdf
dev.copy2pdf(                                                                    # export to PDF
             file   = file.path(fdir, "alm_4_bedingte_mvnorm.pdf"),            # filename
             width  = 8,                                                         # PDF width
             height = 4                                                          # PDF height
             )

```

\vspace{-2mm}
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("4_Abbildungen/alm_4_bedingte_mvnorm.pdf")
```


#
\large
\setstretch{2.2}
\vfill

Definition

Transformationen

Unabhängigkeit

Gemeinsame Verteilungen

**Selbstkontrollfragen**

\vfill

# Selbstkontrollfragen
\setstretch{1.1}
\footnotesize
\begin{enumerate}
\item Definieren Sie die WDF eines multivariaten normalverteilten Zufallsvektors wieder und erläutern Sie diese.
\item Geben Sie die Definitionen des Erwartungswerts und der Kovarianzmatrix eines Zufallsvektors wieder.
\item Was repräsentieren die Elemente einer Kovarianzmatrix eines Zufallsvektors?
\item Welche Werte haben der Erwartungswert und die Kovarianzmatrix eines normalverteilten Zufallsvektors?
\item Beweisen Sie die letzte Gleichung im Beweis der funktionalen Form der WDF der bivariaten Normalverteilung.
\item Visualisieren Sie die WDF eines 2-dimensionalen normalverteilten Zufallsvektors mit den Parameterwerten
\begin{equation}
\mu := \begin{pmatrix} 10 \\ 15 \end{pmatrix} \mbox{ und } \begin{pmatrix} 3 & 1 \\ 1 & 2 \end{pmatrix}
\end{equation}
Generieren Sie 100 Realisierungen aus dieser Verteilung und visualisieren Sie diese.
\item Geben Sie das Theorem zur nichtsingulären linearen Transformation multivariater Normalverteilungen wieder.
\item Geben Sie das Theorem zur linear-affinen Transformation multivariater Normalverteilungen wieder.
\item Geben Sie das Theorem zu Unabhängigen normalverteilten Zufallsvariablen wieder.
\item Erläutern Sie den Begriff des sphärischen Kovarianzmatrixparameters.
\item Skizzieren Sie den Beweis des Theorem zu Unabhängigen normalverteilten Zufallsvariablen.
\end{enumerate}

# References
\footnotesize