---
fontsize: 8pt
format:
  beamer:
    include-in-header: ../ALM_Header.tex
bibliography: ../ALM_Referenzen.bib
---

```{r, include = F}
source("../ALM_Common.R")
```

# {.plain}
<!-- Vorlesungstitel -->
\center
```{r, echo = F, out.width = "20%"}
knitr::include_graphics("../OvGU_Logo.png")
```

\vspace{2mm}
\huge
Allgemeines Lineares Modell

\vspace{6mm}
\large
BSc Psychologie, SoSe 2024

\vspace{5mm}
Joram Soch


<!-- Sitzung 4: Normalverteilungen -->
# {.plain}

\vfill
\center
\huge
\textcolor{black}{(4) Normalverteilungen}
\vfill


<!-- Übersicht -->
# Überblick

\small
Die multivariate Normalverteilung ist zentraler Bestandteil des ALMs.

Sie ist die multivariate Generalisierung der univariaten Normalverteilung.

Die Motivation von Normalverteilungsannahmen liegt immer im Zentralen Grenzwertsatz:

* \justifying Probabilistische Terme repräsentieren die Summation sehr vieler Prozesse, die durch die deterministischen Bestandteile eines Modell, also eine mechanistische wissenschaftliche Theorie, nicht erklärt werden.

* Nach dem Zentralen Grenzwertsatz ist die Summe dieser Prozesse normalverteilt.

Darüberhinaus hat die Normalverteilung günstige mathematische Eigenschaften, die auch in der Quantifizierung subjektiver Unsicherheit genutzt werden können.

Zur Erarbeitung der Inhalte dieser Einheit bietet sich eine Wiederholdung von Zufallsvektoren an (vgl. Einheit (4) in \textit{Wahrscheinlichkeitstheorie und Frequentistische Inferenz}).


<!-- Inhaltsverzeichnis -->
#

\large
\setstretch{2.5}
\vfill

Kontinuierliche Zufallsvektoren

Konstruktion und Definition

Transformationen

Sphärische Verteilungen

Marginale und bedingte Verteilungen

Selbstkontrollfragen

\vfill


<!-- Abschnitt 1: Kontinuierliche Zufallsvektoren -->
#

\large
\setstretch{2.5}
\vfill

**Kontinuierliche Zufallsvektoren**

Konstruktion und Definition

Transformationen

Sphärische Verteilungen

Marginale und bedingte Verteilungen

Selbstkontrollfragen

\vfill


<!-- Definition: Zufallsvektor -->
# Kontinuierliche Zufallsvektoren

\small
\begin{definition}[Zufallsvektor]

\justifying
$(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum und $(\mathcal{X},\mathcal{S})$ sei ein $n$-dimensionaler Messraum. Ein $n$-dimensionaler \textit{Zufallsvektor} ist definiert als eine Abbildung
\begin{equation}
\xi:\Omega \to \mathcal{X}, \omega \mapsto \xi(\omega) :=
\begin{pmatrix}
\xi_1(\omega) \\
\vdots  	  \\
\xi_n(\omega)
\end{pmatrix}
\end{equation}

mit der \textit{Messbarkeitseigenschaft}
\begin{equation}
\{\omega \in \Omega|\xi(\omega) \in S \} \in \mathcal{A}
\quad \mbox{für alle} \quad
S \in \mathcal{S}.
\end{equation}

\end{definition}

\vspace{-2mm}
\footnotesize
Bemerkungen

\vspace{-2mm}
* $\xi$ ist hier eine univariate, vektorwertige Abbildung.
* Das Standardbeispiel für $(\mathcal{X},\mathcal{S})$ ist $(\mathbb{R}^n, \mathcal{B}(\mathbb{R}^n))$.
* Wir verzichten auf eine explizite Einführung $n$-dimensionaler $\sigma$-Algebren wie $\mathcal{B}(\mathbb{R}^n)$.
* Ohne Beweis halten wir fest, dass $\xi$ messbar ist, wenn die Funktionen $\xi_1,...,\xi_n$ messbar sind.
* Die Komponentenfunktionen eines Zufallsvektors sind Zufallsvariablen.
* Ein $n$-dimensionaler Zufallsvektor ist die Konkatenation von $n$ Zufallsvariablen.
* Ein ein-dimensionaler Zufallsvektor ($n := 1$) ist eine Zufallsvariable.


<!-- Kontinuierliche Zufallsvektoren -->
# Kontinuierliche Zufallsvektoren

\vspace{2mm}
\center

```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/zufallsvektor.pdf")
```


<!-- Defintion: Kontinuierlicher Zufallsvektor, Multivariate WDF -->
# Kontinuierliche Zufallsvektoren

\small
\begin{definition}[Kontinuierlicher Zufallsvektor, Multivariate WDF]

\justifying
Ein Zufallsvektor $\xi$ heißt \textit{kontinuierlich}, wenn $\mathbb{R}^n$ der Ergebnisraum von $\xi$ ist und eine Funktion
\begin{equation}
p_\xi : \mathbb{R}^n \to \mathbb{R}_{\ge 0}, x \mapsto p_\xi(x),
\end{equation}

existiert, für die gilt
\begin{itemize}
\item[(1)] $\int_{\mathbb{R}^n} p_\xi(x) \, dx = 1$ und
\item[(2)] $\mathbb{P}_\xi(x_1 \le \xi \le x_2) = \int_{x_{1_1}}^{x_{2_1}} \cdots \int_{x_{1_n}}^{x_{2_n}} p_\xi(s_1,...,s_n) \, ds_1 \cdots ds_n$.
\end{itemize}

Eine entsprechende Funktion $p$ heißt \textit{multivariate Wahrscheinlichkeitsdichtefunktion} (WDF) von $\xi$.

\end{definition}

Bemerkungen

* Der Begriff der multivariaten WDF ist analog zum Begriff der WDF.
* Man spricht häufig auch einfach von der *WDF eines Zufallsvektors*.
* Wie univariate WDFen sind multivariate WDFen nicht-negativ und normiert.
* Wie für kontinuierliche Zufallsvariablen gilt für kontinuierliche Zufallsvektoren:
\begin{equation}
\mathbb{P}_\xi(\xi = x)
= \mathbb{P}_\xi(x \le \xi \le x)
= \int_{x_1}^{x_1} \cdots \int_{x_n}^{x_n} p_\xi(s_1,...,s_n)\,ds_1 \cdots ds_n
= 0 \; .
\end{equation}


<!-- Definition: Erwartungswert und Kovarianzmatrix von Zufallsvektoren -->
# Kontinuierliche Zufallsvektoren

\footnotesize
\begin{definition}[Erwartungswert und Kovarianzmatrix von Zufallsvektoren]

\justifying
$\xi$ sei ein $n$-dimensionaler Zufallvektor. Dann ist der \textit{Erwartungwert} von $\xi$ definiert als der $n$-dimensionale Vektor
\begin{equation}
\mathbb{E}(\xi) :=
\begin{pmatrix}
\mathbb{E}(\xi_1) \\
\vdots            \\
\mathbb{E}(\xi_n)
\end{pmatrix}
\end{equation}

und die \textit{Kovarianzmatrix} von $\xi$ ist definiert als die $n \times n$ Matrix
\begin{equation}
\mathbb{C}(\xi) := \mathbb{E}\left((\xi - \mathbb{E}(\xi))(\xi - \mathbb{E}(\xi))^\mathrm{T} \right)
\end{equation}

\end{definition}

Bemerkungen

* Der Erwartungswert von $\xi$ ist der Vektor der Erwartungswerte $\mathbb{E}(\xi_1), ..., \mathbb{E}(\xi_n)$.
* Der Erwartungswert eines Zufallsvektors ist also *elementweise* definiert.
* Die Kovarianzmatrix ist formal analog zur Kovarianz zweier Zufallsvariablen definiert.


<!-- Theorem: Kovarianzmatrix eines Zufallsvektors -->
# Kontinuierliche Zufallsvektoren

\footnotesize
\begin{theorem}[Kovarianzmatrix eines Zufallsvektors]

\justifying
\normalfont
$\xi$ sei ein $n$-dimensionaler Zufallvektor und $\mathbb{C}(\xi)$ sei seine Kovarianzmatrix. Dann gilt:
\begin{equation}
\mathbb{C}(\xi)
= \left(\mathbb{C}(\xi_i,\xi_j)\right)_{1 \le i,j \le n}
=
\begin{pmatrix}
\mathbb{C}(\xi_1,\xi_1) & \mathbb{C}(\xi_1,\xi_2) & \cdots & \mathbb{C}(\xi_1,\xi_n) \\
\mathbb{C}(\xi_2,\xi_1) & \mathbb{C}(\xi_2,\xi_2) & \cdots & \mathbb{C}(\xi_2,\xi_n) \\
\vdots                  & \vdots                  & \ddots & \vdots                  \\
\mathbb{C}(\xi_n,\xi_1) & \mathbb{C}(\xi_n,\xi_2) & \cdots & \mathbb{C}(\xi_n,\xi_n)
\end{pmatrix}.
\end{equation}

\end{theorem}

Bemerkung

* Die Kovarianzmatrix $\mathbb{C}(\xi)$ ist also die Matrix der Kovarianzen der Komponenten von $\xi$.


<!-- Beweis -->
# Kontinuierliche Zufallsvektoren

\vspace{1mm}
\footnotesize
\setstretch{1.5}
\underline{Beweis}

Es gilt
\tiny
\begin{align*}
\mathbb{C}(\xi)
& := \mathbb{E}\left((\xi - \mathbb{E}(\xi))(\xi - \mathbb{E}(\xi))^\mathrm{T} \right) \\
& =
\mathbb{E} \left(
\left(
\begin{pmatrix}
\xi_1  \\
\vdots \\
\xi_n
\end{pmatrix} -
\begin{pmatrix}
\mathbb{E}(\xi_1) \\
\vdots            \\
\mathbb{E}(\xi_n)
\end{pmatrix}
\right)
\left(
\begin{pmatrix}
\xi_1  \\
\vdots \\
\xi_n
\end{pmatrix} -
\begin{pmatrix}
\mathbb{E}(\xi_1) \\
\vdots            \\
\mathbb{E}(\xi_n)
\end{pmatrix}
\right)^\mathrm{T}
\right) \\
& =
\mathbb{E} \left(
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1) \\
\vdots                    \\
\xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1) \\
\vdots                    \\
\xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}^\mathrm{T}
\right) \\
& =
\mathbb{E} \left(
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1) \\
\vdots                    \\
\xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}
\begin{pmatrix}
\xi_1 - \mathbb{E}(\xi_1) & \dots & \xi_n - \mathbb{E}(\xi_n)
\end{pmatrix}
\right) \\
& =
\mathbb{E}
\begin{pmatrix}
  (\xi_1 - \mathbb{E}(\xi_1))(\xi_1 - \mathbb{E}(\xi_1))
& \dots
& (\xi_1 - \mathbb{E}(\xi_1))(\xi_n - \mathbb{E}(\xi_n)  \\
  \vdots
& \ddots
& \vdots                                                 \\
  (\xi_n - \mathbb{E}(\xi_n))(\xi_1 - \mathbb{E}(\xi_1))
& \dots
& (\xi_n - \mathbb{E}(\xi_n))(\xi_n - \mathbb{E}(\xi_n)) \\
\end{pmatrix} \\
& =
\left(\mathbb{E}\left((\xi_i - \mathbb{E}(\xi_i))(\xi_j - \mathbb{E}(\xi_j)) \right) \right)_{1 \le i,j \le n} \\
& =
\left(\mathbb{C}(\xi_i,\xi_j)\right)_{1 \le i,j \le n}
\end{align*}
$\hfill\Box$



<!-- Abschnitt 2: Konstruktion und Definition -->
#

\large
\setstretch{2.5}
\vfill

Kontinuierliche Zufallsvektoren

**Konstruktion und Definition**

Transformationen

Sphärische Verteilungen

Marginale und bedingte Verteilungen

Selbstkontrollfragen

\vfill


<!-- Definition: Normalverteilte Zufallsvariable -->
# Konstruktion und Definition

\setstretch{1.5}
\footnotesize
\begin{definition}[Normalverteilte Zufallsvariable]

\justifying
$\xi$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und WDF
\begin{equation}
p : \mathbb{R} \to \mathbb{R}_{>0}, x\mapsto p(x)
:= \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}

Dann sagen wir, dass $\xi$ einer \textit{Normalverteilung (oder \textit{Gauß-Verteilung}) mit Erwartungswertparameter $\mu \in \mathbb{R}$ und Varianzparameter $\sigma^2 > 0$} unterliegt und nennen $\xi$ eine \textit{normalverteilte Zufallsvariable}. Wir kürzen dies mit $\xi \sim N(\mu,\sigma^2)$ ab. Die WDF einer normalverteilten Zufallsvariable bezeichnen wir mit
\begin{equation}
N\left(x;\mu,\sigma^2\right) := \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right).
\end{equation}

\end{definition}

Bemerkungen

* Es gelten $\mathbb{E}(\xi) = \mu$ und $\mathbb{V}(\xi) = \sigma^2$.
* Der Parameter $\mu$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte.
* Der Parameter $\sigma^2$ spezifiziert die Breite der WDF.
* $\xi \sim N(0,1)$ heißt auch *standardnormalverteilt*.


<!-- Visualisierung der univariaten Normalverteilung -->
# Konstruktion und Definition

\textcolor{darkblue}{Visualisierung univariater Normalverteilungsdichtefunktionen}

\vspace{1cm}

```{r, echo = F, eval = F}
# model formulation
x_min   = -10                                                                    # minimum x-value
x_max   =  10                                                                    # maximum x-value
x_res   = 1e3                                                                    # x space resolution
x       = seq(x_min, x_max, len = x_res)                                         # values of x
mu      = c(0, -2.5, 3)                                                          # expectation parameters
sigsqr  = c(1, 10, 0.5)                                                          # variance parameters

# plot specifications
library(latex2exp)
graphics.off()
dev.new()                                                                        # new figure
theta = par(                                                                     # figure parameters
    mfcol      = c(1,length(mu)),                                                # subplot grid
    family     = "sans",                                                         # font family
    pty        = "s",                                                            # square plots
    bty        = "l",                                                            # plot box, o, l, 7, c, or ]
    lwd        = 1,                                                              # line width
    las        = 1,                                                              # 0: axis parallel, 1: horizontal, 2: axis perpendicular, 3: vertical
    mgp        = c(2,1,0),                                                       # margin line in mex unit
    font.main  = 1,                                                              # title font type
    cex.main   = 1.4)                                                            # title  magnification factor

# parameter iterations
for (i in 1:length(mu)){
    # Gaussian PDFs
    plot(x, dnorm(x,mu[i],sqrt(sigsqr[i])),                                      # x and y values
        type   = "l",                                                            # line style
        lwd    =  1.5,                                                           # line width
        col    = "Black",                                                        # line color
        ylab   = " ",                                                            # no y-axis label
        xlab   = "x",                                                            # x-axis label
        ylim   = c(0,0.6))                                                       # y-axis limits
    title(sprintf("N(x; %g,%g)", mu[i], sigsqr[i]))                              # plot title: N(x; \mu, \sigma^2)
}

# export to pdf
dev.copy2pdf(
    file       = "Abbildungen/normalverteilung_wdf.pdf",                         # filename
    width      = 7,                                                              # PDF width
    height     = 3)                                                              # PDF height
```

```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/normalverteilung_wdf.pdf")
```


<!-- Theorem: Konstruktion bivariater Normalverteilungen -->
# Konstruktion und Definition

\footnotesize
\begin{theorem}[Konstruktion bivariater Normalverteilungen]

\justifying
\normalfont
$\zeta_1 \sim N(0,1)$ und $\zeta_2 \sim N(0,1)$ seien zwei unabhängige standardnormalverteilte Zufallsvariablen. Weiterhin seien $\mu_1,\mu_2\in \mathbb{R}$, $\sigma_1,\sigma_2>0$ und $\rho \in ]-1,1[$. Schließlich seien
\begin{align}
\begin{split}
\xi_1 & := \sigma_1\zeta_1 + \mu_1                                              \\
\xi_2 & := \sigma_2\left(\rho\zeta_1 + \sqrt{1 -\rho^2}\zeta_2\right) + \mu_2.
\end{split}
\end{align}

Dann hat die WDF des Zufallsvektors $\xi := (\xi_1,\xi_2)^\mathrm{T}$, also der gemeinsamen
Verteilung von $\xi_1$ und $\xi_2$, die Form
\begin{equation}
p : \mathbb{R}^2 \to \mathbb{R}_{>0},\, x \mapsto p(x)
:= \frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu)\right),
\end{equation}

wobei
\begin{equation}
n := 2, \quad
\mu :=
\begin{pmatrix}
\mu_1 \\
\mu_2
\end{pmatrix}
\quad \mbox{und} \quad
\Sigma :=
\begin{pmatrix}
\sigma_1^2           & \rho\sigma_1\sigma_2 \\
\rho\sigma_2\sigma_1 & \sigma_2^2           \\
\end{pmatrix}
\end{equation}

\end{theorem}

Bemerkungen

* Für einen Beweis, siehe @degroot2012, S. 338-339.
* Man nennt die gemeinsame Verteilung von $\xi_1$ und $\xi_2$ *bivariate Normalverteilung*.


<!-- Visualisierung der bivariaten Normalverteilung -->
# Konstruktion und Definition

\textcolor{darkblue}{Konstruktion bivariater Normalverteilungen}

\vspace{2mm}
\setstretch{1.0}
\tiny

```{r, echo = T}
# Parameterdefinitionen
mu_1   = 5.0                                              # \mu_1
mu_2   = 4.0                                              # \mu_2
sig_1  = 1.5                                              # \sigma_1
sig_2  = 1.0                                              # \sigma_2
rho    = 0.9                                              # \rho

# Realisierungen der standardnormalverteilten ZVen
nr     = 100                                              # Anzahl Realisierungen
zeta_1 = rnorm(nr)                                        # \zeta_1 \sim N(0,1)
zeta_2 = rnorm(nr)                                        # \zeta_1 \sim N(0,1)

# Evaluation von Realisierungen von \xi_1 und \xi_2
xi_1   = sig_1*zeta_1 + mu_1                              # Realsierungen von zeta_1
xi_2   = sig_2*(rho*zeta_1 + sqrt(1-rho^2)*zeta_2) + mu_2 # Realsierungen von zeta_2

# Parameter der gemeinsamen Verteilung von \xi_1 und \xi_2
mu     = matrix(c(mu_1,                                   # \mu \in \mathbb{R}^2
                  mu_2),
                nrow = 2, byrow = TRUE)
Sigma  = matrix(c(sig_1^2,         rho*sig_1*sig_2,       # \Sigma \in \mathbb{R}^{2 x 2}
                  rho*sig_1*sig_2, sig_2^2),
                nrow = 2, byrow = TRUE)
print(mu)
print(Sigma)
```

```{r, echo = F, eval = F}
# Abbildungsparameter
graphics.off()
library(latex2exp)
library(mvtnorm)
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,1),
    mar         = c(3,3,1,1),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 0.7,
    cex.main    = 1.2)

# Visualisierung
x_min       = 0
x_max       = 10
x_res       = 1e3
x_1         = seq(x_min, x_max, length.out = x_res)
x_2         = seq(x_min, x_max, length.out = x_res)
X           = expand.grid(x_1,x_2)
p           = matrix(dmvnorm(as.matrix(X), mu, Sigma), nrow = x_res)
contour(x_1, x_2, p,
    xlim    = c(1,9), # c(x_min,x_max),
    ylim    = c(0,8), # c(x_min,x_max),
    xlab    = TeX("$x_1$"),
    ylab    = TeX("$x_2$"),
    nlevels = 5)
points(xi_1, xi_2,
    pch     = 21,
    col     = "white",
    bg      = "gray60",
    cex     = 0.9)

# export to pdf
dev.copy2pdf(
    file    = "Abbildungen/konstruktion.pdf",
    width   = 3,
    height  = 3)
```


<!-- Visualisierung der bivariaten Normalverteilung -->
# Konstruktion und Definition

\vspace{2mm}
\textcolor{darkblue}{Konstruktion bivariater Normalverteilungen}

\center
\small
\textcolor{lightgray}{$\bullet$} Realisierungen von $\xi = (\xi_1,\xi_2)^\mathrm{T}$

$-$ Isokonturen (Linien gleicher Wahrscheinlichkeitsdichte) von $p$

```{r, echo = F, out.width = "50%"}
knitr::include_graphics("Abbildungen/konstruktion.pdf")
```

[\textcolor{darkblue}{Animation zur Konstruktion}](C:\Users\sochj\OvGUcloud\Lehre\2025_SS\B2_ALM\04_Normalverteilungen\Abbildungen\konstruktion.gif)


<!-- Definition: Multivariate Normalverteilung -->
# Konstruktion und Definition

\footnotesize
\begin{definition}[Multivariate Normalverteilung]

\justifying
$\xi$ sei ein $n$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^n$ und WDF
\begin{equation}
p : \mathbb{R}^n \to \mathbb{R}_{>0},\, x \mapsto p(x)
:= \frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu)\right).
\end{equation}
Dann sagen wird, dass $\xi$ einer \textit{multivariaten (oder $n$-dimensionalen) Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^n$ und positiv-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{n \times n}$ unterliegt und nennen $\xi$ einen \textit{(multivariat) normalverteilten Zufallsvektor}. Wir kürzen dies mit $\xi \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat normalverteilten Zufallsvektors bezeichnen wir mit
\begin{equation}
N(x;\mu,\Sigma):= \frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu)\right).
\end{equation}

\end{definition}

Bemerkungen

* Der Parameter $\mu \in \mathbb{R}^n$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte.
* Die Diagonalelemente von $\Sigma$ spezifizieren die Breite der WDF bezüglich $\xi_1,...,\xi_n$.
* Das $(i,j)$te Element von $\Sigma$ spezifiziert die Kovarianz on $\xi_i$ und $\xi_j$.
* Der Term $1/\sqrt{(2\pi)^n |\Sigma|}$ ist die Normalisierungskonstante für den Exponentialfunktionsterm.


<!-- Visualisierung der multivariaten Normalverteilung -->
# Konstruktion und Definition

\vspace{1mm}
\textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen}
\vspace{1mm}

\tiny
\setstretch{1.2}

```{r, echo = T, eval = F}
library(mvtnorm)                                     # Tools für die multivariate Normalverteilung

# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 2                                           # x_i Maximum
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}

# Schleife über Kovarianzmatrixparametervarianten
for (Sigma in S){

    # Berechnung der Wahrscheinlichkeitsdichtefunktion
    p  = matrix(dmvnorm(as.matrix(X), mu, Sigma),    # Matrixkonversion des von
                nrow = x_res)                        # dmvnorm() ausgegebenen Vektors

    # Visualisierung der Wahrscheinlichkeitsdichtefunktion
    contour(x_1, x_2, p,
        xlim      = c(x_min,x_max),
        ylim      = c(x_min,x_max),
        nlevels   = 5)
    
}
```

```{r, echo = F, eval = F}
library(mvtnorm)                                     # Tools für die multivariate Normalverteilung

# Abbildungsparameter
graphics.off()
library(latex2exp)
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,3),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 0.7,
    cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 2                                           # x_i Maximum
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))

# Schleife über Kovarianzmatrixparametervarianten
i = 1
for (Sigma in S){

    # Berechnung der Wahrscheinlichkeitsdichtefunktion
    p  = matrix(dmvnorm(as.matrix(X), mu, Sigma),    # Matrixkonversion des von
                nrow = x_res)                        # dmvnorm() ausgegebenen Vektors

    # Visualisierung der Wahrscheinlichkeitsdichtefunktion
    contour(x_1, x_2, p,
        xlim  = c(x_min,x_max),
        ylim  = c(x_min,x_max),
        xlab  = TeX("$x_1$"),
        ylab  = TeX("$x_2$"),
        nlevels   = 5)
    text(1, 2.2, L[[i]],
        xpd = TRUE)
    i = i + 1

}

# export to pdf
dev.copy2pdf(
    file   = "Abbildungen/mvnwdf.pdf",               # filename
    width  = 8,                                      # PDF width
    height = 4)                                      # PDF height
```


<!-- Visualisierung der multivariaten Normalverteilung -->
# Konstruktion und Definition

\textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen}
\vspace{2mm}

\center
\small
$\mu = (1,1)^\mathrm{T}, \; \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt.

\vspace{1mm}

```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/mvnwdf.pdf")
```


<!-- Realisierungen multivariat normalverteilter Zufallsvektoren -->
# Konstruktion und Definition

\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}

\vspace{4mm}
\footnotesize

```{r, echo = T}
library(mvtnorm)                               # Tools für die multivariate Normalverteilung

# Parameterdefinition
mu     = c(1,1)                                # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.2, 0.15, 0.15, 0.2), 2)    # \Sigma in \mathbb{R}^{2 \times 2}

# Realisierungen des Zufallsvektors
t(rmvnorm(n = 10, mu, Sigma))                  # multivariate Zufallsvektoren
```


<!-- Realisierungen multivariat normalverteilter Zufallsvektoren -->
# Konstruktion und Definition

\textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren}
\vspace{2mm}

\center
\small
$\mu = (1,1)^\mathrm{T}, \; \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt ($n = 200$).

\vspace{1mm}

```{r, echo = F, eval = F}
library(mvtnorm)                                     # Tools für die multivariate Normalverteilung

# Abbildungsparameter
library(latex2exp)
graphics.off()
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,3),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 0.7,
    cex.main    = 1.2)

# Parameterdefinition
mu     = c(1,1)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.2,  0.15,  0.15, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2,  0.00,  0.00, 0.2), 2),  # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.2, -0.15, -0.15, 0.2), 2))  # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.20  0.15", " 0.15  0.20"), ")")),
              expression(bgroup("(", atop("0.20  0.00", " 0.00  0.20"), ")")),
              expression(bgroup("(", atop("0.20 -0.15", "-0.15  0.20"), ")")))

# Schleife über Kovarianzmatrixparametervarianten
i = 1
for (Sigma in S){

    # Realisierungen des Zufallsvektors
    samples = rmvnorm(n = 200, mu, Sigma)

    # Visualisierung der Realisierungen
    plot(samples,
        xlim  = c(0,2),
        ylim  = c(0,2),
        xlab  = TeX("$x_1$"),
        ylab  = TeX("$x_2$"),
        pch   = 21,
        col   = "white",
        bg    = "gray60",
        cex   = 1.5)
    text(1, 2.2, L[[i]],
        xpd   = TRUE)
    i = i + 1

}

# export to pdf
dev.copy2pdf(
    file      = "Abbildungen/rmvnorm.pdf",           # filename
    width     = 8,                                   # PDF width
    height    = 4)                                   # PDF height
```

```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/rmvnorm.pdf")
```


<!-- Theorem: Erwartungswert und Kovarianzmatrix -->
# Konstruktion und Definition

\footnotesize
\begin{theorem}[Erwartungswert und Kovarianzmatrix]

\justifying
\normalfont
$\xi\sim N(\mu,\Sigma)$ sei ein multivariate normalverteilter Zufallsvektor mit Erwartungswertparameter $\mu \in \mathbb{R}^n$ und Kovarianzmatrixparameter $\Sigma \in \mathbb{R}^{n \times n} \mbox{ p.d. }$. Dann gelten für den Erwartungswert und die Kovarianzmatrix von $\xi$, dass
\begin{equation}
\mathbb{E}(\xi) = \mu
\quad \mbox{und} \quad
\mathbb{C}(\xi) = \Sigma \; .
\end{equation}

\end{theorem}

Bemerkungen

* Wir verzichten auf einen Beweis. Verweise befinden sich im Anhang.
* Das Theorem ist die direkte Generalisierung der Eigenschaften univariater normalverteilter Zufallsvariablen


<!-- Abschnitt 3: Transformationen -->
#

\large
\setstretch{2.5}
\vfill

Kontinuierliche Zufallsvektoren

Konstruktion und Definition

**Transformationen**

Sphärische Verteilungen

Marginale und bedingte Verteilungen

Selbstkontrollfragen

\vfill


<!-- Theorem: Linear-affine Transformation -->
# Transformationen

\small
\begin{theorem}[Linear-affine Transformation]

\justifying
\normalfont
$\xi \sim N(\mu,\Sigma)$ sei ein normalverteilter $n$-dimensionaler Zufallsvektor
und es sei $\upsilon := A\xi + b$ mit $A \in \mathbb{R}^{m \times n}$ und $b \in \mathbb{R}^m$. Dann gilt
\begin{equation}
\upsilon \sim N\left(A\mu + b, A\Sigma A^\mathrm{T}\right)
\end{equation}

\end{theorem}

\footnotesize

Bemerkung

* \justifying Für einen Beweis, siehe @anderson2003, Abschnitt 2.4 oder die Verweise im Anhang.
* Die linear-affine Transformation eines multivariat normalverteilten Zuallsvektors ergibt wieder einen multivariat normalverteilten Zufallsvektor. Die Parameter des resultierenden normalverteilten Zufallsvektors ergeben sich dabei aus den Parametern des ursprünglichen Zufallsvektors und den Transformationsparametern.


# Transformationen

\textcolor{darkblue}{Linear-affine Transformation}
\vspace{2mm}

\center
\footnotesize
$n := 2, \;
\mu := \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \;
\Sigma := \begin{pmatrix} 0.20 & 0.15 \\ 0.15 & 0.20 \end{pmatrix}, \;
A := \begin{pmatrix*}[r] -2 & 1 \\ -1 & 2 \end{pmatrix*}, \;
b := \begin{pmatrix} 1 \\ -1 \end{pmatrix}$

\vspace{2mm}

```{r, echo = F, eval = F}
# R-Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,2),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 1,
    cex.main    = 1)

# x-Modell
x_min  = -3                                                                      # x_i Minimum
x_max  =  3                                                                      # x_i Maximum
x_res  = 1e3                                                                     # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)                                   # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)                                   # x_2 Raum
x      = expand.grid(x_1,x_2)                                                    # x = (x_1,x_2)^T Raum
mu     = c(1,1)                                                                  # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.2, 0.15, 0.15, 0.2), 2)                                      # \Sigma in \mathbb{R}^{2 \times 2}
px     = matrix(dmvnorm(as.matrix(x), mu, Sigma), nrow = x_res)                  # x \sim N(\mu,\Sigma)
xi     = rmvnorm(n = 50, mu, Sigma)                                              # Realisierungen
contour(x_1, x_2, px,
    xlim      = c(x_min,x_max),
    ylim      = c(x_min,x_max),
    xlab      = TeX("$x_1$"),
    ylab      = TeX("$x_2$"),
    levels    = c(0.9,0.7,0.5,0.3,0.1),
    main      = TeX("$\\xi \\sim N(\\mu,\\Sigma)$"))
points(xi,
    pch       = 21,
    col       = "white",
    bg        = "gray60",
    cex       = 1)

# y-Modell
A      = matrix(c(-2,1,-1,2), nrow = 2, byrow = TRUE)                            # Transformationsmatrix
b      = c(1,-1)                                                                 # Transformationsvektor
y_min  = -3                                                                      # y_i Minimum
y_max  =  3                                                                      # y_i Maximum
y_res  = 1e3                                                                     # y_i Auflösung
y_1    = seq(y_min, y_max, length.out = y_res)                                   # y_1 Raum
y_2    = seq(y_min, y_max, length.out = y_res)                                   # y_2 Raum
y      = expand.grid(y_1,y_2)                                                    # y = (y_1,y_2)^T Raum
py     = matrix(dmvnorm(as.matrix(y), A%*%mu+b, A%*%Sigma%*%t(A)), nrow = y_res) # y \sim N(A\mu+b, A\Sigma A^T)
ups    = t(A %*% t(xi) + replicate(dim(xi)[1],b))                                # Realisierungen
contour(y_1, y_2, py,
    xlim      = c(y_min,y_max),
    ylim      = c(y_min,y_max),
    xlab      = TeX("$y_1$"),
    ylab      = TeX("$y_2$"),
    levels    = c(0.9,0.7,0.5,0.3,0.1),
    main      = TeX("$\\upsilon \\sim N(A\\mu+b,A\\Sigma A^T)$"))
points(ups,
    pch       = 21,
    col       = "white",
    bg        = "gray60",
    cex       = 1)
dev.copy2pdf(
    file      = "Abbildungen/mvn_transformation.pdf",
    width     = 8,
    height    = 4)
```

```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/mvn_transformation.pdf")
```


<!-- Theorem: Invertierbare lineare Transformation -->
# Transformationen

\small
\begin{theorem}[Invertierbare lineare Transformation]

\justifying
\normalfont
$\xi \sim N(\mu,\Sigma)$ sei ein normalverteilter $n$-dimensionaler Zufallsvektor und es sei $\upsilon := A\xi$ mit einer invertierbaren Matrix $A \in \mathbb{R}^{n \times n}$. Dann gilt
\begin{equation}
\upsilon \sim N\left(A\mu,A\Sigma A^\mathrm{T}\right)
\end{equation}

\end{theorem}

\footnotesize
Bemerkung

* Es handelt sich hierbei um einen Spezialfall der linear-affinen Transformation mit $A \in \mathbb{R}^{n \times n}$ und $b = 0_n$.
* Die invertierbare lineare Transformation eines multivariat normalverteilten Zuallsvektors ergibt wieder einen multivariat normalverteilten Zufallsvektor. Die Parameter des resultierenden normalverteilten Zufallsvektors ergeben sich dabei aus den Parametern des ursprünglichen Zufallsvektors und der Transformationsmatrix.


<!-- Abschnitt 4: Sphärische Verteilungen -->
#

\large
\setstretch{2.5}
\vfill

Kontinuierliche Zufallsvektoren

Konstruktion und Definition

Transformationen

**Sphärische Verteilungen**

Marginale und bedingte Verteilungen

Selbstkontrollfragen

\vfill


<!-- Theorem: Sphärische multivariate Normalverteilung -->
# Sphärische Verteilungen

\footnotesize
\begin{theorem}[Sphärische multivariate Normalverteilung]

\justifying
\normalfont
Für $i = 1,...,n$ seien $N(x_i;\mu_i,\sigma^2)$ die WDFen von $n$ unabhängigen univariaten normalverteilten Zufallsvariablen $\xi_1,...,\xi_n$ mit $\mu_1,...,\mu_n \in \mathbb{R}$ und $\sigma^2 > 0$. Weiterhin sei $N(x;\mu,\sigma^2I_n)$ die WDF eines $n$-dimensionalen Zufallsvektors $\xi$ mit Erwartungswertparameter $\mu := (\mu_1,...,\mu_n)^\mathrm{T} \in \mathbb{R}^n$. Dann gilt
\begin{equation}
p_\xi(x) = p_{\xi_1,...,\xi_n}(x_1,...,x_n) = \prod_{i=1}^n p_{\xi_i}(x_i)
\end{equation}
und damit im vorliegenden Fall normalverteilter Zufallsvariablen
\begin{equation}
N\left(x; \mu,\sigma^2I_n\right) = \prod_{i=1}^n N\left(x_i;\mu_i,\sigma^2\right).
\end{equation}

\end{theorem}

Bemerkungen

* \justifying Das Theorem ist für die Theories des Allgemeinen Linearen Modells zentral.
* Die Zufallsvariablen $\xi_i$ sind unabhängig, aber nicht notwendigerweise identisch verteilt.
* Einen Kovarianzmatrixparameter der Form $\Sigma = \sigma^2 I_n$ nennt man auch *sphärisch*; eine multivariate Normalverteilung mit spährischem Kovarianzmatrixparameter nennt man auch *sphärische Normalverteilung*.
* Sphärische $n$-variate Normalverteilungen entsprechen $n$ unabhängigen univariaten Normalverteilungen und umgekehrt; eine Realisierung einer $n$-variaten sphärischen Normalverteilung entspricht $n$ Realisierungen von unabhängigen univariaten Normalverteilungen.


<!-- Beweis -->
# Sphärische Verteilungen

\small
\setstretch{1.5}
\underline{Beweis}

Wir zeigen die Identität der multivariaten WDF $N(x;\mu,\sigma^2 I_n)$ mit dem Produkt von $n$ univariaten WDFen $N(x_i;\mu_i,\sigma^2 I_n)$, wobei $\mu_i$ der $i$te Eintrag von $\mu \in \mathbb{R}^n$ ist. Es ergibt sich
\begin{align}
\begin{split}
N\left(x;\mu,\sigma^2 I_{n} \right)
& = \frac{1}{\sqrt{(2\pi)^n \left|\sigma^2 I_n \right|}}
	\exp\left(-\frac{1}{2}(x-\mu)^\mathrm{T} (\sigma^2 I_n)^{-1} (x-\mu)\right) \\
& = \left(\prod_{i=1}^n \frac{1}{\sqrt{2\pi}} \right)
    \frac{1}{\sqrt{(\sigma^2)^n}}
	\exp\left(-\frac{1}{2\sigma^2}(x-\mu)^\mathrm{T} (x-\mu)\right) \\
& = \left(\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \right)
	  \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}
  	\prod_{i=1}^n \exp\left(-\frac{1}{2\sigma^2} (x_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}}
		\exp\left(-\frac{1}{2\sigma^2} (x_i - \mu_i)^2\right) \\
& = \prod_{i=1}^n N\left(x_i; \mu_i,\sigma^2\right).
\end{split}
\end{align}
$\hfill\Box$


<!-- Beispiele für sphärische/nicht-sphärische Verteilungen -->
# Sphärische Verteilungen

\textcolor{darkblue}{Beispiele für sphärische/nicht-sphärische Verteilungen}
\vspace{1mm}

\center
\small
$\mu = (0,0)^\mathrm{T}, \; \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt.

```{r, echo = F, eval = F}
library(mvtnorm)                                     # multivariate Normalverteilung
library(latex2exp)                                   # LaTeX-Formeln

# Abbildungsparameter
graphics.off()
dev.new()
par(
    family      = "sans",
    mfrow       = c(2,2),
    mar         = c(3,3,2,2),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 3,
    cex         = 1,
    cex.main    = 1.5)

# Ergebnisraumdefintion
x_min  = -2                                          # x_i Minimum
x_max  = +2                                          # x_i Maximum
x_res  = 1e2                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(0,0)                                      # \mu \in \mathbb{R}^2
S      = list(matrix(c(0.5,  0.0,  0.0,  0.5), 2),   # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(0.5,  0.3,  0.3,  0.5), 2),   # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(1.0,  0.0,  0.0,  1.0), 2),   # \Sigma in \mathbb{R}^{2 \times 2}
              matrix(c(1.0,  0.0,  0.0,  0.5), 2))   # \Sigma in \mathbb{R}^{2 \times 2}
L      = list(expression(bgroup("(", atop("0.5   0 ", " 0   0.5"), ")")),
              expression(bgroup("(", atop("0.5  0.3", "0.3  0.5"), ")")),
              expression(bgroup("(", atop(" 1    0 ", " 0    1 "), ")")),
              expression(bgroup("(", atop(" 1    0 ", " 0   0.5"), ")")))

# Schleife über Kovarianzmatrixparametervarianten
i = 1
for (Sigma in S){

    # Berechnung der Wahrscheinlichkeitsdichtefunktion
    p  = matrix(dmvnorm(as.matrix(X), mu, Sigma),    # Matrixkonversion des von
                nrow = x_res)                        # dmvnorm() ausgegebenen Vektors

    # Visualisierung der Wahrscheinlichkeitsdichtefunktion
    contour(x_1, x_2, p,
        xlim    = c(x_min,x_max),
        ylim    = c(x_min,x_max),
        xlab    = TeX("$x_1$"),
        ylab    = TeX("$x_2$"),
        nlevels = 5)
    text(0, 2.2, L[[i]],
        xpd     = TRUE)
    i = i + 1

}

# export to pdf
dev.copy2pdf(
    file      = "Abbildungen/mvn_sphaerisch.pdf",    # filename
    width     = 8,                                   # PDF width
    height    = 8)                                   # PDF height
```

\vspace{2mm}
```{r, echo = F, out.width = "60%"}
knitr::include_graphics("Abbildungen/mvn_sphaerisch.pdf")
```


<!-- Abschnitt 5: Marginale und bedingte Verteilungen -->
#

\large
\setstretch{2.5}
\vfill

Kontinuierliche Zufallsvektoren

Konstruktion und Definition

Transformationen

Sphärische Verteilungen

**Marginale und bedingte Verteilungen**

Selbstkontrollfragen

\vfill


<!-- Überblick -->
# Marginale und bedingte Verteilungen

\small
Multivariate Normalverteilungen haben die Eigenschaft, dass auch alle anderen assoziierten Verteilungen Normalverteilungen sind, deren Erwartungswert- und Kovarianzmatrixparameter aus den Parametern der jeweils komplementären Verteilung errechnet werden können.

Insbesondere gelten:

(1) \justifying Die uni- und multivariaten Marginalverteiltungen multivariater Normalverteilungen sind Normalverteilungen.
(2) Die uni- und multivariaten bedingten Verteiltungen multivariater Normalverteilungen sind Normalverteilungen.
(3) Wie alle gemeinsamen Verteilungen lassen sich multivariate Normalverteilungen multiplikativ in eine marginale und eine bedingte Verteilung zerlegen. Diese sind bei multivariaten Normalverteilungen auch Normalverteilungen, deren Parameter aus den Parametern der gemeinsamen Verteilung errechnet werden können und umgekehrt.

Die Resultate dieses Abschnitts sind insbesondere für generalisierte ALMs zentral, bspw. Linear Mixed Models bzw. Hierarchische Normalverteilungsmodelle, die Varianzkomponentenschätzung und die Bayesianische Inferenz bei Normalverteilungsannahmen, inklusive z.B. Kalman-Bucy-Filtering. Sie spielen aber auch im Rahmen der partiellen Korrelation bei ALMs eine Rolle (siehe Einheit (12) in *Allgemeines Lineares Modell*).


<!-- Theorem: Marginale Normalverteilungen -->
# Marginale und bedingte Verteilungen

\footnotesize
\begin{theorem}[Marginale Normalverteilungen]

\justifying
\normalfont
Es sei $m := k + l$ und $\xi = (\xi_1,...,\xi_m)^\mathrm{T}$ sei ein $m$-dimensionaler normalverteilter Zufallsvektor mit Erwartungswertparameter
\begin{equation}
\mu =
\begin{pmatrix}
\mu_\ups  \\
\mu_\zeta
\end{pmatrix} \in \mathbb{R}^m,
\end{equation}

mit $\mu_\ups \in \mathbb{R}^k$ und $\mu_\zeta \in \mathbb{R}^l$ und Kovarianzmatrixparameter
\begin{equation}
\Sigma =
\begin{pmatrix}
\Sigma_{\ups\ups} 	& \Sigma_{\ups\zeta}  \\
\Sigma_{\zeta\ups} 	& \Sigma_{\zeta\zeta}
\end{pmatrix} \in \mathbb{R}^{m \times m},
\end{equation}

mit $\Sigma_{\ups\ups}   \in \mathbb{R}^{k \times k}$,
    $\Sigma_{\ups\zeta}  \in \mathbb{R}^{k \times l}$,
    $\Sigma_{\zeta\ups}  \in \mathbb{R}^{l \times k}$
und $\Sigma_{\zeta\zeta} \in \mathbb{R}^{l \times l}$.
Dann sind $\ups := (\xi_1,...,\xi_k)^\mathrm{T}$ und $\zeta := (\xi_{k+1}, ...,\xi_m)^\mathrm{T}$ $k$- bzw. $l$-dimensionale normalverteilte Zufallsvektoren und es gilt:
\begin{equation}
\ups \sim N(\mu_\ups,\Sigma_{\ups\ups})
\quad \mbox{und} \quad
\zeta \sim N(\mu_\zeta,\Sigma_{\zeta\zeta}) \; .
\end{equation}

\end{theorem}

Bemerkungen

* Die Marginalverteilungen einer multivariaten Normalverteilung sind auch Normalverteilungen.
* Die Parameter der Marginalverteilungen ergeben sich aus den Parametern der gemeinsamen Verteilung.
* Für Beweise, siehe z.B. @mardia1979, Kapitel 3 oder @anderson2003, Kapitel 2.


<!-- Visualiaisuerung marginaler Normalverteilungen -->
# Marginale und bedingte Verteilungen

\textcolor{darkblue}{Marginale Normalverteilungen}
\vspace{2mm}

\small
\center
$m := 2, \; k := 1, \; l := 1, \; \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \; \Sigma := \begin{pmatrix} 0.10 & 0.08 \\ 0.08 & 0.15 \end{pmatrix}$

```{r, echo = F, eval = F}
# R-Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,3),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 0.7,
    cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 3                                           # x_i Maximum
x_res  = 1e3                                         # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
X      = expand.grid(x_1,x_2)                        # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.10, 0.08,                        # \Sigma in \mathbb{R}^{2 \times 2}
                  0.08, 0.15),
                nrow = 2,
                byrow = TRUE

# Visualisierung der gemeinsamen Verteilung
p      = matrix(dmvnorm(as.matrix(X), mu, Sigma),    # Matrixkonversion des von
                nrow = x_res)                        # dmvnorm() ausgegebenen Vektors
contour(x_1, x_2, p,
    xlim      =  c(x_min,x_max),
    ylim      =  c(x_min,x_max),
    xlab      = TeX("$y$"),
    ylab      = TeX("$z$"),
    main      = TeX("$N(x;\\mu,\\Sigma)$"),
    nlevels   = 10)

# Visualisierung der Marginalverteilungen
p_marg   = list(dnorm(x_1, mu[1],Sigma[1,1]), dnorm(x_1, mu[2],Sigma[2,2]))
l_marg   = c(TeX("$y$"), TeX("$z$"))
L_marg   = c(TeX("$N(y;\\mu_\\upsilon,\\Sigma_{\\upsilon\\upsilon})$"), TeX("$N(z; \\mu_\\zeta,\\Sigma_{\\zeta\\zeta})$"))
i        = 1
for(i in 1:length(p_marg)){
    plot(x_1, p_marg[[i]],
        type = "l",
        xlab = l_marg[[i]],
        ylim = c(0,5),
        ylab = "",
        main = L_marg[[i]])
}

# export to pdf
dev.copy2pdf(
    file     = "Abbildungen/marginale_mvnorm.pdf",   # filename
    width    = 8,                                    # PDF width
    height   = 4)                                    # PDF height
```

\vspace{-2mm}
```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/marginale_mvnorm.pdf")
```


<!-- Theorem: Bedingte Normalverteilungen -->
# Marginale und bedingte Verteilungen

\vspace{2mm}
\footnotesize
\begin{theorem}[Bedingte Normalverteilungen]

\justifying
\normalfont
$\begin{pmatrix} \xi \\ \ups \end{pmatrix}$ sei ein $m+n$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_{\xi,\ups} : \mathbb{R}^{m + n} \to \mathbb{R}_{>0},
\begin{pmatrix} x \\ y \end{pmatrix}
\mapsto p_{\xi,\ups}\left(\begin{pmatrix} x \\ y \end{pmatrix}\right)
:= N\left(\begin{pmatrix} x \\ y \end{pmatrix}; \mu_{\xi,\ups}, \Sigma_{\xi,\ups}\right)
\end{equation}

mit
\begin{equation}
\mu_{\xi,\ups} =
\left( \begin{matrix}
\mu_\xi  \\
\mu_\ups
\end{matrix} \right)
\quad \mbox{und} \quad
\Sigma_{\xi,\ups} =
\left( \begin{matrix}
\Sigma_{\xi\xi}  & \Sigma_{\xi\ups}  \\
\Sigma_{\ups\xi} & \Sigma_{\ups\ups}
\end{matrix} \right) \; ,
\end{equation}

wobei $x,\mu_\xi \in \mathbb{R}^m, y,\mu_\ups\in\mathbb{R}^n$ and  $\Sigma_{\xi\xi} \in \mathbb{R}^{m\times m}, \Sigma_{\xi\ups} \in \mathbb{R}^{m\times n}, \Sigma_{\ups\ups} \in \mathbb{R}^{n \times n}$. Dann ist die bedingte Verteilung von $\xi$ gegeben $\ups$ eine $m$-dimensionale Normalverteilung mit bedingter WDF
\begin{equation}
p_{\xi|\ups}(\cdot|y) : \mathbb{R}^m \to \mathbb{R}_{>0}, x \mapsto p_{\xi|\ups}(x|y) :=
N(x;\mu_{\xi|\ups},\Sigma_{\xi|\ups})
\end{equation}

mit
\begin{equation} \label{eq:gauss_cond_exp}
\mu_{\xi|\ups} = \mu_\xi  + \Sigma_{\xi\ups}\Sigma_{\ups\ups}^{-1}(y-\mu_\ups) \in \mathbb{R}^m
\end{equation}

und
\begin{equation} \label{eq:gauss_cond_var}
\Sigma_{\xi|\ups} = \Sigma_{\xi\xi}  - \Sigma_{\xi\ups}\Sigma_{\ups\ups}^{-1}\Sigma_{\ups\xi} \in \mathbb{R}^{m\times m} \; .
\end{equation}

\end{theorem}

\vspace{-2mm}
Bemerkungen
\vspace{-2mm}

* Die Parameter einer bedingten (multivariaten) Normalverteilung ergeben sich aus den Parametern einer gemeinsamen multivariaten Normalverteilung. Im Zusammenspiel mit den vorherigen Theoremen können die Parameter bedingter und marginale Normalverteilungen aus den Parametern der komplementären bedingten und marginalen Normalverteilungen bestimmt werden.


<!-- Visualisierung bedingter Normalverteilungen -->
# Marginale und bedingte Verteilungen

\textcolor{darkblue}{Bedingte Normalverteilungen}
\vspace{2mm}

\small
\center
$m := 2, \; n := 1, \; \mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}, \; \Sigma := \begin{pmatrix} 0.12 & 0.09 \\ 0.09 & 0.12 \end{pmatrix}$

```{r, echo = F, eval = F}
# R-Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
library(latex2exp)
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,3),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 0.7,
    cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = 0                                           # x_i Minimum
x_max  = 4                                           # x_i Maximum
x_res  = 1e3                                         # x_i Auflösung
x      = seq(x_min, x_max, length.out = x_res)       # x Raum
y      = seq(x_min, x_max, length.out = x_res)       # y Raum
X      = expand.grid(x,y)                            # (x,y)^T Raum

# Parameterdefinition
mu     = c(1,2)                                      # \mu \in \mathbb{R}^2
Sigma  = matrix(c(0.12, 0.09,                        # \Sigma in \mathbb{R}^{2 \times 2}
                  0.09, 0.12),
                nrow = 2,
                byrow = TRUE)

# Visualisierung der gemeinsamen Verteilung
p      = matrix(dmvnorm(as.matrix(X), mu, Sigma),    # Matrixkonversion des von
                nrow = x_res)                        # dmvnorm() ausgegebenen Vektors
contour(x, y, p,
    xlim      = c(x_min,x_max),
    ylim      = c(x_min,x_max),
    xlab      = TeX("$x$"),
    ylab      = TeX("$y$"),
    main      = TeX("$p(x,y) = N((x,y)^T; \\mu_{\\xi,\\upsilon},\\Sigma_{\\xi,\\upsilon})$"),
    levels    = c(0.1, 0.3, 0.6, 1, 1.5, 2.0))
abline(1.5, 0)
abline(2.8, 0)
text(3.5, 1, TeX("$y = 1.5$"))
text(3.5, 3, TeX("$y = 2.8$"))

# Visualsierung der bedingten Verteilung
plot(x, dnorm(x, mu[1] + Sigma[1,2]*(1/Sigma[2,2])*(1.5 - mu[2]),sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
    type   = "l",
    xlim   = c(x_min,x_max),
    ylim   = c(0,2),
    xlab   = TeX("$x$"),
    ylab   = "",
    main   = TeX("$p(x|y) = N(x; \\mu_{\\xi|\\upsilon},\\Sigma_{\\xi|\\upsilon})$"))
text(3.5, 1.8, TeX("$y = 1.5$"))

# Visualsierung der bedingten Verteilung
plot(x, dnorm(x, mu[1] + Sigma[1,2]*(1/Sigma[2,2])*(2.8 - mu[2]),sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2]*Sigma[2,1]))),
    type   = "l",
    xlim   = c(x_min,x_max),
    ylim   = c(0,2),
    xlab   = TeX("$x$"),
    ylab   = "",
    main   = TeX("$p(x|y) = N(x; \\mu_{\\xi|\\upsilon},\\Sigma_{\\xi|\\upsilon})$"))
text(3.5, 1.8, TeX("$y = 2.8$"))

# export to pdf
dev.copy2pdf(
    file   = "Abbildungen/bedingte_mvnorm.pdf",
    width  = 8,
    height = 4)
```

\vspace{-2mm}
```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/bedingte_mvnorm.pdf")
```


<!-- Theorem: Gemeinsame Normalverteilungen -->
# Marginale und bedingte Verteilungen

\footnotesize
\begin{theorem}[Gemeinsame Normalverteilungen]

\justifying
\normalfont
$\xi$ sei ein $m$-dimensionaler normalverteilter Zufallsvektor mit WDF
\begin{equation}
p_\xi : \mathbb{R}^m \to \mathbb{R}_{>0}, \, x \mapsto
p_\xi(x) := N(x;\mu_\xi,\Sigma_{\xi\xi})
\quad \mbox{mit} \quad
\mu_\xi \in \mathbb{R}^m, \;
\Sigma_{\xi\xi} \in \mathbb{R}^{m\times m},
\end{equation}

$A \in \mathbb{R}^{n\times m}$ sei eine Matrix, $b \in \mathbb{R}^n$ sei ein Vektor und $\ups$ sei ein $n$-dimensionaler bedingt normalverteilter Zufallsvektor mit bedingter WDF
\begin{equation}
p_{\ups|\xi}(\cdot|x) : \mathbb{R}^n \to \mathbb{R}_{>0},\, y\mapsto
p_{\ups|\xi}(y|x) := N(y;A\xi+b,\Sigma_{\ups\ups})
\quad \mbox{mit} \quad
\Sigma_{\ups\ups} \in \mathbb{R}^{n\times n}.
\end{equation}

Dann ist der $m+n$-dimensionale Zufallsvektor $\begin{pmatrix} \xi \\ \ups \end{pmatrix}$ normalverteilt mit (gemeinsamer) WDF
\begin{equation}
p_{\xi,\ups} : \mathbb{R}^{m+n} \to \mathbb{R}_{>0},\, \begin{pmatrix} x \\ y \end{pmatrix}
\mapsto p_{\xi,\ups}\left(\begin{pmatrix} x \\ y \end{pmatrix}\right)
= N\left(\begin{pmatrix} x \\ y \end{pmatrix}; \mu_{\xi,\ups}, \Sigma_{\xi,\ups} \right),
\end{equation}

mit $\mu_{\xi,\ups} \in \mathbb{R}^{m+n}$ and $\Sigma_{\xi,\ups} \in \mathbb{R}^{(m+n) \times (m+n)}$ und insbesondere
\begin{equation}
\mu_{\xi,\ups} = \left( \begin{matrix} \mu_\xi \\ A\mu_\xi + b \end{matrix} \right)
\quad \mbox{und} \quad
\Sigma_{\xi,\ups} = \left(\begin{matrix} \Sigma_{\xi\xi} & \Sigma_{\xi\xi}A^\mathrm{T} \\ A\Sigma_{\xi\xi} & \Sigma_{\ups\ups} + A\Sigma_{\xi\xi}A^\mathrm{T} \end{matrix} \right).
\end{equation}

\end{theorem}

\vspace{-2mm}
Bemerkungen
\vspace{-2mm}

* Eine marginale und eine bedingte multivariate Normalverteilung induzieren eine gemeinsame Normalverteilung.
* Die Parameter der gemeinsamen Verteilungen ergeben sich als linear-affine Transformation der Parameter der induzierenden Verteilungen.


<!-- Visualisierung gemeinsamer Normalverteilungen -->
# Marginale und bedingte Verteilungen

\textcolor{darkblue}{Gemeinsame Normalverteilungen}
\vspace{2mm}

\small
\center
$m := 1, \; n := 1, \; \mu_\xi := 1, \; \Sigma_{\xi\xi} := 0.2, \; A := 1, \; b := 1, \; \Sigma_{\ups\ups} := 0.1$

```{r, echo = F, eval = F}
# R-Paket für multivariate Normalverteilungen
library(mvtnorm)

# Abbildungsparameter
graphics.off()
library(latex2exp)
dev.new()
par(
    family      = "sans",
    mfcol       = c(1,3),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 0.7,
    cex.main    = 1.2)

# Ergebnisraumdefintion
x_min  = -1                                          # x_i Minimum
x_max  =  4                                          # x_i Maximum
x_res  = 1e3                                         # x_i Auflösung
x      = seq(x_min, x_max, length.out = x_res)       # x_1 Raum
y      = seq(x_min, x_max, length.out = x_res)       # x_2 Raum
xy     = expand.grid(x,y)                            # X = (x_1,x_2)^T Raum

# Parameterdefinition
mu_x      = 1                                        # \mu \in \mathbb{R}
Sigma_xx  = 0.2                                      # \Sigma_xx in \mathbb{R}
A         = 1                                        # A
b         = 1                                        # b
Sigma_yy  = 0.1                                      # \Sigma_yy

# Berechnung der gemeinsamen Verteilung
mu_xy     = c(mu_x, A*mu_x + b)
Sigma_xy  = matrix(c(Sigma_xx  , Sigma_xx*t(A),
                     A*Sigma_xx, Sigma_yy + A*Sigma_xx*t(A)),
                   nrow = 2,
                   byrow = TRUE)

# Visualisierung der marginalen Verteilung
plot(x, dnorm(x, mu_x, sqrt(Sigma_xx)),
    type = "l",
    xlab = TeX("$x$"),
    ylim = c(0,2),
    ylab = "",
    main = TeX("$p(x) = N(x;\\mu_\\xi,\\Sigma_{\\xi\\xi})$"))

# Visualisierung der bedingten Verteilung
plot(y, dnorm(y, A*1 + b, sqrt(Sigma_yy)),
    type = "l",
    xlab = TeX("$y$"),
    ylim = c(0,2),
    ylab = "",
    main = TeX("$p(y|x) = N(y; Ax + b, \\Sigma_{\\upsilon\\upsilon})$"))
text(0, 1.75, TeX("$x = 1$"), cex = 1.2)

# Visualisierung der gemeinsamen Verteilung
p_xy     = matrix(dmvnorm(as.matrix(xy), mu_xy, Sigma_xy),  # Matrixkonversion des von
                  nrow = x_res)                             # dmvnorm() ausgegebenen Vektors
contour(x, y, p_xy,
    xlim      = c(x_min,x_max),
    ylim      = c(x_min,x_max),
    xlab      = TeX("$x$"),
    ylab      = TeX("$y$"),
    main      = TeX("$p((x,y)^T) = N((x,y)^T; \\mu_{\\xi,\\upsilon},\\Sigma_{\\xi,\\upsilon})$"),
    nlevels   = 5)

# export to pdf
dev.copy2pdf(
    file      = "Abbildungen/gemeinsame_mvnorm.pdf",        # filename
    width     = 8,                                          # PDF width
    height    = 4)                                          # PDF height
```

\vspace{-2mm}
```{r, echo = F, out.width = "100%"}
knitr::include_graphics("Abbildungen/gemeinsame_mvnorm.pdf")
```


<!-- Beispiel: Körpergröße und Körpergewicht -->
# Marginale und bedingte Verteilungen

Beispiel: Gemeinsame Normalverteilung von Körpergröße und Körpergewicht ($n = 100$)

\vspace{-4mm}
\begin{equation}
x_i \sim N(170, 10^2)
\quad \mbox{ und } \quad
y_i \sim N(x_i - 100, 12^2)
\quad \mbox{ für } \quad
i = 1,\ldots,n
\end{equation}

\vspace{-4mm}
\begin{equation}
\Rightarrow \quad
\begin{pmatrix} x_i \\ y_i \end{pmatrix}
\sim N\left(
\begin{pmatrix} 170 \\  70 \end{pmatrix},
\begin{pmatrix} 100  & 100 \\ 100  & 244 \end{pmatrix}
\right)
\quad \mbox{ für } \quad
i = 1,\ldots,n
\end{equation}

```{r, echo = F, eval = F}
# Simulation: unabhängige Variable
library(MASS)                                         # multivariate Normalverteilungen
set.seed(0)                                           # reproduzierbare Ergebnisse
n       = 100                                         # Anzahl Datenpunkte
mu_x    = 170                                         # Erwartungswert Größe
sigma_x = 10                                          # Standardabweichung Größe
x       = rnorm(n, mu_x, sigma_x)                     # unabhängige Variable

# Simulation: abhängige Variable
beta_0  =-100                                         # Offset-Parameter Größe -> Gewicht
beta_1  = 1                                           # Steigungsparameter Größe -> Gewicht
sigma   = 12                                          # Standardabweichung Gewicht
X       = matrix(c(rep(1,n), x), ncol = 2)            # Designmatrix
beta    = matrix(c(beta_0, beta_1), ncol = 1)         # Regressionskoeffizienten
mu      = X %*% beta                                  # Erwartungswert Gewicht
Sigma   = sigma^2 * diag(n)                           # Kovarianzmatrixparameter
y       = as.matrix(mvrnorm(1, mu, Sigma))            # Daten generieren

# Parameter der gemeinsamen Verteilung von x und y
A       = beta_1
b       = beta_0
mu      = matrix(c(mu_x,                              # \mu \in \mathbb{R}^2
                   A*mu_x+b),
                 nrow = 2, byrow = TRUE)
Sigma   = matrix(c(sigma_x^2,   sigma_x^2*A,          # \Sigma \in \mathbb{R}^{2 x 2}
                   A*sigma_x^2, sigma^2 + A*sigma_x^2*A),
                 nrow = 2, byrow = TRUE)

# Abbildungsparameter
graphics.off()
library(latex2exp)
library(mvtnorm)
dev.new()
par(
    family      = "sans",
    mar         = c(3,3,1,1),
    pty         = "s",
    bty         = "l",
    lwd         = 1,
    las         = 1,
    mgp         = c(2,1,0),
    xaxs        = "i",
    yaxs        = "i",
    font.main   = 1,
    cex         = 1.5)

# Visualisierung
x_min       = 140
x_max       = 200
y_min       = 30
y_max       = 110
x_res       = 1e2
x_g         = seq(x_min, x_max, length.out = x_res)
y_g         = seq(y_min, y_max, length.out = x_res)
XY          = expand.grid(x_g,y_g)
p           = matrix(dmvnorm(as.matrix(XY), mu, Sigma), nrow = x_res)
contour(x_g, y_g, p,
    xlim    = c(x_min,x_max),
    ylim    = c(y_min,y_max),
    xlab    = "Körpergröße [cm]",
    ylab    = "Körpergewicht [kg]",
    nlevels = 5)
points(x, y,
    pch     = 21,
    col     = "white",
    bg      = "gray60",
    cex     = 1)

# export to pdf
dev.copy2pdf(
    file    = "Abbildungen/gemeinsame_beispiel.pdf",
    width   = 6,
    height  = 6)
```

\vspace{-2mm}
```{r, echo = F, out.width = "50%"}
knitr::include_graphics("Abbildungen/gemeinsame_beispiel.pdf")
```


<!-- Anhang: Selbstkontrollfragen -->
#

\large
\setstretch{2.5}
\vfill

Kontinuierliche Zufallsvektoren

Konstruktion und Definition

Transformationen

Sphärische Verteilungen

Marginale und bedingte Verteilungen

**Selbstkontrollfragen**

\vfill


<!-- Selbstkontrollfragen -->
# Selbstkontrollfragen

\footnotesize
\setstretch{2}

1. Geben Sie die Definitionen des Erwartungswerts und der Kovarianzmatrix eines Zufallsvektors wieder.
1. Was repräsentieren die Diagonalelemente der Kovarianzmatrix eines Zufallsvektors?
1. Was repräsentieren die Nichtdiagonalelemente der Kovarianzmatrix eines Zufallsvektors?
1. Geben Sie die Definition eines multivariat normalverteilten Zufallsvektors wieder.
1. Erläutern Sie die Definition eines multivariat normalverteilten Zufallsvektors.
1. Welche Werte haben der Erwartungswert und die Kovarianzmatrix eines normalverteilten Zufallsvektors?
1. Visualisieren Sie die WDF eines 2-dimensionalen normalverteilten Zufallsvektors mit den Parameterwerten
\begin{equation}
\mu := \begin{pmatrix} 10 \\ 15 \end{pmatrix} \mbox{ und } \Sigma := \begin{pmatrix} 3 & 1 \\ 1 & 2 \end{pmatrix} \; .
\end{equation}
1. Generieren Sie 100 Realisierungen aus dieser Verteilung und visualisieren Sie diese.
1. Geben Sie das Theorem zur linear-affinen Transformation multivariater Normalverteilungen wieder.
1. Geben Sie das Theorem zur invertierbaren linearen Transformation multivariater Normalverteilungen wieder.
1. Geben Sie das Theorem zu sphärischen Normalverteilungen wieder.
1. Erläutern Sie den Begriff des sphärischen Kovarianzmatrixparameters.
1. Skizzieren Sie den Beweis des Theorems zu sphärischen Normalverteilungen.


<!-- Beweise -->
# Anhang

\setstretch{2}
Beweise einiger in dieser Vorlesung nicht bewiesener Theoreme (englisch):

* [\textcolor{darkblue}{Erwartungswert eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-mean)

* [\textcolor{darkblue}{Kovarianzmatrix eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-cov)

* [\textcolor{darkblue}{Linear-affine Transformation eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-ltt)

* [\textcolor{darkblue}{Invertierbare lin. Transformation eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-ltt)

* [\textcolor{darkblue}{Äquivalenz unabhängiger univariater mit sphärischer multivariater Normalverteilung}](https://statproofbook.github.io/P/mvn-ind)

* [\textcolor{darkblue}{Marginale Verteilung einer multivariaten Normalverteilung}](https://statproofbook.github.io/P/mvn-marg)

* [\textcolor{darkblue}{Bedingte Verteilung einer multivariaten Normalverteilung}](https://statproofbook.github.io/P/mvn-cond)


<!-- Literatur -->
# Referenzen
