--- fontsize: 8pt format: beamer: include-in-header: ../ALM_Header.tex bibliography: ../ALM_Referenzen.bib --- # {.plain} \center ```{r, echo = F, out.width = "20%"} knitr::include_graphics("../OvGU_Logo.png") ``` \vspace{2mm} \huge Allgemeines Lineares Modell \vspace{6mm} \large BSc Psychologie, SoSe 2026 \vspace{5mm} Joram Soch # {.plain} \vfill \center \huge \textcolor{black}{(4) Normalverteilungen} \vfill # Überblick \small Die multivariate Normalverteilung ist zentraler Bestandteil des ALMs. Sie ist die multivariate Generalisierung der univariaten Normalverteilung. Die Motivation von Normalverteilungsannahmen liegt immer im Zentralen Grenzwertsatz: * \justifying Probabilistische Terme repräsentieren die Summation sehr vieler Prozesse, die durch die deterministischen Bestandteile eines Modell, also eine mechanistische wissenschaftliche Theorie, nicht erklärt werden. * Nach dem Zentralen Grenzwertsatz ist die Summe dieser Prozesse normalverteilt. Darüberhinaus hat die Normalverteilung günstige mathematische Eigenschaften, die auch in der Quantifizierung subjektiver Unsicherheit genutzt werden können. Zur Erarbeitung der Inhalte dieser Einheit bietet sich eine Wiederholdung von Zufallsvektoren an (vgl. Einheit (5) in \textit{Wahrscheinlichkeitstheorie und Frequentistische Inferenz}). # \large \setstretch{2.5} \vfill Kontinuierliche Zufallsvektoren Konstruktion und Definition Transformationen Sphärische Verteilungen Marginale und bedingte Verteilungen Selbstkontrollfragen \vfill # \large \setstretch{2.5} \vfill **Kontinuierliche Zufallsvektoren** Konstruktion und Definition Transformationen Sphärische Verteilungen Marginale und bedingte Verteilungen Selbstkontrollfragen \vfill # Kontinuierliche Zufallsvektoren \small \begin{definition}[Zufallsvektor] \justifying $(\Omega, \mathcal{A}, \mathbb{P})$ sei ein Wahrscheinlichkeitsraum und $(\mathcal{X},\mathcal{S})$ sei ein $n$-dimensionaler Messraum. Ein $n$-dimensionaler \textit{Zufallsvektor} ist definiert als eine Abbildung \begin{equation} \xi:\Omega \to \mathcal{X}, \omega \mapsto \xi(\omega) := \begin{pmatrix} \xi_1(\omega) \\ \vdots \\ \xi_n(\omega) \end{pmatrix} \end{equation} mit der \textit{Messbarkeitseigenschaft} \begin{equation} \{\omega \in \Omega|\xi(\omega) \in S \} \in \mathcal{A} \quad \mbox{für alle} \quad S \in \mathcal{S}. \end{equation} \end{definition} \vspace{-2mm} \footnotesize Bemerkungen \vspace{-2mm} * $\xi$ ist hier eine univariate, vektorwertige Abbildung. * Das Standardbeispiel für $(\mathcal{X},\mathcal{S})$ ist $(\mathbb{R}^n, \mathcal{B}(\mathbb{R}^n))$. * Wir verzichten auf eine explizite Einführung $n$-dimensionaler $\sigma$-Algebren wie $\mathcal{B}(\mathbb{R}^n)$. * Ohne Beweis halten wir fest, dass $\xi$ messbar ist, wenn die Funktionen $\xi_1,...,\xi_n$ messbar sind. * Die Komponentenfunktionen eines Zufallsvektors sind Zufallsvariablen. * Ein $n$-dimensionaler Zufallsvektor ist die Konkatenation von $n$ Zufallsvariablen. * Ein ein-dimensionaler Zufallsvektor ($n := 1$) ist eine Zufallsvariable. # Kontinuierliche Zufallsvektoren \vspace{2mm} \center ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/zufallsvektor.pdf") ``` # Kontinuierliche Zufallsvektoren \small \begin{definition}[Kontinuierlicher Zufallsvektor, Multivariate WDF] \justifying Ein Zufallsvektor $\xi$ heißt \textit{kontinuierlich}, wenn $\mathbb{R}^n$ der Ergebnisraum von $\xi$ ist und eine Funktion \begin{equation} p_\xi : \mathbb{R}^n \to \mathbb{R}_{\ge 0}, x \mapsto p_\xi(x), \end{equation} existiert, für die gilt \begin{itemize} \item[(1)] $\int_{\mathbb{R}^n} p_\xi(x) \, dx = 1$ und \item[(2)] $\mathbb{P}_\xi(x_1 \le \xi \le x_2) = \int_{x_{1_1}}^{x_{2_1}} \cdots \int_{x_{1_n}}^{x_{2_n}} p_\xi(s_1,...,s_n) \, ds_1 \cdots ds_n$. \end{itemize} Eine entsprechende Funktion $p$ heißt \textit{multivariate Wahrscheinlichkeitsdichtefunktion} (WDF) von $\xi$. \end{definition} Bemerkungen * Der Begriff der multivariaten WDF ist analog zum Begriff der WDF. * Man spricht häufig auch einfach von der *WDF eines Zufallsvektors*. * Wie univariate WDFen sind multivariate WDFen nicht-negativ und normiert. * Wie für kontinuierliche Zufallsvariablen gilt für kontinuierliche Zufallsvektoren: \begin{equation} \mathbb{P}_\xi(\xi = x) = \mathbb{P}_\xi(x \le \xi \le x) = \int_{x_1}^{x_1} \cdots \int_{x_n}^{x_n} p_\xi(s_1,...,s_n)\,ds_1 \cdots ds_n = 0 \; . \end{equation} # Kontinuierliche Zufallsvektoren \footnotesize \begin{definition}[Erwartungswert und Kovarianzmatrix von Zufallsvektoren] \justifying $\xi$ sei ein $n$-dimensionaler Zufallvektor. Dann ist der \textit{Erwartungwert} von $\xi$ definiert als der $n$-dimensionale Vektor \begin{equation} \mathbb{E}(\xi) := \begin{pmatrix} \mathbb{E}(\xi_1) \\ \vdots \\ \mathbb{E}(\xi_n) \end{pmatrix} \end{equation} und die \textit{Kovarianzmatrix} von $\xi$ ist definiert als die $n \times n$ Matrix \begin{equation} \mathbb{C}(\xi) := \mathbb{E}\left((\xi - \mathbb{E}(\xi))(\xi - \mathbb{E}(\xi))^\mathrm{T} \right) \end{equation} \end{definition} Bemerkungen * Der Erwartungswert von $\xi$ ist der Vektor der Erwartungswerte $\mathbb{E}(\xi_1), ..., \mathbb{E}(\xi_n)$. * Der Erwartungswert eines Zufallsvektors ist also *elementweise* definiert. * Die Kovarianzmatrix ist formal analog zur Kovarianz zweier Zufallsvariablen definiert. # Kontinuierliche Zufallsvektoren \footnotesize \begin{theorem}[Kovarianzmatrix eines Zufallsvektors] \justifying \normalfont $\xi$ sei ein $n$-dimensionaler Zufallvektor und $\mathbb{C}(\xi)$ sei seine Kovarianzmatrix. Dann gilt: \begin{equation} \mathbb{C}(\xi) = \left(\mathbb{C}(\xi_i,\xi_j)\right)_{1 \le i,j \le n} = \begin{pmatrix} \mathbb{C}(\xi_1,\xi_1) & \mathbb{C}(\xi_1,\xi_2) & \cdots & \mathbb{C}(\xi_1,\xi_n) \\ \mathbb{C}(\xi_2,\xi_1) & \mathbb{C}(\xi_2,\xi_2) & \cdots & \mathbb{C}(\xi_2,\xi_n) \\ \vdots & \vdots & \ddots & \vdots \\ \mathbb{C}(\xi_n,\xi_1) & \mathbb{C}(\xi_n,\xi_2) & \cdots & \mathbb{C}(\xi_n,\xi_n) \end{pmatrix}. \end{equation} \end{theorem} Bemerkung * Die Kovarianzmatrix $\mathbb{C}(\xi)$ ist also die Matrix der Kovarianzen der Komponenten von $\xi$. # Kontinuierliche Zufallsvektoren \vspace{1mm} \footnotesize \setstretch{1.5} \underline{Beweis} Es gilt \tiny \begin{align*} \mathbb{C}(\xi) & := \mathbb{E}\left((\xi - \mathbb{E}(\xi))(\xi - \mathbb{E}(\xi))^\mathrm{T} \right) \\ & = \mathbb{E} \left( \left( \begin{pmatrix} \xi_1 \\ \vdots \\ \xi_n \end{pmatrix} - \begin{pmatrix} \mathbb{E}(\xi_1) \\ \vdots \\ \mathbb{E}(\xi_n) \end{pmatrix} \right) \left( \begin{pmatrix} \xi_1 \\ \vdots \\ \xi_n \end{pmatrix} - \begin{pmatrix} \mathbb{E}(\xi_1) \\ \vdots \\ \mathbb{E}(\xi_n) \end{pmatrix} \right)^\mathrm{T} \right) \\ & = \mathbb{E} \left( \begin{pmatrix} \xi_1 - \mathbb{E}(\xi_1) \\ \vdots \\ \xi_n - \mathbb{E}(\xi_n) \end{pmatrix} \begin{pmatrix} \xi_1 - \mathbb{E}(\xi_1) \\ \vdots \\ \xi_n - \mathbb{E}(\xi_n) \end{pmatrix}^\mathrm{T} \right) \\ & = \mathbb{E} \left( \begin{pmatrix} \xi_1 - \mathbb{E}(\xi_1) \\ \vdots \\ \xi_n - \mathbb{E}(\xi_n) \end{pmatrix} \begin{pmatrix} \xi_1 - \mathbb{E}(\xi_1) & \dots & \xi_n - \mathbb{E}(\xi_n) \end{pmatrix} \right) \\ & = \mathbb{E} \begin{pmatrix} (\xi_1 - \mathbb{E}(\xi_1))(\xi_1 - \mathbb{E}(\xi_1)) & \dots & (\xi_1 - \mathbb{E}(\xi_1))(\xi_n - \mathbb{E}(\xi_n) \\ \vdots & \ddots & \vdots \\ (\xi_n - \mathbb{E}(\xi_n))(\xi_1 - \mathbb{E}(\xi_1)) & \dots & (\xi_n - \mathbb{E}(\xi_n))(\xi_n - \mathbb{E}(\xi_n)) \\ \end{pmatrix} \\ & = \left(\mathbb{E}\left((\xi_i - \mathbb{E}(\xi_i))(\xi_j - \mathbb{E}(\xi_j)) \right) \right)_{1 \le i,j \le n} \\ & = \left(\mathbb{C}(\xi_i,\xi_j)\right)_{1 \le i,j \le n} \end{align*} $\hfill\Box$ # \large \setstretch{2.5} \vfill Kontinuierliche Zufallsvektoren **Konstruktion und Definition** Transformationen Sphärische Verteilungen Marginale und bedingte Verteilungen Selbstkontrollfragen \vfill # Konstruktion und Definition \setstretch{1.5} \footnotesize \begin{definition}[Normalverteilte Zufallsvariable] \justifying $\xi$ sei eine Zufallsvariable mit Ergebnisraum $\mathbb{R}$ und WDF \begin{equation} p : \mathbb{R} \to \mathbb{R}_{>0}, x\mapsto p(x) := \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right). \end{equation} Dann sagen wir, dass $\xi$ einer \textit{Normalverteilung (oder \textit{Gauß-Verteilung}) mit Erwartungswertparameter $\mu \in \mathbb{R}$ und Varianzparameter $\sigma^2 > 0$} unterliegt und nennen $\xi$ eine \textit{normalverteilte Zufallsvariable}. Wir kürzen dies mit $\xi \sim N(\mu,\sigma^2)$ ab. Die WDF einer normalverteilten Zufallsvariable bezeichnen wir mit \begin{equation} N\left(x;\mu,\sigma^2\right) := \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(-\frac{1}{2\sigma^2}(x - \mu)^2\right). \end{equation} \end{definition} Bemerkungen * Es gelten $\mathbb{E}(\xi) = \mu$ und $\mathbb{V}(\xi) = \sigma^2$. * Der Parameter $\mu$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte. * Der Parameter $\sigma^2$ spezifiziert die Breite der WDF. * $\xi \sim N(0,1)$ heißt auch *standardnormalverteilt*. # Konstruktion und Definition \textcolor{darkblue}{Visualisierung univariater Normalverteilungsdichtefunktionen} \vspace{1cm} ```{r, echo = F, eval = F} # model formulation x_min = -10 # minimum x-value x_max = 10 # maximum x-value x_res = 1e3 # x space resolution x = seq(x_min, x_max, len = x_res) # values of x mu = c(0, -2.5, 3) # expectation parameters sigsqr = c(1, 10, 0.5) # variance parameters # plot specifications library(latex2exp) graphics.off() dev.new() # new figure theta = par( # figure parameters mfcol = c(1,length(mu)), # subplot grid family = "sans", # font family pty = "s", # square plots bty = "l", # plot box, o, l, 7, c, or ] lwd = 1, # line width las = 1, # 0: axis parallel, 1: horizontal, 2: axis perpendicular, 3: vertical mgp = c(2,1,0), # margin line in mex unit font.main = 1, # title font type cex.main = 1.4) # title magnification factor # parameter iterations for (i in 1:length(mu)){ # Gaussian PDFs plot(x, dnorm(x,mu[i],sqrt(sigsqr[i])), # x and y values type = "l", # line style lwd = 1.5, # line width col = "Black", # line color ylab = " ", # no y-axis label xlab = "x", # x-axis label ylim = c(0,0.6)) # y-axis limits title(sprintf("N(x; %g,%g)", mu[i], sigsqr[i])) # plot title: N(x; \mu, \sigma^2) } # export to pdf dev.copy2pdf( file = "Abbildungen/norm_wdf.pdf", # filename width = 7, # PDF width height = 3) # PDF height ``` ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/norm_wdf.pdf") ``` # Konstruktion und Definition \footnotesize \begin{theorem}[Konstruktion bivariater Normalverteilungen] \justifying \normalfont $\zeta_1 \sim N(0,1)$ und $\zeta_2 \sim N(0,1)$ seien zwei unabhängige standardnormalverteilte Zufallsvariablen. Weiterhin seien $\mu_1,\mu_2\in \mathbb{R}$, $\sigma_1,\sigma_2>0$ und $\rho \in ]-1,1[$. Schließlich seien \begin{align} \begin{split} \xi_1 & := \sigma_1\zeta_1 + \mu_1 \\ \xi_2 & := \sigma_2\left(\rho\zeta_1 + \sqrt{1 -\rho^2}\zeta_2\right) + \mu_2. \end{split} \end{align} Dann hat die WDF des Zufallsvektors $\xi := (\xi_1,\xi_2)^\mathrm{T}$, also der gemeinsamen Verteilung von $\xi_1$ und $\xi_2$, die Form \begin{equation} p : \mathbb{R}^2 \to \mathbb{R}_{>0},\, x \mapsto p(x) := \frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu)\right), \end{equation} wobei \begin{equation} n := 2, \quad \mu := \begin{pmatrix} \mu_1 \\ \mu_2 \end{pmatrix} \quad \mbox{und} \quad \Sigma := \begin{pmatrix} \sigma_1^2 & \rho\sigma_1\sigma_2 \\ \rho\sigma_2\sigma_1 & \sigma_2^2 \\ \end{pmatrix} \end{equation} \end{theorem} Bemerkungen * Für einen Beweis, siehe @degroot2012, S. 338-339. * Man nennt die gemeinsame Verteilung von $\xi_1$ und $\xi_2$ *bivariate Normalverteilung*. # Konstruktion und Definition \textcolor{darkblue}{Konstruktion bivariater Normalverteilungen} \vspace{2mm} \setstretch{1.0} \tiny ```{r, echo = T} # Parameterdefinitionen mu_1 = 5.0 # \mu_1 mu_2 = 4.0 # \mu_2 sig_1 = 1.5 # \sigma_1 sig_2 = 1.0 # \sigma_2 rho = 0.9 # \rho # Realisierungen der standardnormalverteilten ZVen nr = 100 # Anzahl Realisierungen zeta_1 = rnorm(nr) # \zeta_1 \sim N(0,1) zeta_2 = rnorm(nr) # \zeta_1 \sim N(0,1) # Evaluation von Realisierungen von \xi_1 und \xi_2 xi_1 = sig_1*zeta_1 + mu_1 # Realsierungen von zeta_1 xi_2 = sig_2*(rho*zeta_1 + sqrt(1-rho^2)*zeta_2) + mu_2 # Realsierungen von zeta_2 # Parameter der gemeinsamen Verteilung von \xi_1 und \xi_2 mu = matrix(c(mu_1, # \mu \in \mathbb{R}^2 mu_2), nrow = 2, byrow = TRUE) Sigma = matrix(c(sig_1^2, rho*sig_1*sig_2, # \Sigma \in \mathbb{R}^{2 x 2} rho*sig_1*sig_2, sig_2^2), nrow = 2, byrow = TRUE) print(mu) print(Sigma) ``` ```{r, echo = F, eval = F} # Abbildungsparameter graphics.off() library(latex2exp) library(mvtnorm) dev.new() par( family = "sans", mfcol = c(1,1), mar = c(3,3,1,1), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 0.7, cex.main = 1.2) # Visualisierung x_min = 0 x_max = 10 x_res = 1e3 x_1 = seq(x_min, x_max, length.out = x_res) x_2 = seq(x_min, x_max, length.out = x_res) X = expand.grid(x_1,x_2) p = matrix(dmvnorm(as.matrix(X), mu, Sigma), nrow = x_res) contour(x_1, x_2, p, xlim = c(1,9), # c(x_min,x_max), ylim = c(0,8), # c(x_min,x_max), xlab = TeX("$x_1$"), ylab = TeX("$x_2$"), nlevels = 5) points(xi_1, xi_2, pch = 21, col = "white", bg = "gray60", cex = 0.9) # export to pdf dev.copy2pdf( file = "Abbildungen/konstruktion.pdf", width = 3, height = 3) ``` # Konstruktion und Definition \vspace{2mm} \textcolor{darkblue}{Konstruktion bivariater Normalverteilungen} \center \small \textcolor{lightgray}{$\bullet$} Realisierungen $x = (x_1,x_2)^\mathrm{T}$ von $\xi = (\xi_1,\xi_2)^\mathrm{T}$ $-$ Isokonturen (Linien gleicher Wahrscheinlichkeitsdichte) von $p$ ```{r, echo = F, out.width = "50%"} knitr::include_graphics("Abbildungen/konstruktion.pdf") ``` [\textcolor{darkblue}{Animation zur Konstruktion}](C:\Users\Joram\OvGUcloud\Lehre\2026_SS\B2_ALM\04_Normalverteilungen\Abbildungen\konstruktion.gif) # Konstruktion und Definition \footnotesize \begin{definition}[Multivariate Normalverteilung] \justifying $\xi$ sei ein $n$-dimensionaler Zufallsvektor mit Ergebnisraum $\mathbb{R}^n$ und WDF \begin{equation} p : \mathbb{R}^n \to \mathbb{R}_{>0},\, x \mapsto p(x) := \frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu)\right). \end{equation} Dann sagen wird, dass $\xi$ einer \textit{multivariaten (oder $n$-dimensionalen) Normalverteilung} mit \textit{Erwartungswertparameter} $\mu \in \mathbb{R}^n$ und positiv-definitem \textit{Kovarianzmatrixparameter} $\Sigma \in \mathbb{R}^{n \times n}$ unterliegt und nennen $\xi$ einen \textit{(multivariat) normalverteilten Zufallsvektor}. Wir kürzen dies mit $\xi \sim N(\mu,\Sigma)$ ab. Die WDF eines multivariat normalverteilten Zufallsvektors bezeichnen wir mit \begin{equation} N(x;\mu,\Sigma):= \frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2} (x-\mu)^\mathrm{T} \Sigma^{-1} (x-\mu)\right). \end{equation} \end{definition} Bemerkungen * Der Parameter $\mu \in \mathbb{R}^n$ entspricht dem Wert höchster Wahrscheinlichkeitsdichte. * Die Diagonalelemente von $\Sigma$ spezifizieren die Breite der WDF bezüglich $\xi_1,...,\xi_n$. * Das $(i,j)$te Element von $\Sigma$ spezifiziert die Kovarianz on $\xi_i$ und $\xi_j$. * Der Term $1/\sqrt{(2\pi)^n |\Sigma|}$ ist die Normalisierungskonstante für den Exponentialfunktionsterm. # Konstruktion und Definition \vspace{1mm} \textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen} \vspace{1mm} \tiny \setstretch{1.2} ```{r, echo = T, eval = F} library(mvtnorm) # Tools für die multivariate Normalverteilung # Ergebnisraumdefintion x_min = 0 # x_i Minimum x_max = 2 # x_i Maximum x_res = 1e3 # x_i Auflösung x_1 = seq(x_min, x_max, length.out = x_res) # x_1 Raum x_2 = seq(x_min, x_max, length.out = x_res) # x_2 Raum X = expand.grid(x_1,x_2) # X = (x_1,x_2)^T Raum # Parameterdefinition mu = c(1,1) # \mu \in \mathbb{R}^2 S = list(matrix(c(0.2, 0.15, 0.15, 0.2), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(0.2, 0.00, 0.00, 0.2), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(0.2, -0.15, -0.15, 0.2), 2)) # \Sigma in \mathbb{R}^{2 \times 2} # Schleife über Kovarianzmatrixparametervarianten for (Sigma in S){ # Berechnung der Wahrscheinlichkeitsdichtefunktion p = matrix(dmvnorm(as.matrix(X), mu, Sigma), # Matrixkonversion des von nrow = x_res) # dmvnorm() ausgegebenen Vektors # Visualisierung der Wahrscheinlichkeitsdichtefunktion contour(x_1, x_2, p, xlim = c(x_min,x_max), ylim = c(x_min,x_max), nlevels = 5) } ``` ```{r, echo = F, eval = F} library(mvtnorm) # Tools für die multivariate Normalverteilung # Abbildungsparameter graphics.off() library(latex2exp) dev.new() par( family = "sans", mfcol = c(1,3), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 0.7, cex.main = 1.2) # Ergebnisraumdefintion x_min = 0 # x_i Minimum x_max = 2 # x_i Maximum x_res = 1e3 # x_i Auflösung x_1 = seq(x_min, x_max, length.out = x_res) # x_1 Raum x_2 = seq(x_min, x_max, length.out = x_res) # x_2 Raum X = expand.grid(x_1,x_2) # X = (x_1,x_2)^T Raum # Parameterdefinition mu = c(1,1) # \mu \in \mathbb{R}^2 S = list(matrix(c(0.2, 0.15, 0.15, 0.2), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(0.2, 0.00, 0.00, 0.2), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(0.2, -0.15, -0.15, 0.2), 2)) # \Sigma in \mathbb{R}^{2 \times 2} L = list(expression(bgroup("(", atop("0.20 0.15", " 0.15 0.20"), ")")), expression(bgroup("(", atop("0.20 0.00", " 0.00 0.20"), ")")), expression(bgroup("(", atop("0.20 -0.15", "-0.15 0.20"), ")"))) # Schleife über Kovarianzmatrixparametervarianten i = 1 for (Sigma in S){ # Berechnung der Wahrscheinlichkeitsdichtefunktion p = matrix(dmvnorm(as.matrix(X), mu, Sigma), # Matrixkonversion des von nrow = x_res) # dmvnorm() ausgegebenen Vektors # Visualisierung der Wahrscheinlichkeitsdichtefunktion contour(x_1, x_2, p, xlim = c(x_min,x_max), ylim = c(x_min,x_max), xlab = TeX("$x_1$"), ylab = TeX("$x_2$"), nlevels = 5) text(1, 2.2, L[[i]], xpd = TRUE) i = i + 1 } # export to pdf dev.copy2pdf( file = "Abbildungen/mvn_wdf.pdf", # filename width = 8, # PDF width height = 4) # PDF height ``` # Konstruktion und Definition \textcolor{darkblue}{Visualisierung bivariater Normalverteilungsdichtefunktionen} \vspace{2mm} \center \small $\mu = (1,1)^\mathrm{T}, \; \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt. \vspace{1mm} ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/mvn_wdf.pdf") ``` # Konstruktion und Definition \textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren} \vspace{4mm} \footnotesize ```{r, echo = T} library(mvtnorm) # Tools für die multivariate Normalverteilung # Parameterdefinition mu = c(1,1) # \mu \in \mathbb{R}^2 Sigma = matrix(c(0.2, 0.15, 0.15, 0.2), 2) # \Sigma in \mathbb{R}^{2 \times 2} # Realisierungen des Zufallsvektors t(rmvnorm(n = 10, mu, Sigma)) # multivariate Zufallsvektoren ``` # Konstruktion und Definition \textcolor{darkblue}{Realisierung bivariater normalverteilter Zufallsvektoren} \vspace{2mm} \center \small $\mu = (1,1)^\mathrm{T}, \; \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt ($n = 200$). \vspace{1mm} ```{r, echo = F, eval = F} library(mvtnorm) # Tools für die multivariate Normalverteilung # Abbildungsparameter library(latex2exp) graphics.off() dev.new() par( family = "sans", mfcol = c(1,3), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 0.7, cex.main = 1.2) # Parameterdefinition mu = c(1,1) # \mu \in \mathbb{R}^2 S = list(matrix(c(0.2, 0.15, 0.15, 0.2), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(0.2, 0.00, 0.00, 0.2), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(0.2, -0.15, -0.15, 0.2), 2)) # \Sigma in \mathbb{R}^{2 \times 2} L = list(expression(bgroup("(", atop("0.20 0.15", " 0.15 0.20"), ")")), expression(bgroup("(", atop("0.20 0.00", " 0.00 0.20"), ")")), expression(bgroup("(", atop("0.20 -0.15", "-0.15 0.20"), ")"))) # Schleife über Kovarianzmatrixparametervarianten i = 1 for (Sigma in S){ # Realisierungen des Zufallsvektors samples = rmvnorm(n = 200, mu, Sigma) # Visualisierung der Realisierungen plot(samples, xlim = c(0,2), ylim = c(0,2), xlab = TeX("$x_1$"), ylab = TeX("$x_2$"), pch = 21, col = "white", bg = "gray60", cex = 1.5) text(1, 2.2, L[[i]], xpd = TRUE) i = i + 1 } # export to pdf dev.copy2pdf( file = "Abbildungen/mvn_zufall.pdf", # filename width = 8, # PDF width height = 4) # PDF height ``` ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/mvn_zufall.pdf") ``` # Konstruktion und Definition \footnotesize \begin{theorem}[Erwartungswert und Kovarianzmatrix] \justifying \normalfont $\xi\sim N(\mu,\Sigma)$ sei ein multivariate normalverteilter Zufallsvektor mit Erwartungswertparameter $\mu \in \mathbb{R}^n$ und Kovarianzmatrixparameter $\Sigma \in \mathbb{R}^{n \times n} \mbox{ p.d. }$. Dann gelten für den Erwartungswert und die Kovarianzmatrix von $\xi$, dass \begin{equation} \mathbb{E}(\xi) = \mu \quad \mbox{und} \quad \mathbb{C}(\xi) = \Sigma \; . \end{equation} \end{theorem} Bemerkungen * Wir verzichten auf einen Beweis. Verweise befinden sich im Anhang. * Das Theorem ist die direkte Generalisierung der Eigenschaften univariater normalverteilter Zufallsvariablen # \large \setstretch{2.5} \vfill Kontinuierliche Zufallsvektoren Konstruktion und Definition **Transformationen** Sphärische Verteilungen Marginale und bedingte Verteilungen Selbstkontrollfragen \vfill # Transformationen \small \begin{theorem}[Linear-affine Transformation] \justifying \normalfont $\xi \sim N(\mu,\Sigma)$ sei ein normalverteilter $n$-dimensionaler Zufallsvektor und es sei $\upsilon := A\xi + b$ mit $A \in \mathbb{R}^{m \times n}$ und $b \in \mathbb{R}^m$. Dann gilt \begin{equation} \upsilon \sim N\left(A\mu + b, A\Sigma A^\mathrm{T}\right) \end{equation} \end{theorem} \footnotesize Bemerkung * \justifying Für einen Beweis, siehe @anderson2003, Abschnitt 2.4 oder die Verweise im Anhang. * Die linear-affine Transformation eines multivariat normalverteilten Zuallsvektors ergibt wieder einen multivariat normalverteilten Zufallsvektor. Die Parameter des resultierenden normalverteilten Zufallsvektors ergeben sich dabei aus den Parametern des ursprünglichen Zufallsvektors und den Transformationsparametern. # Transformationen \textcolor{darkblue}{Linear-affine Transformation} \vspace{2mm} \center \footnotesize $n := 2, \; \mu := \begin{pmatrix} 1 \\ 1 \end{pmatrix}, \; \Sigma := \begin{pmatrix} 0.20 & 0.15 \\ 0.15 & 0.20 \end{pmatrix}, \; A := \begin{pmatrix*}[r] -2 & 1 \\ -1 & 2 \end{pmatrix*}, \; b := \begin{pmatrix} 1 \\ -1 \end{pmatrix}$ \vspace{2mm} ```{r, echo = F, eval = F} # R-Paket für multivariate Normalverteilungen library(mvtnorm) # Abbildungsparameter graphics.off() dev.new() par( family = "sans", mfcol = c(1,2), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 1) # x-Modell x_min = -3 # x_i Minimum x_max = 3 # x_i Maximum x_res = 1e3 # x_i Auflösung x_1 = seq(x_min, x_max, length.out = x_res) # x_1 Raum x_2 = seq(x_min, x_max, length.out = x_res) # x_2 Raum x = expand.grid(x_1,x_2) # x = (x_1,x_2)^T Raum mu = c(1,1) # \mu \in \mathbb{R}^2 Sigma = matrix(c(0.2, 0.15, 0.15, 0.2), 2) # \Sigma in \mathbb{R}^{2 \times 2} px = matrix(dmvnorm(as.matrix(x), mu, Sigma), nrow = x_res) # x \sim N(\mu,\Sigma) xi = rmvnorm(n = 50, mu, Sigma) # Realisierungen contour(x_1, x_2, px, xlim = c(x_min,x_max), ylim = c(x_min,x_max), xlab = TeX("$x_1$"), ylab = TeX("$x_2$"), levels = c(0.9,0.7,0.5,0.3,0.1), main = TeX("$\\xi \\sim N(\\mu,\\Sigma)$")) points(xi, pch = 21, col = "white", bg = "gray60", cex = 1) # y-Modell A = matrix(c(-2,1,-1,2), nrow = 2, byrow = TRUE) # Transformationsmatrix b = c(1,-1) # Transformationsvektor y_min = -3 # y_i Minimum y_max = 3 # y_i Maximum y_res = 1e3 # y_i Auflösung y_1 = seq(y_min, y_max, length.out = y_res) # y_1 Raum y_2 = seq(y_min, y_max, length.out = y_res) # y_2 Raum y = expand.grid(y_1,y_2) # y = (y_1,y_2)^T Raum py = matrix(dmvnorm(as.matrix(y), A%*%mu+b, A%*%Sigma%*%t(A)), nrow = y_res) # y \sim N(A\mu+b, A\Sigma A^T) ups = t(A %*% t(xi) + replicate(dim(xi)[1],b)) # Realisierungen contour(y_1, y_2, py, xlim = c(y_min,y_max), ylim = c(y_min,y_max), xlab = TeX("$y_1$"), ylab = TeX("$y_2$"), levels = c(0.9,0.7,0.5,0.3,0.1), main = TeX("$\\upsilon \\sim N(A\\mu+b,A\\Sigma A^T)$")) points(ups, pch = 21, col = "white", bg = "gray60", cex = 1) dev.copy2pdf( file = "Abbildungen/mvn_transformation.pdf", width = 8, height = 4) ``` ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/mvn_transformation.pdf") ``` # Transformationen \small \begin{theorem}[Invertierbare lineare Transformation] \justifying \normalfont $\xi \sim N(\mu,\Sigma)$ sei ein normalverteilter $n$-dimensionaler Zufallsvektor und es sei $\upsilon := A\xi$ mit einer invertierbaren Matrix $A \in \mathbb{R}^{n \times n}$. Dann gilt \begin{equation} \upsilon \sim N\left(A\mu,A\Sigma A^\mathrm{T}\right) \end{equation} \end{theorem} \footnotesize Bemerkung * Es handelt sich hierbei um einen Spezialfall der linear-affinen Transformation mit $A \in \mathbb{R}^{n \times n}$ und $b = 0_n$. * Die invertierbare lineare Transformation eines multivariat normalverteilten Zuallsvektors ergibt wieder einen multivariat normalverteilten Zufallsvektor. Die Parameter des resultierenden normalverteilten Zufallsvektors ergeben sich dabei aus den Parametern des ursprünglichen Zufallsvektors und der Transformationsmatrix. # \large \setstretch{2.5} \vfill Kontinuierliche Zufallsvektoren Konstruktion und Definition Transformationen **Sphärische Verteilungen** Marginale und bedingte Verteilungen Selbstkontrollfragen \vfill # Sphärische Verteilungen \footnotesize \begin{theorem}[Sphärische multivariate Normalverteilung] \justifying \normalfont Für $i = 1,...,n$ seien $N(x_i;\mu_i,\sigma^2)$ die WDFen von $n$ unabhängigen univariaten normalverteilten Zufallsvariablen $\xi_1,...,\xi_n$ mit $\mu_1,...,\mu_n \in \mathbb{R}$ und $\sigma^2 > 0$. Weiterhin sei $N(x;\mu,\sigma^2I_n)$ die WDF eines $n$-dimensionalen Zufallsvektors $\xi$ mit Erwartungswertparameter $\mu := (\mu_1,...,\mu_n)^\mathrm{T} \in \mathbb{R}^n$. Dann gilt \begin{equation} p_\xi(x) = p_{\xi_1,...,\xi_n}(x_1,...,x_n) = \prod_{i=1}^n p_{\xi_i}(x_i) \end{equation} und damit im vorliegenden Fall normalverteilter Zufallsvariablen \begin{equation} N\left(x; \mu,\sigma^2I_n\right) = \prod_{i=1}^n N\left(x_i;\mu_i,\sigma^2\right). \end{equation} \end{theorem} Bemerkungen * \justifying Das Theorem ist für die Theories des Allgemeinen Linearen Modells zentral. * Die Zufallsvariablen $\xi_i$ sind unabhängig, aber nicht notwendigerweise identisch verteilt. * Einen Kovarianzmatrixparameter der Form $\Sigma = \sigma^2 I_n$ nennt man auch *sphärisch*; eine multivariate Normalverteilung mit spährischem Kovarianzmatrixparameter nennt man auch *sphärische Normalverteilung*. * Sphärische $n$-variate Normalverteilungen entsprechen $n$ unabhängigen univariaten Normalverteilungen und umgekehrt; eine Realisierung einer $n$-variaten sphärischen Normalverteilung entspricht $n$ Realisierungen von unabhängigen univariaten Normalverteilungen. # Sphärische Verteilungen \small \setstretch{1.5} \underline{Beweis} Wir zeigen die Identität der multivariaten WDF $N(x;\mu,\sigma^2 I_n)$ mit dem Produkt von $n$ univariaten WDFen $N(x_i;\mu_i,\sigma^2 I_n)$, wobei $\mu_i$ der $i$te Eintrag von $\mu \in \mathbb{R}^n$ ist. Es ergibt sich \begin{align} \begin{split} N\left(x;\mu,\sigma^2 I_{n} \right) & = \frac{1}{\sqrt{(2\pi)^n \left|\sigma^2 I_n \right|}} \exp\left(-\frac{1}{2}(x-\mu)^\mathrm{T} (\sigma^2 I_n)^{-1} (x-\mu)\right) \\ & = \left(\prod_{i=1}^n \frac{1}{\sqrt{2\pi}} \right) \frac{1}{\sqrt{(\sigma^2)^n}} \exp\left(-\frac{1}{2\sigma^2}(x-\mu)^\mathrm{T} (x-\mu)\right) \\ & = \left(\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \right) \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu_i)^2\right) \\ & = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \prod_{i=1}^n \exp\left(-\frac{1}{2\sigma^2} (x_i - \mu_i)^2\right) \\ & = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{1}{2\sigma^2} (x_i - \mu_i)^2\right) \\ & = \prod_{i=1}^n N\left(x_i; \mu_i,\sigma^2\right). \end{split} \end{align} $\hfill\Box$ # Sphärische Verteilungen \textcolor{darkblue}{Beispiele für sphärische/nicht-sphärische Verteilungen} \vspace{1mm} \center \small $\mu = (0,0)^\mathrm{T}, \; \Sigma \in \mathbb{R}^{2 \times 2}$ wie im Abbildungstitel vermerkt. ```{r, echo = F, eval = F} library(mvtnorm) # multivariate Normalverteilung library(latex2exp) # LaTeX-Formeln # Abbildungsparameter graphics.off() dev.new() par( family = "sans", mfrow = c(2,2), mar = c(3,3,2,2), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 3, cex = 1, cex.main = 1.5) # Ergebnisraumdefintion x_min = -2 # x_i Minimum x_max = +2 # x_i Maximum x_res = 1e2 # x_i Auflösung x_1 = seq(x_min, x_max, length.out = x_res) # x_1 Raum x_2 = seq(x_min, x_max, length.out = x_res) # x_2 Raum X = expand.grid(x_1,x_2) # X = (x_1,x_2)^T Raum # Parameterdefinition mu = c(0,0) # \mu \in \mathbb{R}^2 S = list(matrix(c(0.5, 0.0, 0.0, 0.5), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(0.5, 0.3, 0.3, 0.5), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(1.0, 0.0, 0.0, 1.0), 2), # \Sigma in \mathbb{R}^{2 \times 2} matrix(c(1.0, 0.0, 0.0, 0.5), 2)) # \Sigma in \mathbb{R}^{2 \times 2} L = list(expression(bgroup("(", atop("0.5 0 ", " 0 0.5"), ")")), expression(bgroup("(", atop("0.5 0.3", "0.3 0.5"), ")")), expression(bgroup("(", atop(" 1 0 ", " 0 1 "), ")")), expression(bgroup("(", atop(" 1 0 ", " 0 0.5"), ")"))) # Schleife über Kovarianzmatrixparametervarianten i = 1 for (Sigma in S){ # Berechnung der Wahrscheinlichkeitsdichtefunktion p = matrix(dmvnorm(as.matrix(X), mu, Sigma), # Matrixkonversion des von nrow = x_res) # dmvnorm() ausgegebenen Vektors # Visualisierung der Wahrscheinlichkeitsdichtefunktion contour(x_1, x_2, p, xlim = c(x_min,x_max), ylim = c(x_min,x_max), xlab = TeX("$x_1$"), ylab = TeX("$x_2$"), nlevels = 5) text(0, 2.2, L[[i]], xpd = TRUE) i = i + 1 } # export to pdf dev.copy2pdf( file = "Abbildungen/mvn_sphaerisch.pdf", # filename width = 8, # PDF width height = 8) # PDF height ``` \vspace{2mm} ```{r, echo = F, out.width = "60%"} knitr::include_graphics("Abbildungen/mvn_sphaerisch.pdf") ``` # \large \setstretch{2.5} \vfill Kontinuierliche Zufallsvektoren Konstruktion und Definition Transformationen Sphärische Verteilungen **Marginale und bedingte Verteilungen** Selbstkontrollfragen \vfill # Marginale und bedingte Verteilungen \small Multivariate Normalverteilungen haben die Eigenschaft, dass auch alle anderen assoziierten Verteilungen Normalverteilungen sind, deren Erwartungswert- und Kovarianzmatrixparameter aus den Parametern der jeweils komplementären Verteilung errechnet werden können. Insbesondere gelten: (1) \justifying Die uni- und multivariaten Marginalverteiltungen multivariater Normalverteilungen sind Normalverteilungen. (2) Die uni- und multivariaten bedingten Verteiltungen multivariater Normalverteilungen sind Normalverteilungen. (3) Wie alle gemeinsamen Verteilungen lassen sich multivariate Normalverteilungen multiplikativ in eine marginale und eine bedingte Verteilung zerlegen. Diese sind bei multivariaten Normalverteilungen auch Normalverteilungen, deren Parameter aus den Parametern der gemeinsamen Verteilung errechnet werden können und umgekehrt. Die Resultate dieses Abschnitts sind insbesondere für generalisierte ALMs zentral, bspw. Linear Mixed Models bzw. Hierarchische Normalverteilungsmodelle, die Varianzkomponentenschätzung und die Bayesianische Inferenz bei Normalverteilungsannahmen, inklusive z.B. Kalman-Bucy-Filtering. Sie spielen aber auch im Rahmen der partiellen Korrelation bei ALMs eine Rolle (siehe Einheit (13) in *Allgemeines Lineares Modell*). # Marginale und bedingte Verteilungen \footnotesize \begin{theorem}[Marginale Normalverteilungen] \justifying \normalfont $\zeta := \begin{pmatrix} \xi \\ \ups \end{pmatrix}$ mit $\xi := (\xi_1,\ldots,\xi_m)^\mathrm{T}$ und $\ups := (\ups_1,...,\ups_n)^\mathrm{T}$ sei ein $(m+n)$-dimensionaler normalverteilter Zufallsvektor mit Erwartungswertparameter \begin{equation} \mu = \begin{pmatrix} \mu_\xi \\ \mu_\ups \end{pmatrix} \in \mathbb{R}^{m+n}, \end{equation} wobei $\mu_\xi \in \mathbb{R}^m$ und $\mu_\ups \in \mathbb{R}^n$, und Kovarianzmatrixparameter \begin{equation} \Sigma = \begin{pmatrix} \Sigma_{\xi\xi} & \Sigma_{\xi\ups} \\ \Sigma_{\ups\xi} & \Sigma_{\ups\ups} \end{pmatrix} \in \mathbb{R}^{(m+n) \times (m+n)}, \end{equation} wobei $\Sigma_{\xi\xi} \in \mathbb{R}^{m \times m}$, $\Sigma_{\xi\ups} \in \mathbb{R}^{m \times n}$, $\Sigma_{\ups\xi} \in \mathbb{R}^{n \times m}$ und $\Sigma_{\ups\ups} \in \mathbb{R}^{n \times n}$. Dann sind $\xi \in \mathbb{R}^m$ und $\ups \in \mathbb{R}^n$ normalverteilte Zufallsvektoren und es gilt: \begin{equation} \xi \sim N(\mu_\xi, \Sigma_{\xi\xi}) \quad \mbox{und} \quad \ups \sim N(\mu_\ups, \Sigma_{\ups\ups}). \end{equation} \end{theorem} Bemerkungen * Die Marginalverteilungen einer multivariaten Normalverteilung sind auch Normalverteilungen. * Die Parameter der Marginalverteilungen ergeben sich aus den Parametern der gemeinsamen Verteilung. * Für Beweise, siehe z.B. @mardia1979, Kapitel 3 oder @anderson2003, Kapitel 2. # Marginale und bedingte Verteilungen \textcolor{darkblue}{Marginale Normalverteilungen} \vspace{2mm} \small \center $m := 1$, $n := 1$, $\mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}$, $\Sigma := \begin{pmatrix} 0.10 & 0.08 \\ 0.08 & 0.15 \end{pmatrix}$ ```{r, echo = F, eval = F} # R-Pakete laden library(mvtnorm) library(latex2exp) # Abbildungsparameter graphics.off() dev.new() par( family = "sans", mfcol = c(1,3), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 0.7, cex.main = 1.2) # Ergebnisraumdefintion x_min = 0 # x_i Minimum x_max = 3 # x_i Maxim x_res = 1e3 # x_i Auflösung x_1 = seq(x_min, x_max, length.out = x_res) # x_1 Raum x_2 = seq(x_min, x_max, length.out = x_res) # x_2 Raum X = expand.grid(x_1,x_2) # X = (x_1,x_2)^T Raum # Parameterdefinition mu = c(1,2) # \mu \in \mathbb{R}^2 Sigma = matrix(c(0.10, 0.08, # \Sigma in \mathbb{R}^{2 \times 2} 0.08, 0.15), nrow = 2, byrow = TRUE) # Visualisierung der gemeinsamen Verteilung p = matrix(dmvnorm(as.matrix(X), mu, Sigma), # Matrixkonversion des von nrow = x_res) # dmvnorm() ausgegebenen Vektors contour(x_1, x_2, p, xlim = c(x_min,x_max), ylim = c(x_min,x_max), xlab = TeX("$x$"), ylab = TeX("$y$"), main = TeX("$N(z; \\, \\mu, \\Sigma)$"), nlevels = 10) # Visualisierung der Marginalverteilungen p_marg = list(dnorm(x_1, mu[1], Sigma[1,1]), dnorm(x_1, mu[2], Sigma[2,2])) l_marg = c(TeX("$x$"), TeX("$y$")) L_marg = c(TeX("$N(x; \\, \\mu_\\xi, \\Sigma_{\\xi\\xi})$"), TeX("$N(y; \\, \\mu_\\upsilon, \\Sigma_{\\upsilon\\upsilon})$")) for (i in 1:length(p_marg)) { plot(x_1, p_marg[[i]], type = "l", xlab = l_marg[[i]], ylim = c(0,5), ylab = "", main = L_marg[[i]]) } # PDF-Speicherung dev.copy2pdf( file = "Abbildungen/mvn_verteilung_marginal.pdf", width = 8, height = 4) ``` \vspace{-2mm} ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/mvn_verteilung_marginal.pdf") ``` # Marginale und bedingte Verteilungen \vspace{1mm} \footnotesize \begin{theorem}[Bedingte Normalverteilungen] \justifying \normalfont $\zeta := \begin{pmatrix} \xi \\ \ups \end{pmatrix}$ mit $\xi := (\xi_1,\ldots,\xi_m)^\mathrm{T}$ und $\ups := (\ups_1,...,\ups_n)^\mathrm{T}$ sei ein $(m+n)$-dimensionaler normalverteilter Zufallsvektor mit Erwartungswert- und Kovarianznmatrixparameter \begin{equation} \mu = \begin{pmatrix} \mu_\xi \\ \mu_\ups \end{pmatrix} \quad \mbox{und} \quad \Sigma = \begin{pmatrix} \Sigma_{\xi\xi} & \Sigma_{\xi\ups} \\ \Sigma_{\ups\xi} & \Sigma_{\ups\ups} \end{pmatrix}, \end{equation} wobei $\mu_\xi \in \mathbb{R}^m$, $\mu_\ups \in \mathbb{R}^n$ und $\Sigma_{\xi\xi} \in \mathbb{R}^{m \times m}$, $\Sigma_{\xi\ups} \in \mathbb{R}^{m \times n}$, $\Sigma_{\ups\xi} \in \mathbb{R}^{n \times m}$ $\Sigma_{\ups\ups} \in \mathbb{R}^{n \times n}$. Dann ist die bedingte Verteilung von $\xi$ gegeben $\ups$ eine $m$-dimensionale Normalverteilung \begin{equation} \xi|\ups \sim N(\mu_{\xi|\ups}, \Sigma_{\xi|\ups}) \end{equation} mit Erwartungswertparameter \begin{equation} \mu_{\xi|\ups} = \mu_\xi + \Sigma_{\xi\ups} \Sigma_{\ups\ups}^{-1} (y-\mu_\ups) \in \mathbb{R}^m \end{equation} und Kovarianzmatrixparameter \begin{equation} \Sigma_{\xi|\ups} = \Sigma_{\xi\xi} - \Sigma_{\xi\ups} \Sigma_{\ups\ups}^{-1} \Sigma_{\ups\xi} \in \mathbb{R}^{m \times m}. \end{equation} \end{theorem} Bemerkungen * Die Parameter einer bedingten (multivariaten) Normalverteilung ergeben sich aus den Parametern einer gemeinsamen multivariaten Normalverteilung. Im Zusammenspiel mit den vorherigen Theoremen können die Parameter bedingter und marginale Normalverteilungen aus den Parametern der komplementären bedingten und marginalen Normalverteilungen bestimmt werden. # Marginale und bedingte Verteilungen \textcolor{darkblue}{Bedingte Normalverteilungen} \vspace{2mm} \small \center $m := 1$, $n := 1$, $\mu := \begin{pmatrix} 1 \\ 2 \end{pmatrix}$, $\Sigma := \begin{pmatrix} 0.12 & 0.09 \\ 0.09 & 0.12 \end{pmatrix}$ ```{r, echo = F, eval = F} # R-Pakete laden library(mvtnorm) library(latex2exp) # Abbildungsparameter graphics.off() dev.new() par( family = "sans", mfcol = c(1,3), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 0.7, cex.main = 1.2) # Ergebnisraumdefintion x_min = 0 # x_i Minimum x_max = 4 # x_i Maxim x_res = 1e3 # x_i Auflösung x = seq(x_min, x_max, length.out = x_res) # x Raum y = seq(x_min, x_max, length.out = x_res) # y Raum X = expand.grid(x,y) # (x,y)^T Raum # Parameterdefinition mu = c(1,2) # \mu \in \mathbb{R}^2 Sigma = matrix(c(0.12, 0.09, # \Sigma in \mathbb{R}^{2 \times 2} 0.09, 0.12), nrow = 2, byrow = TRUE) # Visualisierung der gemeinsamen Verteilung p = matrix(dmvnorm(as.matrix(X), mu, Sigma), # Matrixkonversion des von nrow = x_res) # dmvnorm() ausgegebenen Vektors contour(x, y, p, xlim = c(x_min,x_max), ylim = c(x_min,x_max), xlab = TeX("$x$"), ylab = TeX("$y$"), main = TeX("$p(x,y) = N((x,y)^T; \\, \\mu_{\\xi,\\upsilon}, \\Sigma_{\\xi,\\upsilon})$"), levels = c(0.1, 0.3, 0.6, 1, 1.5, 2.0)) abline(1.5, 0) abline(2.8, 0) text(3.5, 1, TeX("$y = 1.5$")) text(3.5, 3, TeX("$y = 2.8$")) # Visualsierung der bedingten Verteilungen y_marg = c(1.5, 2.8) for (i in 1:length(y_marg)) { plot(x, dnorm(x, mu[1] + Sigma[1,2]*(1/Sigma[2,2])*(y_marg[i] - mu[2]), sqrt(Sigma[1,1] - Sigma[1,2]*(1/Sigma[2,2])*Sigma[2,1])), type = "l", xlim = c(x_min,x_max), ylim = c(0,2), xlab = TeX("$x$"), ylab = "", main = TeX("$p(x|y) = N(x; \\, \\mu_{\\xi|\\upsilon}, \\Sigma_{\\xi|\\upsilon})$")) if (y_marg[i] == 1.5) { text(3.5, 1.8, TeX("$y = 1.5$")) } if (y_marg[i] == 2.8) { text(3.5, 1.8, TeX("$y = 2.8$")) } } # PDF-Speicherung dev.copy2pdf( file = "Abbildungen/mvn_verteilung_bedingt.pdf", width = 8, height = 4) ``` \vspace{-2mm} ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/mvn_verteilung_bedingt.pdf") ``` # Marginale und bedingte Verteilungen \footnotesize \begin{theorem}[Gemeinsame Normalverteilungen] \justifying \normalfont $\xi := (\xi_1,\ldots,\xi_m)^\mathrm{T}$ sei ein $m$-dimensionaler normalverteilter Zufallsvektor \begin{equation} \xi \sim N(\mu_\xi, \Sigma_{\xi\xi}) \quad \mbox{mit} \quad \mu_\xi \in \mathbb{R}^m \quad \mbox{und} \quad \Sigma_{\xi\xi} \in \mathbb{R}^{m \times m} \end{equation} und $\ups := (\ups_1,...,\ups_n)^\mathrm{T}$ sei ein $n$-dimensionaler bedingt normalverteilter Zufallsvektor \begin{equation} \ups|\xi \sim N(A\xi+b, \Sigma_{\ups\ups}) \quad \mbox{mit} \quad \Sigma_{\ups\ups} \in \mathbb{R}^{n \times n} \quad \mbox{sowie} \quad A \in \mathbb{R}^{n \times m} \quad \mbox{und} \quad b \in \mathbb{R}^n. \end{equation} Dann ist der $(m+n)$-dimensionale Zufallsvektor $\zeta := \begin{pmatrix} \xi \\ \ups \end{pmatrix}$ gemeinsam normalverteilt \begin{equation} \zeta \sim N(\mu_{\xi,\ups}, \Sigma_{\xi,\ups}) \end{equation} mit Erwartungswertparameter \begin{equation} \mu_{\xi,\ups} = \begin{pmatrix} \mu_\xi \\ A\mu_\xi + b \end{pmatrix} \in \mathbb{R}^{m+n} \end{equation} und Kovarianzmatrixparameter \begin{equation} \Sigma_{\xi,\ups} = \begin{pmatrix} \Sigma_{\xi\xi} & \Sigma_{\xi\xi} A^\mathrm{T} \\ A \Sigma_{\xi\xi} & \Sigma_{\ups\ups} + A \Sigma_{\xi\xi} A^\mathrm{T} \end{pmatrix} \in \mathbb{R}^{(m+n) \times (m+n)}. \end{equation} \end{theorem} \vspace{-2mm} Bemerkungen \vspace{-2mm} * Eine marginale und eine bedingte multivariate Normalverteilung induzieren eine gemeinsame Normalverteilung. * Die Parameter der gemeinsamen Verteilungen ergeben sich als linear-affine Transformation der Parameter der induzierenden Verteilungen. # Marginale und bedingte Verteilungen \textcolor{darkblue}{Gemeinsame Normalverteilungen} \vspace{2mm} \small \center $m := 1$, $n := 1$, $\mu_\xi := 1$, $\Sigma_{\xi\xi} := 0.2$, $A := 1$, $b := 1$, $\Sigma_{\ups\ups} := 0.1$ ```{r, echo = F, eval = F} # R-Pakete laden library(mvtnorm) library(latex2exp) # Abbildungsparameter graphics.off() dev.new() par( family = "sans", mfcol = c(1,3), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 0.7, cex.main = 1.2) # Ergebnisraumdefintion x_min = -1 # x_i Minimum x_max = 4 # x_i Maxim x_res = 1e3 # x_i Auflösung x = seq(x_min, x_max, length.out = x_res) # x_1 Raum y = seq(x_min, x_max, length.out = x_res) # x_2 Raum xy = expand.grid(x,y) # X = (x_1,x_2)^T Raum # Parameterdefinition mu_x = 1 # \mu \in \mathbb{R} Sigma_xx = 0.2 # \Sigma_xx in \mathbb{R} A = 1 # A b = 1 # b Sigma_yy = 0.1 # \Sigma_yy # Berechnung der gemeinsamen Verteilung mu_xy = c(mu_x, A*mu_x + b) Sigma_xy = matrix(c(Sigma_xx, Sigma_xx*t(A), A*Sigma_xx, Sigma_yy + A*Sigma_xx*t(A)), nrow = 2, byrow = TRUE) # Visualisierung der marginalen Verteilung plot(x, dnorm(x, mu_x, sqrt(Sigma_xx)), type = "l", xlab = TeX("$x$"), ylim = c(0,2), ylab = "", main = TeX("$p(x) = N(x; \\, \\mu_\\xi, \\Sigma_{\\xi\\xi})$")) # Visualisierung der bedingten Verteilung plot(y, dnorm(y, A*1 + b, sqrt(Sigma_yy)), type = "l", xlab = TeX("$y$"), ylim = c(0,2), ylab = "", main = TeX("$p(y|x) = N(y; \\, Ax + b, \\Sigma_{\\upsilon\\upsilon})$")) text(0, 1.75, TeX("$x = 1$"), cex = 1.2) # Visualisierung der gemeinsamen Verteilung p_xy = matrix(dmvnorm(as.matrix(xy),mu_xy,Sigma_xy), # Matrixkonversion des von nrow = x_res) # dmvnorm() ausgegebenen Vektors contour(x, y, p_xy, xlim = c(x_min,x_max), ylim = c(x_min,x_max), xlab = TeX("$x$"), ylab = TeX("$y$"), main = TeX("$p(x,y) = N((x,y)^T; \\, \\mu_{\\xi,\\upsilon}, \\Sigma_{\\xi,\\upsilon})$"), nlevels = 5) # export to pdf dev.copy2pdf( file = "Abbildungen/mvn_verteilung_gemeinsam.pdf", width = 8, height = 4) ``` \vspace{-2mm} ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/mvn_verteilung_gemeinsam.pdf") ``` # Marginale und bedingte Verteilungen \textcolor{darkblue}{Beispiel: Gemeinsame Normalverteilung von Körpergröße und Körpergewicht} \center \footnotesize \vspace{-2mm} \begin{equation} x_i \sim N(170, 10^2) \quad \mbox{und} \quad y_i \sim N(x_i - 100, 12^2) \quad \mbox{für} \quad i = 1,\ldots,n \end{equation} \vspace{-4mm} \begin{equation} \Rightarrow \quad \begin{pmatrix} x_i \\ y_i \end{pmatrix} \sim N\left( \begin{pmatrix} 170 \\ 70 \end{pmatrix}, \begin{pmatrix} 100 & 100 \\ 100 & 244 \end{pmatrix} \right) \quad \mbox{für} \quad i = 1,\ldots,n \end{equation} ```{r, echo = F, eval = F} # Simulation: unabhängige Variable library(MASS) # multivariate Normalverteilungen set.seed(0) # reproduzierbare Ergebnisse n = 100 # Anzahl Datenpunkte mu_x = 170 # Erwartungswert Größe sigma_x = 10 # Standardabweichung Größe x = rnorm(n, mu_x, sigma_x) # unabhängige Variable # Simulation: abhängige Variable beta_0 =-100 # Offset-Parameter Größe -> Gewicht beta_1 = 1 # Steigungsparameter Größe -> Gewicht sigma = 12 # Standardabweichung Gewicht X = matrix(c(rep(1,n), x), ncol = 2) # Designmatrix beta = matrix(c(beta_0, beta_1), ncol = 1) # Regressionskoeffizienten mu = X %*% beta # Erwartungswert Gewicht Sigma = sigma^2 * diag(n) # Kovarianzmatrixparameter y = as.matrix(mvrnorm(1, mu, Sigma)) # Daten generieren # Parameter der gemeinsamen Verteilung von x und y A = beta_1 b = beta_0 mu = matrix(c(mu_x, # \mu \in \mathbb{R}^2 A*mu_x+b), nrow = 2, byrow = TRUE) Sigma = matrix(c(sigma_x^2, sigma_x^2*A, # \Sigma \in \mathbb{R}^{2 x 2} A*sigma_x^2, sigma^2 + A*sigma_x^2*A), nrow = 2, byrow = TRUE) # R-Pakete laden library(latex2exp) library(mvtnorm) # Abbildungsparameter graphics.off() dev.new() par( family = "sans", mar = c(3,3,1,1), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1.5) # Visualisierung x_min = 140 x_max = 200 y_min = 30 y_max = 110 x_res = 1e2 x_g = seq(x_min, x_max, length.out = x_res) y_g = seq(y_min, y_max, length.out = x_res) XY = expand.grid(x_g,y_g) p = matrix(dmvnorm(as.matrix(XY), mu, Sigma), nrow = x_res) contour(x_g, y_g, p, xlim = c(x_min,x_max), ylim = c(y_min,y_max), xlab = "Körpergröße [cm]", ylab = "Körpergewicht [kg]", nlevels = 5) points(x, y, pch = 21, col = "white", bg = "gray60", cex = 1) # PDF-Speicherung dev.copy2pdf( file = "Abbildungen/mvn_beispiel.pdf", width = 6, height = 6) ``` \vspace{-2mm} ```{r, echo = F, out.width = "50%"} knitr::include_graphics("Abbildungen/mvn_beispiel.pdf") ``` # \large \setstretch{2.5} \vfill Kontinuierliche Zufallsvektoren Konstruktion und Definition Transformationen Sphärische Verteilungen Marginale und bedingte Verteilungen **Selbstkontrollfragen** \vfill # Selbstkontrollfragen \footnotesize \setstretch{2} 1. Geben Sie die Definitionen des Erwartungswerts und der Kovarianzmatrix eines Zufallsvektors wieder. 1. Was repräsentieren die Diagonalelemente der Kovarianzmatrix eines Zufallsvektors? 1. Was repräsentieren die Nichtdiagonalelemente der Kovarianzmatrix eines Zufallsvektors? 1. Geben Sie die Definition eines multivariat normalverteilten Zufallsvektors wieder. 1. Erläutern Sie die Definition eines multivariat normalverteilten Zufallsvektors. 1. Welche Werte haben der Erwartungswert und die Kovarianzmatrix eines normalverteilten Zufallsvektors? 1. Visualisieren Sie die WDF eines 2-dimensionalen normalverteilten Zufallsvektors mit den Parameterwerten \begin{equation} \mu := \begin{pmatrix} 10 \\ 15 \end{pmatrix} \mbox{ und } \Sigma := \begin{pmatrix} 3 & 1 \\ 1 & 2 \end{pmatrix} \; . \end{equation} 1. Generieren Sie 100 Realisierungen aus dieser Verteilung und visualisieren Sie diese. 1. Geben Sie das Theorem zur linear-affinen Transformation multivariater Normalverteilungen wieder. 1. Geben Sie das Theorem zur invertierbaren linearen Transformation multivariater Normalverteilungen wieder. 1. Geben Sie das Theorem zu sphärischen Normalverteilungen wieder. 1. Erläutern Sie den Begriff des sphärischen Kovarianzmatrixparameters. 1. Skizzieren Sie den Beweis des Theorems zu sphärischen Normalverteilungen. # Anhang \setstretch{2} Beweise einiger in dieser Vorlesung nicht bewiesener Theoreme (englisch): * [\textcolor{darkblue}{Erwartungswert eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-mean) * [\textcolor{darkblue}{Kovarianzmatrix eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-cov) * [\textcolor{darkblue}{Linear-affine Transformation eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-ltt) * [\textcolor{darkblue}{Invertierbare lin. Transformation eines multivariat normalverteilten Zufallsvektors}](https://statproofbook.github.io/P/mvn-ltt) * [\textcolor{darkblue}{Äquivalenz unabhängiger univariater mit sphärischer multivariater Normalverteilung}](https://statproofbook.github.io/P/mvn-ind) * [\textcolor{darkblue}{Marginale Verteilung einer multivariaten Normalverteilung}](https://statproofbook.github.io/P/mvn-marg) * [\textcolor{darkblue}{Bedingte Verteilung einer multivariaten Normalverteilung}](https://statproofbook.github.io/P/mvn-cond) # Referenzen