--- fontsize: 8pt format: beamer: include-in-header: ../ALM_Header.tex bibliography: ../ALM_Referenzen.bib --- # {.plain} \center ```{r, echo = F, out.width = "20%"} knitr::include_graphics("../OvGU_Logo.png") ``` \vspace{2mm} \huge Allgemeines Lineares Modell \vspace{6mm} \large BSc Psychologie, SoSe 2026 \vspace{5mm} Joram Soch # {.plain} \vfill \center \huge \textcolor{black}{(13) Partielle Korrelation} \vfill # \large \setstretch{2.5} \vfill Motivation Bedingte Korrelation Partielle Korrelation Anwendung/Praxis Selbstkontrollfragen \vfill # \large \setstretch{2.5} \vfill **Motivation** Bedingte Korrelation Partielle Korrelation Anwendung/Praxis Selbstkontrollfragen \vfill # Motivation \textcolor{darkblue}{Jährlicher Eiskonsum und jährliche Sonnenbrandinzidenz} ```{r, echo = F, eval = F} # Simulation library(MASS) # multivariate Normalverteilung set.seed(1) # reproduzierbare Daten S = matrix(c( 1, 0.5, 0.9, # Kovarianzmatrixparameter \Sigma 0.5, 1, 0.5, 0.9, 0.5, 1), nrow = 3, byrow = TRUE) n = 1e2 # Anzahl Realisierungen von v := (x,y,z)^T xyz = mvrnorm(n,rep(0,3),S) # Realisierungen von v := (x,y,z)^T # Abbildung graphics.off() library(latex2exp) dev.new() par( family = "sans", mfcol = c(1,1), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2.5,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 1.2) # Punktdiagramm plot(xyz[,1:2], pch = 21, col = "white", bg = "gray50", xlab = TeX("$Eiskonsum$"), ylab = TeX("$Sonnenbrandinzidenz$"), xlim = c(-3,3), ylim = c(-3,3), main = TeX(sprintf("$r$ = %.2f", cor(xyz[,1],xyz[,2])))) # Speichern dev.copy2pdf( file = "Abbildungen/korrelation_beispiel.pdf", width = 4.5, height = 4.5) ``` ```{r, echo = F, out.width = "50%", fig.align = "center"} knitr::include_graphics("Abbildungen/korrelation_beispiel.pdf") ``` \small \vspace{-2mm} * Korrelation impliziert keine Kausalität. * Kausalität wird zumeist als Koinzidenz mit zeitlicher Reihenfolge modelliert. * Einstiege in die kausale Inferenz geben z.B. @pearl2000 und @imbens2015. # Motivation \textcolor{darkblue}{Jährlicher Eiskonsum und jährliche Sonnenbrandinzidenz} \vspace{2mm} ```{r, echo = F, out.width = "80%", fig.align = "center"} knitr::include_graphics("Abbildungen/eis_sonnenbrand_sommer.pdf") ``` \small * Korrelation von Eiskonsum und Sonnenbrandinzidenz nach Korrektur für Sommertage? * "Herausrechnen" des Einflusses von $z$ auf die Kovariation von $x$ und $y$? * Im Folgenden bezeichnen wir \underline{Zufallsvariablen} mit \underline{kleinen lateinischen} Buchstaben. \center \normalsize \textcolor{darkblue}{$\Rightarrow$ bedingte Korrelation und partielle Korrelation im Falle dreier Zufallsvariablen} # \large \setstretch{2.5} \vfill Motivation **Bedingte Korrelation** Partielle Korrelation Anwendung/Praxis Selbstkontrollfragen \vfill # Bedingte Korrelation \footnotesize \begin{definition}[Bedingte Kovarianz und bedingte Korrelation] \justifying Gegeben seien drei Zufallsvariablen $x,y,z$ einer gemeinsamen Verteilung $\mathbb{P}(x,y,z)$. \vspace{1mm} Weiterhin sei $\mathbb{P}(x,y|z)$ die bedingte Verteilung von $x$ und $y$, gegeben $z$. Dann heißt die Kovarianz von $x$ und $y$ in der Verteilung $\mathbb{P}(x,y|z)$ die \textit{bedingte Kovarianz von $x$ und $y$, gegeben $z$}, und wird mit $\mathbb{C}(x,y|z)$ bezeichnet. \vspace{1mm} Weiterhin seien $\mathbb{P}(x|z)$ und $\mathbb{P}(y|z)$ die marginalen Verteilungen von $x$ bzw. $y$, gegeben $z$, und $\mathbb{S}(x|z)$ und $\mathbb{S}(y|z)$ seien die Standardabweichungen von $x$ bzw. $y$ hinsichtlich $\mathbb{P}(x|z)$ bzw. $\mathbb{P}(y|z)$. \vspace{1mm} Dann heißt die Korrelation von $x$ und $y$ in der Verteilung $\mathbb{P}(x,y|z)$ \begin{equation} \rho(x,y|z) := \frac{\mathbb{C}(x,y|z)}{\mathbb{S}(x|z)\mathbb{S}(y|z)} \end{equation} die \textit{bedingte Korrelation von $x$ und $y$, gegeben $z$}. \end{definition} Bemerkungen * Die bedingte Kovarianz zweier ZVen ist die Kovarianz dieser ZVen in einer bedingten Verteilung * Die bedingte Korrelation zweier ZVen ist die Korrelation dieser ZVen in einer bedingten Verteilung. * Durch Vertauschen der Variablennamen kann man analog $\rho(x,z|y)$ und $\rho(y,z|x)$ definieren. # Bedingte Korrelation \small \vspace{1mm} \textcolor{darkblue}{Beispiel} \footnotesize Die Zufallsvariablen $x,y,z$ seien multivariat normalverteilt. Wir wollen die bedingte Korrelation von $x$ und $y$ gegeben $z$ bestimmen. Für $v := (x,y,z)^\mathrm{T}$ gelte also, dass \begin{equation} v \sim N(\mu,\Sigma) \end{equation} mit \begin{equation} \mu := \begin{pmatrix*}[l] \mu_x \\ \mu_y \\ \mu_z \end{pmatrix*} \quad \mbox{und} \quad \Sigma := \begin{pmatrix*}[l] \sigma^{2}_{x} & \sigma^{2}_{x,y} & \sigma^{2}_{x,z} \\ \sigma^{2}_{y,x} & \sigma^{2}_{y} & \sigma^{2}_{y,z} \\ \sigma^{2}_{z,x} & \sigma^{2}_{z,y} & \sigma^{2}_{z} \\ \end{pmatrix*} \; . \end{equation} Um die Kovarianzmatrix der bedingten Verteilung von $x$ und $y$, gegeben $z$ zu bestimmen, definieren wir zunächst \begin{equation} \Sigma_{x,y} := \begin{pmatrix*}[l] \sigma^{2}_{x} & \sigma^{2}_{x,y} \\ \sigma^{2}_{y,x} & \sigma^{2}_{y} \end{pmatrix*}, \quad \Sigma_{z} := \begin{pmatrix*}[l] \sigma^{2}_{z} \end{pmatrix*} \quad \mbox{und} \quad \Sigma_{(x,y),z} := \Sigma_{z,(x,y)}^\mathrm{T} := \begin{pmatrix*}[l] \sigma^{2}_{x,z} \\ \sigma^{2}_{y,z} \\ \end{pmatrix*} \; , \end{equation} sodass \begin{equation} \Sigma = \begin{pmatrix} \Sigma_{x,y} & \Sigma_{(x,y),z} \\ \Sigma_{z,(x,y)} & \Sigma_{z} \end{pmatrix} \; . \end{equation} Mit dem Theorem zu bedingten Normalverteilungen (siehe Einheit (4) in *Allgemeines Lineares Modell*) ist dann die Kovarianzmatrix des Zufallsvektors $(x,y)^\mathrm{T}$ gegeben durch \begin{equation} \Sigma_{x,y|z} = \Sigma_{x,y} - \Sigma_{(x,y),z} \Sigma_{z}^{-1} \Sigma_{z,(x,y)} \; . \end{equation} # Bedingte Korrelation \small \vspace{1mm} \textcolor{darkblue}{Beispiel (fortgeführt)} \footnotesize Mit den Eigenschaften der multivariaten Normalverteilung gilt dann, dass die Diagonaleinträge von $\Sigma_{x,y|z}$ den bedingten Varianzen von $x$ und $y$, gegeben $z$ entsprechen und dass der Nichtdiagonaleintrag die bedingte Kovarianz von $x$ und $y$, gegeben $z$ ist. In anderen Worten gilt \begin{equation} \Sigma_{x,y|z} = \begin{pmatrix} \mathbb{C}(x,x|z) & \mathbb{C}(x,y|z) \\ \mathbb{C}(y,x|z) & \mathbb{C}(y,y|z) \\ \end{pmatrix} \; . \end{equation} Die bedingte Korrelation $\rho(x,y|z)$ von $x$ und $y$, gegeben $z$ ergibt sich dann aus den Einträgen von $\Sigma_{x,y|z}$ gemäß \begin{equation} \rho(x,y|z) = \frac{\mathbb{C}(x,y|z)}{\sqrt{\mathbb{C}(x,x|z)}\sqrt{\mathbb{C}(y,y|z)}} \; . \end{equation} Für \begin{equation} \Sigma := \begin{pmatrix} 1.0 & 0.5 & 0.9 \\ 0.5 & 1.0 & 0.5 \\ 0.9 & 0.5 & 1.0 \\ \end{pmatrix} \end{equation} ergibt sich beispielsweise \begin{equation} \rho(x,y) = 0.50 \quad \mbox{und} \quad \rho(x,y|z) \approx 0.13 \; . \end{equation} # Bedingte Korrelation \small \vspace{1mm} \textcolor{darkblue}{Beispiel (fortgeführt)} \footnotesize \vspace{2mm} ```{r, echo = T, warning = F} # bedingte Korrelation bei Normalverteilung S = matrix(c( 1, 0.5, 0.9, # \Sigma 0.5, 1, 0.5, 0.9, 0.5, 1), nrow = 3, byrow = TRUE) rho_xy = S[1,2]/(sqrt(S[1,1])*sqrt(S[2,2])) # \rho(x,y) S_xy_z = S[1:2,1:2] - S[1:2,3] %*% solve(S[3,3]) %*% S[3,1:2] # \Sigma_{x,y|z} rho_xy_z = S_xy_z[1,2]/(sqrt(S_xy_z[1,1])*sqrt(S_xy_z[2,2])) # \rho(x,y|z) # Ausgabe der (bedingten) Korrelationen cat( "rho(x,y) :", rho_xy, "\nrho(x,y|z) :", rho_xy_z) ``` \vfill # Bedingte Korrelation \small \begin{theorem}[Bedingte Korrelation und Korrelationen bei Normalverteilung] \justifying \normalfont $x,y,z$ seien drei gemeinsam multivariat normalverteilte Zufallsvariablen. Dann gilt: \begin{equation} \rho(x,y|z) = \frac{\rho(x,y) - \rho(x,z)\rho(y,z)}{\sqrt{1 - \rho(x,z)^2}\sqrt{1 - \rho(y,z)^2}} \; . \end{equation} \end{theorem} \footnotesize Bemerkungen * $\rho(x,y|z)$ kann bei Normalverteilung aus den Korrelationen $\rho(x,y), \rho(x,z), \rho(y,z)$ berechnet werden. * Ein entsprechender Schätzer für $\rho(x,y|z)$ ergibt sich mit den Stichprobenkorrelationen $r_{x,y}, r_{x,z}, r_{y,z}$ als \begin{equation} r_{x,y|z} = \frac{r_{x,y} - r_{x,z}r_{y,z}}{\sqrt{1 - r^{2}_{x,z}}\sqrt{1 - r_{y,z}^2}} \end{equation} # Bedingte Korrelation \small \underline{Beweis} Ohne Beschränkung der Allgemeinheit betrachten wir den Fall eines standardisierten multivariat normalverteilten Zufallsvektors $v := (x,y,z)^\mathrm{T}$ mit Kovarianzmatrixparameter \begin{equation} \Sigma := \begin{pmatrix} 1 & \rho(x,y) & \rho(x,z) \\ \rho(y,x) & 1 & \rho(y,z) \\ \rho(z,x) & \rho(z,y) & 1 \end{pmatrix}. \end{equation} Wir definieren nun zunächst \begin{equation} \Sigma_{x,y} := \begin{pmatrix} 1 & \rho(x,y) \\ \rho(y,x) & 1 \end{pmatrix}, \quad \Sigma_{z} := \begin{pmatrix} 1 \end{pmatrix} \quad \mbox{und} \quad \Sigma_{(x,y),z} := \Sigma_{z,(x,y)}^\mathrm{T} := \begin{pmatrix} \rho(x,z) \\ \rho(y,z) \\ \end{pmatrix}, \end{equation} sodass \begin{equation} \Sigma = \begin{pmatrix} \Sigma_{x,y} & \Sigma_{(x,y),z} \\ \Sigma_{z,(x,y)} & \Sigma_{z} \end{pmatrix}. \end{equation} Mit dem Theorem zu bedingten Normalverteilungen (siehe Einheit (4) in *Allgemeines Lineares Modell*) ist dann die Kovarianzmatrix des Zufallsvektors $(x,y)$ gegeben durch \begin{equation} \Sigma_{x,y|z} = \Sigma_{x,y} - \Sigma_{(x,y),z} \Sigma_{z}^{-1} \Sigma_{z,(x,y)}. \end{equation} # Bedingte Korrelation \small \underline{Beweis (fortgeführt)} Es ergibt sich also \begin{align} \begin{split} \begin{pmatrix} \sigma_{x,x|z}^2 & \sigma_{x,y|z}^2 \\ \sigma_{y,x|z}^2 & \sigma_{y,y|z}^2 \\ \end{pmatrix} & = \begin{pmatrix} 1 & \rho(x,y) \\ \rho(y,x) & 1 \end{pmatrix} - \begin{pmatrix} \rho(x,z) \\ \rho(y,z) \\ \end{pmatrix} \begin{pmatrix} 1 \end{pmatrix}^{-1} \begin{pmatrix} \rho(x,z) & \rho(y,z) \end{pmatrix} \\ & = \begin{pmatrix} 1 & \rho(x,y) \\ \rho(y,x) & 1 \end{pmatrix} - \begin{pmatrix} \rho(x,z)\rho(x,z) & \rho(x,z)\rho(y,z) \\ \rho(y,z)\rho(x,z) & \rho(y,z)\rho(y,z) \\ \end{pmatrix} \\ & = \begin{pmatrix} 1 - \rho(x,z)^2 & \rho(x,y) - \rho(x,z)\rho(y,z) \\ \rho(y,x) - \rho(y,z)\rho(x,z) & 1 - \rho(y,z)^2 \end{pmatrix}. \end{split} \end{align} Damit folgt dann direkt \begin{align} \begin{split} \rho(x,y|z) = \frac{\sigma_{x,y|z}^2}{\sqrt{\sigma_{x,x|z}^2}\sqrt{\sigma_{y,y|z}^2}} = \frac{\rho(x,y) - \rho(x,z)\rho(y,z)}{\sqrt{1 - \rho(x,z)^2 }\sqrt{1 - \rho(y,z)^2}}. \end{split} \end{align} $\hfill\Box$ # \large \setstretch{2.5} \vfill Motivation Bedingte Korrelation **Partielle Korrelation** Anwendung/Praxis Selbstkontrollfragen \vfill # Partielle Korrelation \footnotesize \begin{definition}[Partielle Korrelation] \justifying $x,y,z$ seien Zufallsvariablen mit linear-affinen Abhängigkeiten zwischen $x$ und $z$ sowie zwischen $y$ und $z$ \begin{align} \begin{split} x & := \beta_0^{(x)} + \beta_1^{(x)}z + e^{(x)} \\ y & := \beta_0^{(y)} + \beta_1^{(y)}z + e^{(y)} \; , \\ \end{split} \end{align} sodass die Residualvariablen gegeben sind als \begin{align} \begin{split} e^{(x)} & = x - \beta_0^{(x)} - \beta_1^{(x)}z \\ e^{(y)} & = y - \beta_0^{(y)} - \beta_1^{(y)}z \; . \\ \end{split} \end{align} Dann ist die \textit{partielle Korrelation von $x$ und $y$ mit auspartialisiertem $z$} definiert als \begin{equation} \rho(x,y \mathbin{\backslash} z) := \rho\left( e^{(x)}, e^{(y)} \right). \end{equation} \end{definition} Bemerkungen * $e^{(x)}$ ist die Zufallsvariable $x$, aus der der Einfluss von $z$ "herausgerechnet" wurde. * $e^{(y)}$ ist die Zufallsvariable $y$, aus der der Einfluss von $z$ "herausgerechnet" wurde. * $\rho(x,y \mathbin{\backslash} z)$ ist also die Korrelation von $x$ und $y$, wobei jeweils der Einfluss von $z$ "herausgerechnet" wurde. # Partielle Korrelation \footnotesize \begin{definition}[Partielle Stichprobenkorrelation] \justifying $x,y,z$ seien Zufallsvariablen mit linear-affinen Abhängigkeiten zwischen $x$ und $z$ sowie zwischen $y$ und $z$ wie in der Definition der partiellen Korrelation. Weiterhin seien \begin{itemize} \item $\{(x_i,y_i,z_i)\}_{i = 1,...,n}$ eine Menge von Realisierungen des Zufallsvektors $(x,y,z)^\mathrm{T}$, \item $\hat{\beta}_0^{(x)}, \hat{\beta}_1^{(x)}$ die Ausgleichsgeradenparameter für $\{(x_i,z_i)\}_{i = 1,...,n}$, \item $\hat{\beta}_0^{(y)}, \hat{\beta}_1^{(y)}$ die Ausgleichsgeradenparameter für $\{(y_i,z_i)\}_{i = 1,...,n}$. \end{itemize} Schließlich seien für $i = 1,...,n$ \begin{itemize} \item $e^{(x)}_i := x_i - \hat{\beta}_0^{(x)} - \hat{\beta}_1^{(x)}z_i$ \item $e^{(y)}_i := y_i - \hat{\beta}_0^{(y)} - \hat{\beta}_1^{(y)}z_i$ \end{itemize} die Residuen der jeweiligen Ausgleichsgeraden. Dann heißt die Stichprobenkorrelation der Wertemenge $\left\lbrace \left( e^{(y)}_i, e^{(x)}_i \right) \right\rbrace_{i = 1,...,n}$ \textit{partielle Stichprobenkorrelation der $x_i$ und $y_i$ mit auspartialisierten $z_i$}. \end{definition} Bemerkungen * Die partielle Stichprobenkorrelation wird als Schätzer der partiellen Korrelation genutzt. # Partielle Korrelation \small \begin{theorem}[Bedingte und partielle Korrelation bei Normalverteilung] \justifying \normalfont $x,y,z$ seien drei gemeinsam multivariat normalverteilte Zufallsvariablen. Dann gilt: \begin{equation} \rho(x,y|z) = \rho(x,y \mathbin{\backslash} z) \; . \end{equation} \end{theorem} \footnotesize Bemerkungen * Generell sind bedingte und partielle Korrelationen nicht identisch. * Für Details, siehe zum Beispiel @lawrance1976 und @baba2004. * Mit der Gleichheit von bedingter und partieller Korrelation bei Normalverteilung ist der Schätzer für die bedingte Korrelation auch ein Schätzer für die partielle Korrelation bei gemeinsam normalverteilten Zufallsvariablen. \vfill # Partielle Korrelation \small \underline{Beweis} Ohne Beschränkung der Allgemeinheit betrachten wir erneut den Fall eines standardisierten multivariat normalverteilten Zufallsvektors $v := (x,y,z)^\mathrm{T}$ mit Kovarianzmatrixparameter \begin{equation} \Sigma := \begin{pmatrix} 1 & \rho(x,y) & \rho(x,z) \\ \rho(y,x) & 1 & \rho(y,z) \\ \rho(z,x) & \rho(z,y) & 1 \end{pmatrix} \; . \end{equation} Dann definieren wir \begin{equation} A := \begin{pmatrix*} 1 & 0 & -\beta_1^{(x)} \\ 0 & 1 & -\beta_1^{(y)} \\ \end{pmatrix*} \quad \mbox{und} \quad b := \begin{pmatrix*} -\beta_0^{(x)} \\ -\beta_0^{(y)} \\ \end{pmatrix*} \; , \end{equation} sodass gilt \begin{equation} \begin{pmatrix*} e^{(x)} \\ e^{(y)} \\ \end{pmatrix*} = A v + b = \begin{pmatrix*} 1 & 0 & -\beta_1^{(x)} \\ 0 & 1 & -\beta_1^{(y)} \\ \end{pmatrix*} \begin{pmatrix*} x \\ y \\ z \\ \end{pmatrix*} + \begin{pmatrix*} -\beta_0^{(x)} \\ -\beta_0^{(y)} \\ \end{pmatrix*} = \begin{pmatrix*} x - \beta_0^{(x)} - \beta_1^{(x)}z \\ y - \beta_0^{(y)} - \beta_1^{(y)}z \\ \end{pmatrix*} \; . \end{equation} Die partielle Korrelation ergibt sich dann als \begin{equation} \rho(x,y \mathbin{\backslash} z) = \rho(e^{(x)}, e^{(y)}) \; . \end{equation} # Partielle Korrelation \small \underline{Beweis (fortgeführt)} Mit dem Theorem zur linear-affinen Transformation von multivariaten Normalverteilungen (siehe Einheit (4) in *Allgemeines Lineares Modell*) gilt für den Vektor der Residualvariablen \begin{equation} v \sim N\left(\mu, \Sigma\right) \quad \Rightarrow \quad \begin{pmatrix*} e^{(x)} \\ e^{(y)} \\ \end{pmatrix*} = A v + b \sim N\left(A\mu + b, A\Sigma A^\mathrm{T}\right) \; . \end{equation} Der Kovarianzmatrixparameter der resultierenden multivariaten Normalverteilung ergibt sich also zu \footnotesize \begin{align} \begin{split} A\Sigma A^\mathrm{T} & = \begin{pmatrix*} 1 & 0 & -\beta_1^{(x)} \\ 0 & 1 & -\beta_1^{(y)} \\ \end{pmatrix*} \begin{pmatrix} 1 & \rho(x,y) & \rho(x,z) \\ \rho(y,x) & 1 & \rho(y,z) \\ \rho(z,x) & \rho(z,y) & 1 \end{pmatrix} \begin{pmatrix*} 1 & 0 \\ 0 & 1 \\ -\beta_1^{(x)} & -\beta_1^{(y)} \\ \end{pmatrix*} \\ & = \begin{pmatrix*} 1-\beta_1^{(x)}\rho(z,x) & \rho(x,y)-\beta_1^{(x)}\rho(z,y) & \rho(x,z)-\beta_1^{(x)} \\ \rho(y,x)-\beta_1^{(y)}\rho(z,x) & 1-\beta_1^{(y)}\rho(z,y) & \rho(y,z)-\beta_1^{(y)} \\ \end{pmatrix*} \begin{pmatrix*} 1 & 0 \\ 0 & 1 \\ -\beta_1^{(x)} & -\beta_1^{(y)} \\ \end{pmatrix*} \\ & = \begin{pmatrix*} 1-\beta_1^{(x)}\rho(z,x)-\beta_1^{(x)}\rho(x,z)+\left(\beta_1^{(x)}\right)^2 & \rho(x,y)-\beta_1^{(x)}\rho(z,y)-\beta_1^{(y)}\rho(x,z)+\beta_1^{(x)} \beta_1^{(y)} \\ \rho(y,x)-\beta_1^{(y)}\rho(z,x)-\beta_1^{(x)}\rho(y,z)+\beta_1^{(x)} \beta_1^{(y)} & 1-\beta_1^{(y)}\rho(z,y)-\beta_1^{(y)}\rho(y,z)+\left(\beta_1^{(y)}\right)^2 \end{pmatrix*} \\ &= \begin{pmatrix*} 1-2\beta_1^{(x)}\rho(x,z)+\left(\beta_1^{(x)}\right)^2 & \rho(x,y)-\beta_1^{(x)}\rho(z,y)-\beta_1^{(y)}\rho(x,z)+\beta_1^{(x)} \beta_1^{(y)} \\ \rho(y,x)-\beta_1^{(y)}\rho(z,x)-\beta_1^{(x)}\rho(y,z)+\beta_1^{(x)} \beta_1^{(y)} & 1-2\beta_1^{(y)}\rho(y,z)+\left(\beta_1^{(y)}\right)^2 \end{pmatrix*} \; . \end{split} \end{align} # Partielle Korrelation \small \underline{Beweis (fortgeführt)} Besteht ein linear-affiner Zusammenhang der Form $y := \beta_0 + \beta_1 x + e$ zwischen zwei Zufallsvariablen, dann gilt für die Korrelation dieser Zufallsvariablen: \begin{equation} \rho(x,y) = \frac{\mathbb{S}(x)}{\mathbb{S}(y)} \beta_1 \quad \Leftrightarrow \quad \beta_1 = \frac{\mathbb{S}(y)}{\mathbb{S}(x)} \rho(x,y) \; . \end{equation} Wir halten dies hier ohne Beweis fest, bemerken aber, dass analog auch in der Stichprobe für den Steigungsparameter der Ausgleichsgerade gilt: \begin{equation} \hat{\beta}_1 = \frac{c_{xy}}{s_x^2}, \quad r_{xy} = \frac{c_{xy}}{s_x s_y} \quad \Rightarrow \quad \hat{\beta}_1 = \frac{s_y}{s_x} r_{xy} \; . \end{equation} Im vorliegenden Fall der standardisierten Zufallsvariablen $x$, $y$ und $z$ mit Varianz und Standardabweichung gleich 1 ergibt sich \begin{equation} \beta_1^{(x)} = \frac{1}{1} \rho(x,z) = \rho(x,z) \quad \mbox{und} \quad \beta_1^{(y)} = \frac{1}{1} \rho(y,z) = \rho(y,z) \end{equation} und damit \footnotesize \begin{equation} A\Sigma A^\mathrm{T} = \begin{pmatrix*} 1-\rho(x,z)^2 & \rho(x,y)-\rho(x,z)\rho(y,z) \\ \rho(x,y)-\rho(x,z)\rho(y,z) & 1-\rho(y,z)^2 \end{pmatrix*} = \begin{pmatrix*} \sigma_{x,x \mathbin{\backslash} z}^2 & \sigma_{x,y \mathbin{\backslash} z}^2 \\ \sigma_{y,x \mathbin{\backslash} z}^2 & \sigma_{y,y \mathbin{\backslash} z}^2 \end{pmatrix*} \; . \end{equation} # Partielle Korrelation \small \underline{Beweis (fortgeführt)} Schließlich folgt die partielle Korrelation mit \begin{align} \begin{split} \rho(x,y \mathbin{\backslash} z) & = \rho(e^{(x)}, e^{(y)}) \\ & = \frac{\sigma_{x,y \mathbin{\backslash} z}^2}{\sqrt{\sigma_{x,x \mathbin{\backslash} z}^2} \sqrt{\sigma_{y,y \mathbin{\backslash} z}^2}} \\ & = \frac{\rho(x,y) - \rho(x,z)\rho(y,z)}{\sqrt{1 - \rho(x,z)^2}\sqrt{1 - \rho(y,z)^2}} \; . \end{split} \end{align} Dies entspricht der Formel im Theorem zur bedingten Korrelation bei Normalverteilung. Mithin sind die bedingte Korrelation von $x$ und $y$, gegeben $z$, und die partielle Korrelation von $x$ und $y$ mit herauspartialisiertem $z$, identisch, wenn $x$, $y$ und $z$ einer gemeinsamen Normalverteilung folgen. $\hfill\Box$ \vfill # Partielle Korrelation \small \textcolor{darkblue}{Beispiel} \vspace{1mm} \setstretch{0.8} \tiny ```{r, echo = T, warning = F} # Modellformulierung und Datenrealisierung library(MASS) # multivariate Normalverteilung set.seed(1) # reproduzierbare Daten S = matrix(c( 1,0.5,0.9, # Kovarianzmatrixparameter \Sigma 0.5, 1,0.5, 0.9,0.5, 1), nrow = 3, byrow = TRUE) n = 1e6 # Anzahl Realisierungen von v := (x,y,z)^T xyz = mvrnorm(n,c(0,0,0),S) # Realisierungen von v := (x,y,z)^T # partielle Stichprobenkorrelation als Stichprobenkorrelation der Residuen bars = apply(xyz, 2, mean) # Stichprobenmittel s = apply(xyz, 2, sd) # Stichprobenstandardabweichungen c = cov(xyz) # Stichprobenkovarianzen b_xz1 = c[1,3]/c[3,3] # beta_1 (x,z) b_xz0 = bars[1] - b_xz1*bars[3] # beta_0 (x,z) b_yz1 = c[2,3]/c[3,3] # beta_1 (y,z) b_yz0 = bars[2] - b_yz1*bars[3] # beta_0 (y,z) e_xz = xyz[,1] - b_xz1*xyz[,3] - b_xz0 # Residuen e^{(x)} e_yz = xyz[,2] - b_yz1*xyz[,3] - b_yz0 # Residuen e^{(y)} pr_e = cor(e_xz,e_yz) # \rho(x,y\z) # partielle Stichprobenkorrelation als bedingte Stichprobenkorrelation r = cor(xyz) # Stichprobenkorrelationsmatrix pr_r_n = r[1,2]-r[1,3]*r[2,3] # \rho(x,y\z) Formel Zähler pr_r_d = sqrt((1-r[1,3]^2)*(1-r[2,3]^2)) # \rho(x,y\z) Formel Nenner pr_r = pr_r_n/pr_r_d # \rho(x,y\z) # partielle Stichprobenkorrelation mithilfe der Funktion pcor() aus der Toolbox "ppcor" library(ppcor) # Laden der Toolbox pr_t = pcor(xyz) # \rho(x,y\z),\rho(x,z\y),\rho(y,z\x) # Ausgabe cat( "r(x,y) :", r[1,2], "\nr(x,y\\z) aus Residuenkorrelation :", pr_e, "\nr(x,y\\z) aus Korrelationen :", pr_r, "\nr(x,y\\z) aus Toolbox :", pr_t$estimate[1,2]) ``` # Partielle Korrelation ```{r, echo = F, eval = F} # Modellformulierung library(MASS) # multivariate Normalverteilung set.seed(1) # reproduzierbare Daten S = matrix(c( 1,0.5,0.9, # Kovarianzmatrixparameter \Sigma 0.5, 1,0.5, 0.9,0.5, 1), nrow = 3, byrow = TRUE) n = 1e2 # Anzahl Realisierungen von v := (x,y,z)^T xyz = mvrnorm(n,rep(0,3),S) # Realisierungen von v := (x,y,z)^T # Visualisierung graphics.off() dev.new() par( family = "sans", mfcol = c(1,2), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2.5,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 1.2) # r(x,y) plot(xyz[,1:2], pch = 21, col = "white", bg = "gray50", xlab = TeX("$x$"), ylab = TeX("$y$"), xlim = c(-3,3), ylim = c(-3,3), main = TeX(sprintf("$r_{x,y}$ = %.2f, $R^2$ = %.2f", cor(xyz[,1],xyz[,2]), cor(xyz[,1],xyz[,2])^2))) # r(e_xz,e_yz) plot(matrix(c(e_xz,e_yz), nrow = n), pch = 21, col = "white", bg = "gray50", xlab = TeX("$x - \\hat{\\beta}_{0}^{(x)} - \\hat{\\beta}_{1}^{(x)} z$"), ylab = TeX("$y - \\hat{\\beta}_{0}^{(y)} - \\hat{\\beta}_{1}^{(y)} z$"), xlim = c(-3,3), ylim = c(-3,3), main = TeX(sprintf("$r_{x,y \\, | \\, z}$ = %.2f, $R^2$ = %.2f", pr_r, pr_r^2))) # Speicherung dev.copy2pdf( file = "Abbildungen/partielle_korrelation_beispiel.pdf", width = 9, height = 4.5) ``` ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/partielle_korrelation_beispiel.pdf") ``` # Partielle Korrelation ```{r, echo = F, eval = F} # Modellformulierung library(MASS) # multivariate Normalverteilung set.seed(1) # reproduzierbare Daten S = matrix(c( 1,0.5,0.9, # Kovarianzmatrixparameter \Sigma 0.5, 1,0.5, 0.9,0.5, 1), nrow = 3, byrow = TRUE) n = 1e2 # Anzahl Realisierungen von v := (x,y,z)^T xyz = mvrnorm(n,rep(0,3),S) # Realisierungen von v := (x,y,z)^T # partielle Stichprobenkorrelation als Stichprobenkorrelation der Residuen bars = apply(xyz, 2, mean) # Stichprobenmittel s = apply(xyz, 2, sd) # Stichprobenstandardabweichungen c = cov(xyz) # Stichprobenkovarianzen b_xz1 = c[1,3]/c[3,3] # beta_1 (x,z) b_xz0 = bars[1] - b_xz1*bars[3] # beta_0 (x,z) b_yz1 = c[2,3]/c[3,3] # beta_1 (y,z) b_yz0 = bars[2] - b_yz1*bars[3] # beta_0 (y,z) e_xz = xyz[,1] - b_xz1*xyz[,3] - b_xz0 # Residuen e^{(x)} e_yz = xyz[,2] - b_yz1*xyz[,3] - b_yz0 # Residuen e^{(y)} # Visualisierung graphics.off() dev.new() par( family = "sans", mfcol = c(1,2), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2.5,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 1.2) # r(x,y) plot(xyz[,1:2], pch = 21, col = "white", bg = "gray50", xlab = TeX("$Eiskonsum$"), ylab = TeX("$Sonnenbrandinzidenz$"), xlim = c(-3,3), ylim = c(-3,3), main = TeX(sprintf("$r$ = %.2f", cor(xyz[,1],xyz[,2])))) # r(e_xz,e_yz) plot(matrix(c(e_xz,e_yz), nrow = n), pch = 21, col = "white", bg = "gray50", xlab = TeX("$Eiskonsum \\; | \\; Sommertage$"), ylab = TeX("$Sonnenbrandinzidenz \\; | \\; Sommertage$"), xlim = c(-3,3), ylim = c(-3,3), main = TeX(sprintf("$r$ = %.2f", pr_e))) # Speicherung dev.copy2pdf( file = "Abbildungen/partielle_korrelation_anwendung.pdf", width = 9, height = 4.5) ``` ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/partielle_korrelation_anwendung.pdf") ``` # \large \setstretch{2.5} \vfill Motivation Bedingte Korrelation Partielle Korrelation **Anwendung/Praxis** Selbstkontrollfragen \vfill # Anwendung/Praxis \small Datensatz: Geburtsgewicht und Muttergewicht für Mutter-Kind-Paare ($n = 189$; hier: $i = 1,...,25$) \setstretch{1.0} \footnotesize \vspace{2mm} ```{r, echo = T} filename = "Daten/birth_weights.csv" # Dateiname D = read.csv(filename) # Datenframe ``` \tiny \vspace{-2mm} ```{r, echo = F} knitr::kable(D[c(1:25),], align = "rrrcccc", "pipe") ``` # Anwendung/Praxis \textcolor{darkblue}{Korrelation von Geburtsgewicht und Muttergewicht} ```{r, echo = F, eval = F} # Daten einlesen filename = "Daten/birth_weights.csv" # Dateiname D = read.csv(filename) # Datenframe n = nrow(D) # Anzahl Datenpunkte # Daten extrahieren x = D$Weight # Variable x y = D$Birth_weight # Variable y z = D$Age # Variable z xyz = matrix(c(x, y, z), nrow = n) # n x 3 Datenmatrix # Abbildung library(latex2exp) par( family = "sans", mfcol = c(1,1), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2.5,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 1.2) # Punktdiagramm plot(xyz[,1:2], pch = 21, col = "white", bg = "gray50", xlab = TeX("$Muttergewicht$"), ylab = TeX("$Geburtsgewicht$"), xlim = c(35,115), ylim = c(1,5), main = TeX(sprintf("$r$ = %.2f", cor(xyz[,1],xyz[,2])))) # Speichern dev.copy2pdf( file = "Abbildungen/birth_weights_0.pdf", width = 4.5, height = 4.5) ``` \vspace{-2mm} ```{r, echo = F, out.width = "60%", fig.align = "center"} knitr::include_graphics("Abbildungen/birth_weights_0.pdf") ``` # Anwendung/Praxis \textcolor{darkblue}{Korrelation von Geburtsgewicht und Muttergewicht} \vspace{2mm} ```{r, echo = F, out.width = "100%", fig.align = "center"} knitr::include_graphics("Abbildungen/gewicht_mutter_alter.pdf") ``` # Anwendung/Praxis \small Partielle Korrelation: Geburtsgewicht und Muttergewicht, gegeben Alter ($n = 189$) \setstretch{1.0} \scriptsize \vspace{1mm} ```{r, echo = T} # Daten einlesen D = read.csv("Daten/birth_weights.csv") # Datenframe n = nrow(D) # Anzahl Datenpunkte x = D$Weight # Variable x y = D$Birth_weight # Variable y z = D$Age # Variable z xyz = matrix(c(x, y, z), nrow = n) # n x 3 Datenmatrix # partielle Stichprobenkorrelation als Stichprobenkorrelation der Residuen bars = apply(xyz, 2, mean) # Stichprobenmittel c = cov(xyz) # Stichprobenkovarianzen b_xz1 = c[1,3]/c[3,3] # beta_1 (x,z) b_xz0 = bars[1] - b_xz1*bars[3] # beta_0 (x,z) b_yz1 = c[2,3]/c[3,3] # beta_1 (y,z) b_yz0 = bars[2] - b_yz1*bars[3] # beta_0 (y,z) e_xz = xyz[,1] - b_xz1*xyz[,3] - b_xz0 # Residuen e^{(x)} e_yz = xyz[,2] - b_yz1*xyz[,3] - b_yz0 # Residuen e^{(y)} pr_e = cor(e_xz,e_yz) # \rho(x,y\z) # partielle Stichprobenkorrelation als bedingte Stichprobenkorrelation r = cor(xyz) # Stichprobenkorrelationsmatrix pr_r_n = r[1,2]-r[1,3]*r[2,3] # \rho(x,y\z) Formel Zähler pr_r_d = sqrt((1-r[1,3]^2)*(1-r[2,3]^2)) # \rho(x,y\z) Formel Nenner pr_r = pr_r_n/pr_r_d # \rho(x,y\z) # Ausgabe der partiellen Korrelationen cat( "r(x,y) :", round(r[1,2], digits = 3), "\nr(x,y\\z) aus Residuenkorrelation :", round(pr_e, digits = 3), "\nr(x,y\\z) aus Korrelationen :", round(pr_r, digits = 3), "\n\n") ``` # Anwendung/Praxis ```{r, echo = F, eval = F} # Daten einlesen D = read.csv("Daten/birth_weights.csv") # Datenframe x = D$Weight # Variable x y = D$Birth_weight # Variable y z = D$Age # Variable z xyz = matrix(c(x, y, z), nrow = n) # n x 3 Datenmatrix # Daten analysieren bars = apply(xyz, 2, mean) # Stichprobenmittel c = cov(xyz) # Stichprobenkovarianzen b_xz1 = c[1,3]/c[3,3] # beta_1 (x,z) b_xz0 = bars[1] - b_xz1*bars[3] # beta_0 (x,z) b_yz1 = c[2,3]/c[3,3] # beta_1 (y,z) b_yz0 = bars[2] - b_yz1*bars[3] # beta_0 (y,z) e_xz = xyz[,1] - b_xz1*xyz[,3] - b_xz0 # Residuen e^{(x)} e_yz = xyz[,2] - b_yz1*xyz[,3] - b_yz0 # Residuen e^{(y)} pr_e = cor(e_xz,e_yz) # \rho(x,y\z) # Abbildung library(latex2exp) par( family = "sans", mfcol = c(1,2), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2.5,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 1.2) # r(x,y) plot(xyz[,1:2], pch = 21, col = "white", bg = "gray50", xlab = TeX("$x$"), ylab = TeX("$y$"), xlim = c(35,115), ylim = c(1,5), main = TeX(sprintf("$r_{x,y}$ = %.2f, $R^2$ = %.2f", cor(xyz[,1],xyz[,2]), cor(xyz[,1],xyz[,2])^2))) # r(e_xz,e_yz) plot(matrix(c(e_xz,e_yz), nrow = n), pch = 21, col = "white", bg = "gray50", xlab = TeX("$x - \\hat{\\beta}_{0}^{(x)} - \\hat{\\beta}_{1}^{(x)} z$"), ylab = TeX("$y - \\hat{\\beta}_{0}^{(y)} - \\hat{\\beta}_{1}^{(y)} z$"), xlim = c(-25,+55), ylim = c(-2,+2), main = TeX(sprintf("$r_{x,y \\, | \\, z}$ = %.2f, $R^2$ = %.2f", pr_e, pr_e^2))) # Speicherung dev.copy2pdf( file = "Abbildungen/birth_weights_1.pdf", width = 9, height = 4.5) ``` ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/birth_weights_1.pdf") ``` # Anwendung/Praxis ```{r, echo = F, eval = F} # Daten einlesen D = read.csv("Daten/birth_weights.csv") # Datenframe x = D$Weight # Variable x y = D$Birth_weight # Variable y z = D$Age # Variable z xyz = matrix(c(x, y, z), nrow = n) # n x 3 Datenmatrix # Daten analysierenW bars = apply(xyz, 2, mean) # Stichprobenmittel c = cov(xyz) # Stichprobenkovarianzen b_xz1 = c[1,3]/c[3,3] # beta_1 (x,z) b_xz0 = bars[1] - b_xz1*bars[3] # beta_0 (x,z) b_yz1 = c[2,3]/c[3,3] # beta_1 (y,z) b_yz0 = bars[2] - b_yz1*bars[3] # beta_0 (y,z) e_xz = xyz[,1] - b_xz1*xyz[,3] - b_xz0 # Residuen e^{(x)} e_yz = xyz[,2] - b_yz1*xyz[,3] - b_yz0 # Residuen e^{(y)} pr_e = cor(e_xz,e_yz) # \rho(x,y\z) # Abbildung library(latex2exp) par( family = "sans", mfcol = c(1,2), pty = "s", bty = "l", lwd = 1, las = 1, mgp = c(2.5,1,0), xaxs = "i", yaxs = "i", font.main = 1, cex = 1, cex.main = 1.2) # r(x,y) plot(xyz[,1:2], pch = 21, col = "white", bg = "gray50", xlab = TeX("$Muttergewicht$"), ylab = TeX("$Geburtsgewicht$"), xlim = c(35,115), ylim = c(1,5), main = TeX(sprintf("$r$ = %.2f", cor(xyz[,1],xyz[,2])))) # r(e_xz,e_yz) plot(matrix(c(e_xz,e_yz), nrow = n), pch = 21, col = "white", bg = "gray50", xlab = TeX("$Muttergewicht \\; | \\; Alter$"), ylab = TeX("$Geburtsgewicht \\; | \\; Alter$"), xlim = c(-25,+55), ylim = c(-2,+2), main = TeX(sprintf("$r$ = %.2f", pr_e))) # Speicherung dev.copy2pdf( file = "Abbildungen/birth_weights_2.pdf", width = 9, height = 4.5) ``` ```{r, echo = F, out.width = "100%"} knitr::include_graphics("Abbildungen/birth_weights_2.pdf") ``` # \large \setstretch{2.5} \vfill Motivation Bedingte Korrelation Partielle Korrelation Anwendung/Praxis **Selbstkontrollfragen** \vfill # Selbstkontrollfragen \small \setstretch{3} 1. Erläutern Sie die Motivation zur Bestimmung bedingter und partieller Korrelationen. 1. Definieren Sie die Begriffe der bedingten Kovarianz und der bedingten Korrelation. 1. Geben Sie das Theorem zu bedingter Korr. und Korrelationen bei Normalverteilung wieder. 1. Definieren Sie den Begriff der partiellen Korrelation. 1. Definieren Sie den Begriff der partiellen Stichprobenkorrelation. 1. Geben Sie das Theorem zu bedingter und partieller Korrelation bei Normalverteilung wieder. 1. Erläutern Sie die Berechnung einer partiellen Korrelation anhand eines Anwendungsbeispiels. \vfill # Referenzen