---
fontsize: 8pt
format:
    beamer:
        include-in-header: "9_Header.tex"
bibliography: 9_Referenzen.bib
csl: https://www.zotero.org/styles/apa
---

#  {.plain}

\center
```{r, echo = FALSE, out.width = "20%", fig.align = "center"}
knitr::include_graphics("9_Abbildungen/mv_9_otto.png")
```
\vspace{2mm}

\huge
Multivariate Verfahren
\vspace{4mm}

\large
MSc Psychologie | MSc Klinische Psychologie und Psychotherapie   

WiSe 2023/24

\vspace{4mm}
\normalsize
Prof. Dr. Dirk Ostwald

#  {.plain}

\vfill
\center
\huge
\textcolor{black}{(9) Hauptkomponentenanalyse}
\vfill

# 
\setstretch{1.8}
Hauptkomponentenanalyse = Principal Component Analysis (PCA).

PCA ist eine Featureselektionsmethode.

* "Features" sind die Komponenten multidimensionaler Zufallsvektoren.
* Korrelierte Features repräsentieren redundante Information.

PCA generiert ein korrelationsfreies Featureset durch lineare Featurekombination.

Die Durchführung einer PCA basiert auf

* einer *Orthonormalzerlegung* der *Stichprobenkovarianzmatrix* und
* einer anschließenden *Vektorkoordinatentransformation*.

PCA kannt zur *Kompression* hochdimensionaler Daten eingesetzt werden.


#
\vfill
\setstretch{3}
\large
Vektorraumbasen und Vektorkoordinatentransformationen

Definition und Eigenschaften

Datenkompression

Selbstkontrollfragen
\vfill

#
\vfill
\setstretch{3}
\large
**Vektorraumbasen und Vektorkoordinatentransformationen**

Definition und Eigenschaften

Datenkompression

Selbstkontrollfragen
\vfill


# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{definition}[Linearkombination]
\justifying
$\{v_1, v_2, ..., v_k\}$ sei eine Menge von $k$ Vektoren eines Vektorraums $V$.
Dann ist die \textit{Linearkombination} der Vektoren in $v_1, v_2, ..., v_k$ mit den
skalaren Koeffizienten $a_1, a_2,...,a_k$ definiert als der Vektor
\begin{equation}
w := \sum_{i=1}^k a_i v_i \in V.
\end{equation}
\end{definition}

\footnotesize
Bemerkung

* Als Beispiel seien in $\mathbb{R}^2$ 
\begin{equation}
v_1 := \begin{pmatrix} 2 \\ 1 \end{pmatrix},
v_2 := \begin{pmatrix} 1 \\ 1 \end{pmatrix},
v_3 := \begin{pmatrix} 0 \\ 1 \end{pmatrix}
\mbox{ und }
a_1 := 2, a_2 := 3, a_3 := 0.
\end{equation}
Dann ergibt sich
\begin{align}
\begin{split}
w 
= a_1v_1 + a_2v_2 + a_3v_3
= 2 \cdot \begin{pmatrix} 2 \\ 1 \end{pmatrix} + 3 \cdot \begin{pmatrix} 1 \\ 1 \end{pmatrix}  + 0 \cdot \begin{pmatrix} 0 \\ 1 \end{pmatrix}   
= \begin{pmatrix} 4 \\ 2 \end{pmatrix} + \begin{pmatrix} 3 \\ 3 \end{pmatrix} + \begin{pmatrix} 0 \\ 0 \end{pmatrix}          
= \begin{pmatrix} 7 \\ 5 \end{pmatrix}.
\end{split}
\end{align}

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{definition}[Lineare Hülle und Aufspannen]
\justifying
$V$ sei ein Vektorraum und es sei $W := \{w_1,...,w_k\} \subset V$. Dann ist die
\textit{lineare Hülle} von $W$ definiert als die Menge aller Linearkombinationen
der Elemente von $W$,
\begin{equation}
\mbox{Span}(W) := \left\lbrace \sum_{i=1}^k a_iw_i \vert a_1,...,a_k \mbox{ sind skalare Koeffizienten } \right\rbrace
\end{equation}
Man sagt, dass eine Menge von Vektoren $W \subseteq V$ \textit{einen Vektorraum $V$ aufspannt},
wenn jedes $v \in V$ als eine Linearkombination von Vektoren in $W$ geschrieben werden kann.
\end{definition}

\footnotesize
Bemerkungen

* Wenn eine Menge $W$ von Vektoren einen Vektorraum aufspannt, dann kann jedes 
Element des Vektorraums durch eine Linearkombination der Elemente der Menge $W$ 
gebildet werden.


# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{definition}[Lineare Unabhängigkeit]
\justifying
$V$ sei ein Vektorraum. Eine Menge $W := \{w_1, w_2, ...,w_k\}$ von Vektoren in $V$ heißt
\textit{linear unabhängig}, wenn die einzige Repräsentation des Nullelements
$0 \in V$ durch eine Linearkombination der $w \in W$ die triviale
Repräsentation
\begin{equation}
0 = a_1 w_1 + a_2 w_2 + \cdots + a_k w_k \mbox{ mit } a_1 = a_2 =  \cdots = a_k = 0
\end{equation}
ist. Wenn die Menge $W$ nicht linear unabhängig ist, dann heißt sie \textit{linear abhängig}.
\end{definition}

\footnotesize
Bemerkungen

* Prinzipiell müsste man für jede Linearkombination der $w \in W$ prüfen, ob sie Null ist.
* Die beiden folgenden Theoreme zeigen, dass es auch einfacher geht.


# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{theorem}[Lineare Abhängigkeit von zwei Vektoren]
\justifying
\normalfont
$V$ sei ein Vektorraum. Zwei Vektoren $v_1, v_2 \in V$ sind linear abhängig,
wenn einer der Vektoren ein skalares Vielfaches des anderen Vektors ist.
\end{theorem}
\footnotesize
\underline{Beweis}
\vspace{1mm}

$v_1$ sei ein skalares Vielfaches von $v_2$, also
\begin{equation}
v_1 = \lambda v_2 \mbox{ mit } \lambda \neq 0.
\end{equation}
Dann gilt
\begin{equation}
v_1 - \lambda v_2 = 0.
\end{equation}
Dies aber entspricht der Linearkombination
\begin{equation}
a_1v_1 + a_2v_2 = 0
\end{equation}
mit $a_1 = 1 \neq 0$ und  $a_2 = -\lambda \neq 0$. Es gibt also eine Linearkombination
des Nullelementes, die nicht die triviale Repräsentation ist, und damit sind
$v_1$ und $v_2$ nicht linear unabhängig.

# Vektorraumbasen und Vektorkoordinatentransformationen
\setstretch{1.1}
\small
\begin{theorem}[Lineare Abhängigkeit einer Menge von Vektoren]
\justifying
\normalfont
$V$ sei ein Vektorraum und $w_1,...,w_k \in V$ sei eine Menge von Vektoren in $V$.
Wenn einer der Vektoren $w_i$ mit $i = 1,...,k$ eine Linearkombination der anderen
Vektoren ist, dann ist die Menge der Vektoren linear abhängig.
\end{theorem}

\footnotesize
\underline{Beweis}

Die Vektoren $w_1,...,w_k$ sind genau dann linear abhängig, wenn gilt, dass
$\sum_{i=1}^k a_i w_i = 0$ mit mindestens einem $a_i \neq 0$ . Es sei also zum
Beispiel $a_j \neq 0$. Dann gilt
\begin{equation}
0 = \sum_{i=1}^k a_i w_i = \sum_{i=1, i \neq j}^k a_i w_i + a_jw_j
\end{equation}
Also folgt
\begin{equation}
a_jw_j  = - \sum_{i=1, i \neq j}^k a_i w_i
\end{equation}
und damit
\begin{equation}
w_j  = - a_j^{-1}\sum_{i=1, i \neq j}^k a_i w_i = - \sum_{i=1, i \neq j}^k (a_j^{-1}a_i) w_i
\end{equation}
Also ist $w_j$ eine Linearkombination der $w_i$ für $i = 1,...,k$ mit $i \neq j$.
$\hfill \Box$


# Vektorraumbasen und Vektorkoordinatentransformationen
\setstretch{1.1}
\small
\begin{theorem}[Orthonormalität und lineare Unabhängigkeit in $\mathbb{R}^m$]
\justifying
\normalfont
$q_1,...,q_m$ seien orthonormale Vektoren in $\mathbb{R}^m$, es gelte also
\begin{equation}
q_i^Tq_j = 
\begin{cases}
1 &  i    = j \\
0 &  i \neq j
\end{cases}
\mbox{ für }
1 \le i,j\le m.
\end{equation}
Dann sind die $q_1,...,q_m$ linear unabhängig.
\end{theorem}

\footnotesize
\underline{Beweis}

Für $i = 1,...,m$ gilt, dass
\begin{align}
\begin{split}
                 a_1q_1 + a_2q_2 + \cdots + a_mq_m       & = 0_m          \\
\Leftrightarrow (a_1q_1 + a_2q_2 + \cdots + a_mq_m)^T    & = 0_m^T        \\
\Leftrightarrow (a_1q_1 + a_2q_2 + \cdots + a_mq_m)^Tq_i & = 0_m^Tq_i    \\
\Leftrightarrow \sum_{j = 1}^m a_jq_j^Tq_i & = 0                          \\
\Leftrightarrow a_i  & = 0.
\end{split}
\end{align}
Die einzige Repräsentation des Nullelements $0_m$ durch eine Linearkombination 
der $q_1,...,q_m$ ist also die triviale Repräsentation und die $q_1,...,q_m$ sind linear unabhängig.
 

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{definition}[Basis]
$V$ sei ein Vektorraum und es sei $B \subseteq V$. Dann heißt $B$ eine
\textit{Basis von $V$}, wenn
\begin{itemize}
\item die Vektoren in $B$ den Vektorraum $V$ aufspannen und
\item die Vektoren in $B$ linear unabhängig sind.
\end{itemize}
\end{definition}

\footnotesize
Bemerkung

* Vektorräume haben in der Regel unendlich viele Basen.
* Wir zeigen unten, dass die Forderung der linearen Unabhängigkeit der Vektoren 
  einer Basis impliziert, dass die Darstellung eines Vektors in $V$ durch die 
  Linearkombination der Vektoren in $B$ eindeutig ist.

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{theorem}[Eigenschaften von Basen]
\justifying
\normalfont
$V$ sei ein Vektorraum. Dann gelten folgende Eigenschaften für Basen von $V$.
\begin{itemize}
\item Alle Basen von $V$ haben die gleiche Kardinalität und diese wird die \textit{Dimension} von $V$ genannt.
\item Jede Menge von $m$ linear unabhängigen Vektoren ist Basis eines $m$-dimensionalen Vektorraums.
\end{itemize}
\end{theorem}

\footnotesize
Bemerkung

* Wir verzichten auf einen Beweis des sehr tiefen Theorems.

# Vektorraumbasen und Vektorkoordinatentransformationen
\small

\begin{definition}[Basisdarstellung und Koordinaten]
\justifying
$B := \{b_1,...,b_m\}$ sei eine Basis eines $m$-dimensionalen Vektorraumes $V$
und es sei $v \in V$. Dann heißt die Linearkombination
\begin{equation}
v = \sum_{i = 1}^m c_i b_i
\end{equation}
die \textit{Darstellung von $v$ bezüglich der Basis $B$} und die Koeffizienten
$c_1,...,c_m$ heißen die \textit{Koordinaten von $v$ bezüglich der Basis $B$}.
\end{definition}

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{theorem}[Eindeutigkeit der Basisdarstellung]
\normalfont
Die Basisdarstellung eines $v \in V$ bezüglich einer Basis $B$ ist eindeutig.
\end{theorem}

\footnotesize
\underline{Beweis}
\vspace{1mm}

Ohne Beschränkung der Allgemeinheit nehmen wir an, dass der Vektorraum von Dimension
$m$ ist. Nehmen wir an, dass zwei Darstellungen von $v$ bezüglich der Basis $B$
existieren, also dass
\begin{align}
\begin{split}
v & = a_1 b_1 + \cdots + a_m b_m \\
v & = c_1 b_1 + \cdots + c_m b_m
\end{split}
\end{align}
Subtraktion der unteren von der oberen Gleichung ergibt
\begin{equation}
0 = (a_1 - c_1) b_1 + \cdots + (a_m - c_m) b_m
\end{equation}
Weil die $b_1,...,b_m$ linear unabhängig sind, gilt aber, dass $(a_i - c_i) = 0$
für alle $i = 1,...,m$ und somit sind die beiden Darstellungen von $v$ bezüglich
der Basis $B$ identisch.

$\hfill\Box$

\footnotesize
Bemerkung

* Die lineare Unabhängigkeit von Basisvektoren garantiert also, dass ein Vektor 
  zu einer gegebenen Basis nur eine Darstellung, also insbesondere nur ein einziges 
  Set an Koordinaten $c_1,...,c_m$ hat und nicht etwa mehrere.

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{definition}[Orthonormalbasis von $\mathbb{R}^m$]
\justifying
Eine Basis $B := \{q_1,...,q_m\}$ von $\mathbb{R}^m$ heißt \textit{Orthonormalbasis} 
von $\mathbb{R}^m$, wenn $B$ eine Menge orthonormaler Vektoren ist, wenn also gilt, 
dass
\begin{equation}
q_i^Tq_j =
\begin{cases}
1 	& i = j 	\\
0 	& i \neq j
\end{cases}
\mbox{ für } 1 \le i,j \le m.
\end{equation}
\end{definition}

\footnotesize
Bemerkungen

* Bei einer Orthonormalbasis von $\mathbb{R}^m$ sind die Basisvektoren orthonormal.
* Man beachte, dass eine Basis von $\mathbb{R}^m$ nicht aus orthonormalen Vektoren bestehen muss.


# Vektorraumbasen und Vektorkoordinatentransformationen
\small
Beispiel (Orthonormalbasis von $\mathbb{R}^2$)

\footnotesize
Es ist
\begin{equation}
B_1 :=
\left\lbrace
\begin{pmatrix}
1 \\ 0
\end{pmatrix},
\begin{pmatrix}
0 \\ 1
\end{pmatrix}
\right\rbrace
\end{equation}
eine Orthonormalbasis von $\mathbb{R}^2$, denn $B_1$ ist eine Basis und besteht 
aus orthonormalen Vektoren. Dabei erkennt man die Orthonormalität der Elemente
von $B_1$ zunächst an
\begin{align}
\begin{split}
\begin{pmatrix}
1 & 0
\end{pmatrix}
\begin{pmatrix}
1 \\ 0
\end{pmatrix}
& = 1 \cdot 1 + 0 \cdot 0 = 1 + 0 = 1
\\
\begin{pmatrix}
0 & 1
\end{pmatrix} 
\begin{pmatrix}
0 \\ 1
\end{pmatrix}
& = 0 \cdot 0 + 1 \cdot 1 = 0 + 1 = 1
\\
\begin{pmatrix}
1 & 0
\end{pmatrix}
\begin{pmatrix}
0 \\ 1
\end{pmatrix}
& = 1 \cdot 0 + 0 \cdot 1 = 0 + 0 = 0
\end{split}
\end{align}
Da die Orthonormalität zweier Vektoren in $\mathbb{R}^2$ ihre lineare Unabhängkeit impliziert,
sind die Elemente von $B_1$ auch linear unabhängig. Wir wollen schließlich noch nachweisen, dass die Elemente
von $B_1$ den Vektorraum $\mathbb{R}^2$ aufspannen, dass also jedes $v \in \mathbb{R}^2$ durch 
eine Linearkombination der Elemente von $B_1$ geschrieben werden kann. Dazu sei $v = (v_1,v_2)^T \in \mathbb{R}^m$ beliebig. Dann aber gilt 
\begin{equation}
v 
= \begin{pmatrix} v_1 \\ v_2 \end{pmatrix} 
= c_1 \begin{pmatrix} 1 \\ 0 \end{pmatrix} + c_2 \begin{pmatrix} 0 \\ 1 \end{pmatrix}
\mbox{ für } c_1 := v_1 \mbox{ und } c_2 := v_2  
\end{equation}
und damit ist $B_1$ eine Orthonormalbasis von $\mathbb{R}^2$.

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{theorem}[Kanonische Basis von $\mathbb{R}^m$]
\justifying
\normalfont
Es sei
\begin{equation}
B :=
\left\lbrace
e_1,...,e_m
\vert
e_{i_j} = 1 \mbox{ für } i =  j \mbox{ und } e_{i_j} =  0 \mbox{ für } i \neq j
\right\rbrace
\subset \mathbb{R}^m.
\end{equation}
Dann ist $B$ eine Orthonormalbasis von $\mathbb{R}^m$ und wird die \textit{kanonische Basis} 
von $\mathbb{R}^m$ genannt.
\end{theorem}

\footnotesize
\underline{Beweis}

Im Sinne der Definition einer Basis müssen wir zeigen, dass die Elemente von $B$ linear
unabhängig sind. Dies folgt aber direkt aus der Orthonormalität der Elemente von $B$.
Weiterhin müssen wir zeigen, dass die Elemente von $B$ den Vektorraum $\mathbb{R}^m$
aufspannen, dass also jeder Vektor $v \in \mathbb{R}^m$ als Linearkombination der
Elemente von $B$ geschrieben werden kann. Sei also $v \in \mathbb{R}^m$ beliebig.
Dann kann $v := (v_1,...,v_m)^T$ geschrieben werden als
\begin{equation}
v = \sum_{i = 1}^m c_ie_i \mbox{ mit } c_i := v_i.
\end{equation}
$\hfill \Box$

Bemerkungen

* Die kanonische Basis von $\mathbb{R}^3$ ist zum Beispiel
$B :=
\left\lbrace
\begin{pmatrix}
1 \\ 0 \\ 0
\end{pmatrix},
\begin{pmatrix}
0 \\ 1 \\ 0
\end{pmatrix},
\begin{pmatrix}
0 \\ 0 \\ 1
\end{pmatrix}
\right\rbrace$.


# Vektorraumbasen und Vektorkoordinatentransformationen
\small
Beispiel (Eine nichtkanonische Orthonormalbasis von $\mathbb{R}^2$)

\footnotesize
Neben $B_1$ ist auch
\begin{equation}
B_2 :=
\left\lbrace
\begin{pmatrix}
\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}}
\end{pmatrix},
\begin{pmatrix}
- \frac{1}{\sqrt{2}} \\ \quad \frac{1}{\sqrt{2}}
\end{pmatrix}
\right\rbrace
\end{equation}
eine Orthonormalbasis von $\mathbb{R}^2$, denn $B_2$ ist ebenfalls eine Basis von 
$\mathbb{R}^2$ und besteht ebenfalls aus orthonormalen Vektoren. Dabei erkennt man 
die Orthonormalität der Elemente von $B_2$ zunächst an
\begin{align}
\begin{split}
\begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{pmatrix} 
\begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}
&
= \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}}
= \frac{1}{2} + \frac{1}{2}
= 1
\\
\begin{pmatrix} - \frac{1}{\sqrt{2}} &   \frac{1}{\sqrt{2}} \end{pmatrix}
\begin{pmatrix} - \frac{1}{\sqrt{2}} \\  \frac{1}{\sqrt{2}} \end{pmatrix}
&
= \left(- \frac{1}{\sqrt{2}} \right)\cdot \left(- \frac{1}{\sqrt{2}} \right) + \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}}
= \frac{1}{2} + \frac{1}{2}
= 1
\\
\begin{pmatrix} -\frac{1}{\sqrt{2}} &   \frac{1}{\sqrt{2}} \end{pmatrix}
\begin{pmatrix}  \frac{1}{\sqrt{2}} \\  \frac{1}{\sqrt{2}}     \end{pmatrix}
&
= - \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}} + \frac{1}{\sqrt{2}} \cdot \frac{1}{\sqrt{2}}
= - \frac{1}{2} + \frac{1}{2}
= 0.
\end{split}
\end{align}
Da die Orthonormalität zweier Vektoren in $\mathbb{R}^2$ ihre lineare Unabhängkeit impliziert,
sind die Elemente von $B_2$ auch linear unabhängig. Es bleibt also nachzuweisen, dass die Elemente
von $B$ den Vektorraum $\mathbb{R}^2$ aufspannen, dass also jedes $v \in \mathbb{R}^2$ durch 
eine Linearkombination der Elemente von $B_2$ geschrieben werden kann. 

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
Beispiel (Eine nichtkanonische Orthonormalbasis von $\mathbb{R}^2$ fortgeführt)

\footnotesize
Sei also $v \in \mathbb{R}^m$ beliebig. Dann gilt, dass
\begin{equation}
v 
= \begin{pmatrix} v_1 \\ v_2 \end{pmatrix} 
= c_1 \begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}  + c_2 \begin{pmatrix} -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix} 
\mbox{ für } c_1 := \frac{\sqrt{2}}{2}(v_1 + v_2) \mbox{ und }  c_2 := \frac{\sqrt{2}}{2}(v_2 - v_1),    
\end{equation}
denn dann ist
\begin{align}
\begin{split}
  c_1 \begin{pmatrix}  \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}  
+ c_2 \begin{pmatrix} -\frac{1}{\sqrt{2}} \\ \quad \frac{1}{\sqrt{2}} \end{pmatrix} 
& =
  \frac{\sqrt{2}}{2}(v_1 + v_2) \begin{pmatrix}  \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix}  
+ \frac{\sqrt{2}}{2}(v_2 - v_1) \begin{pmatrix} -\frac{1}{\sqrt{2}} \\ \quad \frac{1}{\sqrt{2}} \end{pmatrix} \\
& =
\frac{1}{2}(v_1 + v_2) \begin{pmatrix} 1 \\ 1 \end{pmatrix}  + \frac{1}{2}(v_2 - v_1)\begin{pmatrix} - 1 \\ \quad 1 \end{pmatrix} \\
& =
\begin{pmatrix} \frac{1}{2}(v_1 + v_2) - \frac{1}{2}(v_2 - v_1) \\ \frac{1}{2}(v_1 + v_2) + \frac{1}{2}(v_2 - v_1) \end{pmatrix} \\
& =
\begin{pmatrix} \frac{1}{2}v_1 + \frac{1}{2}v_2 - \frac{1}{2}v_2 + \frac{1}{2}v_1  \\ \frac{1}{2}v_1 + \frac{1}{2}v_2 + \frac{1}{2}v_2 - \frac{1}{2}v_1 \end{pmatrix} \\
& =
\begin{pmatrix} v_1 \\ v_2 \end{pmatrix} \\
& =
v. 
\end{split}
\end{align}
Damit ist $B_2$ eine Orthonormalbasis von $\mathbb{R}^2$.




# Vektorraumbasen und Vektorkoordinatentransformationen
Kanonische und nichtkanonische Orthonormalbasen $B_1$ und $B_2$ von $\mathbb{R}^2$
\vspace{-2mm}
```{r, eval = F, echo = F}
# Abbildungsparameter
library(latex2exp)
pdf(                                                                     
file        = "./9_Abbildungen/mv_9_basen_R2.pdf",                 
width       = 6,                                                         
height      = 4)
par(
family      = "sans",
mfcol       = c(1,1),
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .95,
cex.main    = 1.2)

# Vektordefinitionen
x           = c(1,0)
y           = c(0,1)
v           = 1/sqrt(2)*c(1,1)
w           = 1/sqrt(2)*c(-1,1)
p           = c(1/3,2/3)

# Visualisierung
plot(
NULL,
xlab        = TeX("$x_1$"),
ylab        = TeX("$x_2$"),
xlim        = c(-1.2,1.2),
ylim        = c(0,1.2))
grid()
points(
p[1],
p[2],
pch = 19,
xpd = TRUE,
col = c("gray80"))
text(0.75 ,0.15, TeX("$B_1$"), col = "deepskyblue", cex = 1.5)
text(-0.45,0.65, TeX("$B_2$"), col = "red", cex = 1.5)
arrows(
x0          = c(0,0,0,0),
y0          = c(0,0,0,0),
x1          = c(x[1],y[1],v[1],w[1]),
y1          = c(x[2],y[2],v[2],w[2]),
angle       = 20,
length      = .1,
xpd         = TRUE,
lwd         = 2,
col         = c("deepskyblue", "deepskyblue","red", "red"))
dev.off()
```

```{r, echo = FALSE, out.width = "80%", fig.align = "center"}
knitr::include_graphics("9_Abbildungen/mv_9_basen_R2.pdf")
```
\vspace{-2mm}
\small

Im Rahmen der Hauptkomponentenanalyse sind wir daran interessiert, basierend 
auf den Koordinaten eines Vektors bezüglich einer Basis die Koordinaten desselben 
Vektors bezüglich einer anderen Basis zu berechnen. Dazu führen wir im Folgenden 
die Begriffe der *Orthogonalprojektion*, der *Vektorkoordinaten bezüglich einer 
Orthogonalbasis* und der *Vektorkoordinatentransformation* ein.

# Vektorraumbasen und Vektorkoordinatentransformationen
\small
\begin{definition}[Orthogonalprojektion]
$x$ und $q$ seien Vektoren im Euklidischen Vektorraum $\mathbb{R}^m$. Dann ist die
\textit{Orthogonalprojektion von $x$ auf $q$} definiert als der Vektor
\begin{equation}
\tilde{x} = aq \mbox{ mit } a := \frac{q^T x}{q^T q},
\end{equation}
wobei der Skalar $a$ \textit{Projektionsfaktor} genannt wird.
\end{definition}

\footnotesize
Bemerkungen

* Per definition ist  $\tilde{x} = aq$ mit $a \in \mathbb{R}$ der Punkt in Richtung von $q$ der $x$ am nähesten ist.
* Diese minimierte Distanzeigenschaft impliziert die Orthogonalität von $q$ und $x - \tilde{x}$.
* Die Formel von $a$ folgt direkt aus der Orthogonalität von $x - \tilde{x}$ und $q$, da gilt
\begin{equation}
q^T(x - \tilde{x}) = 0
\Leftrightarrow
q^T(x - aq) = 0
\Leftrightarrow
q^Tx - aq^Tq = 0
\Leftrightarrow
a = \frac{q^Tx}{q^Tq}.
\end{equation}
* Wenn $q$ die Länge $||q|| = \sqrt{q^Tq} = 1$ hat, dann gilt $a = \frac{q^T x}{||q||^2} = q^T x$.
* Die Orthogonalprojektion von $x$ auf $q$ wird manchmal auch einfach als *Projektion von $x$ auf $q$* bezeichnet

# Vektorraumbasen und Vektorkoordinatentransformationen
Orthogonalprojektion

```{r, echo = FALSE, out.width = "50%", fig.align = "center"}
knitr::include_graphics("9_Abbildungen/mv_9_orthogonale_vektorprojektion.pdf")
```

# Vektorraumbasen und Vektorkoordinatentransformationen
\footnotesize
\begin{theorem}[Vektorkoordinaten bezüglich einer Orthogonalbasis]
\justifying
\normalfont
Es sei $x \in \mathbb{R}^m$ und es sei $B := \{q_1,...,q_m\}$ eine Orthonormalbasis
von $\mathbb{R}^m$. Dann ergeben sich für $i = 1,...,m$ die Koordinaten $c_i$ in
der Basisdarstellung von $x$ bezüglich $B$ als die Projektionsfaktoren
\begin{equation}
c_i = x^T q_i
\end{equation}
in der Orthogonalprojektion von $x$ auf $q_i$. Äquivalent ist die
Basisdarstellung von $x$ bezüglich $B$ gegeben durch
\begin{equation}
x = \sum_{i=1}^m (x^T q_i)q_i.
\end{equation}
\end{theorem}

\footnotesize
\underline{Beweis}

Für $i = 1,...,m$ gilt
\begin{equation}
x = \sum_{j=1}^m c_j q_j
\Leftrightarrow
q_i^T x = q_i^T \sum_{j=1}^m c_j q_j
\Leftrightarrow
q_i^T x = \sum_{j=1}^m c_j q_i^Tq_j
\Leftrightarrow
q_i^T x = c_i
\Leftrightarrow
c_i = x^T q_i.
\end{equation}

Bemerkung

* Hinsichtlich der kanonischen Basis von $\mathbb{R}^m$ ergibt sich offenbar $c_i = x^Te_i = x_i$ für $i = 1,...,m$.

# Vektorraumbasen und Vektorkoordinatentransformationen
\footnotesize
\begin{theorem}[Vektorkoordinatentransformation]
\justifying
\normalfont
$B_v := \{v_1,...,v_m\}$ und $B_w := \{w_1,...,w_m\}$ seien zwei Orthonormalbasen
eines Vektorraums. $A \in \mathbb{R}^{m \times m}$ sei die Matrix, die durch die
spaltenweise Konkatenation der Koordinaten der Vektoren in $B_w$ in der Basisdarstellung
bezüglich der Basis $B_v$ ergibt. Dann können die Koordinaten $x_i, i = 1,...,m$
eines Vektors $x$ bezüglich der Basis $B_v$ in die Koordinaten $\tilde{x}_1,...,\tilde{x}_m$
des Vektors bezüglich der Basis $B_w$  durch
\begin{equation}
\tilde{x} = A^T x
\end{equation}
transformiert werden. Analog können die Koordinaten $\tilde{x}_1,...,\tilde{x}_m$
des Vektors hinsichtlich der Basis $B_w$ in die Koordinaten $x_1,...,x_m$ des
Vektors hinsichtlich $B_v$ durch
\begin{equation}
x = A \tilde{x}.
\end{equation}
transformiert werden.
\end{theorem}

\footnotesize
Bemerkungen

* \justifying Das Theorem erlaubt die Berechnung von Vektorkoordinaten bezüglich einer anderen Orthonormalbasis.
* Für die Berechnung muss zunächst die Matrix $A$ gebildet und dann (nur) entsprechend multipliziert werden.
* Wir verzichten auf einen Beweis und demonstrieren das Theorem an einem Beispiel.

\small
\center
Ein Vektor wird hier als  fester Punkt in $\mathbb{R}^m$ betrachtet; die Komponenten 
(Zahlen) des Vektors werden dagegen nur als Koordinaten bezüglich einer spezifischen Basis interpretiert. 

# Vektorraumbasen und Vektorkoordinatentransformationen
Beispiel

```{r, echo = FALSE, out.width = "90%", fig.align = "center"}
knitr::include_graphics("9_Abbildungen/mv_9_vektorkoordinatentransformation.pdf")
```
\center
\vspace{1mm}
\small
Man beachte, dass $x$ und $\tilde{x}$ am selben Ort in $\mathbb{R}^2$ liegen. 


# Vektorraumbasen und Vektorkoordinatentransformationen
\vspace{1mm}
Beispiel

\footnotesize
\setstretch{1.2}
Wir nehmen an, dass wir die Koordinaten von $x = (1/3, 2/3)^T \in \mathbb{R}^2$
hinsichtlich der kanonischen Orthonormalbasis $B_v :=\{e_1,e_2\}$ in die Koordinaten
bezüglich der Basis
\begin{equation}
B_w :=
\left\lbrace
\begin{pmatrix}
\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}}
\end{pmatrix},
\begin{pmatrix}
-\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}}
\end{pmatrix}
\right\rbrace
\end{equation}
transformieren wollen. Die Basisdarstellungen der in Vektoren $B_w$ bezüglich der Basisvektoren in $B_v$ sind
\begin{equation}
\begin{pmatrix}
\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}}
\end{pmatrix}
=
a_{11}
\begin{pmatrix}
1 \\ 0
\end{pmatrix}
+
a_{21}
\begin{pmatrix}
0 \\ 1
\end{pmatrix}
\mbox{ und }
\begin{pmatrix}
-\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}}
\end{pmatrix}
=
a_{12}
\begin{pmatrix}
1 \\ 0
\end{pmatrix}
+
a_{22}
\begin{pmatrix}
0 \\ 1
\end{pmatrix}.
\end{equation}
Die Projektionsfaktoren der Orthogonalprojektionen der Vektoren in $B_w$ auf die
Vektoren in $B_v$ sind
\begin{equation}
a_{11} =  \frac{1}{\sqrt{2}},
a_{21} =  \frac{1}{\sqrt{2}},
a_{12} = -\frac{1}{\sqrt{2}},
a_{22} =  \frac{1}{\sqrt{2}}.
\end{equation}
Die Transformationsmatrix $A \in \mathbb{R}^{m \times m}$ in obigem Theorem ergibt sich also zu
\begin{equation}
A =
\begin{pmatrix}
a_{11} & a_{12} \\
a_{21} & a_{22} \\
\end{pmatrix}
=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} &  \frac{1}{\sqrt{2}} \\
\end{pmatrix}.
\end{equation}
Die Vektorkoordinatentransformation von $x \in \mathbb{R}^2$ ergibt sich also zu
\begin{equation}
\tilde{x}
= A^T x
= \begin{pmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} 	\\
-\frac{1}{\sqrt{2}} &  \frac{1}{\sqrt{2}} 	\\
\end{pmatrix}
\begin{pmatrix}
\frac{1}{3} \\
\frac{2}{3}
\end{pmatrix}
\approx
\begin{pmatrix}
0.70 \\
0.23
\end{pmatrix}.
\end{equation}  

#
\vfill
\setstretch{3}
\large
Vektorraumbasen und Vektorkoordinatentransformationen

**Definition und Eigenschaften** 

Datenkompression

Selbstkontrollfragen
\vfill   

# Definition und Eigenschaften
\footnotesize
\begin{definition}[Hauptkomponentenanalyse]
\justifying
$\mathbb{C}(\xi)$ sei die Kovarianzmatrix eines $m$-dimensionalen Zufallsvektors $\xi$.
Dann heißt die Orthonormalzerlegung
\begin{equation}
\mathbb{C}(\xi) = Q \Lambda Q^T,
\end{equation}
wobei
\begin{itemize}
\item $Q \in \mathbb{R}^{m\times m}$ die Matrix der spaltenweisen Konkatenation der Eigenvektoren von $\mathbb{C}(\xi)$ und
\item $\Lambda \in \mathbb{R}^{m \times m}$ die Diagonalmatrix der zugehörigen Eigenwerte bezeichnen,
\end{itemize}
die \textit{Hauptkomponentenanalyse} von $\mathbb{C}(\xi)$ und die Spalten von $Q$ heißen die \textit{Hauptkomponenten} von $\mathbb{C}(\xi)$. Der $m$-dimensionale Zufallsvektor
\begin{equation}
\tilde{\xi} =Q^T\xi
\end{equation}
heißt \textit{Hauptkomponenten-transformierter oder Hauptkomponenten-projizierter Zufallsvektor}.
\end{definition}

\footnotesize
Bemerkungen

* Man spricht auch von der Hauptkomponentenanalyse/den Hauptkomponenten von $\xi$.

# Definition und Eigenschaften
\footnotesize
\begin{theorem}[Basiseigenschaften der Hauptkomponentenanalyse]
\normalfont
\justifying
$\mathbb{C}(\xi) \in \mathbb{R}^{m \times m}$ sei die Kovarianzmatrix eines
$m$-dimensionalen Zufallsvektors $\xi$, es sei $\mathbb{E}(\xi) = 0_m$ und es sei
\begin{equation}
\mathbb{C}(\xi) = Q \Lambda Q^T,
\end{equation}
die Hauptkomponentenanalyse von $\mathbb{C}(\xi)$. Dann gelten:
\begin{itemize}
\item[(1)] Die Spalten von $Q$, also die Hauptkomponenten von $\mathbb{C}(\xi)$, bilden eine Orthonormalbasis von $\mathbb{R}^m$.
\item[(2)] Multiplikation mit $Q^T$ transformiert die Koordinaten von $\xi$ bezüglich der kanonischen Basis von $\mathbb{R}^m$ 
in Koordinaten bezüglich der Hauptkomponenten von $\mathbb{C}(\xi)$.
\end{itemize}
\end{theorem}

Bemerkungen

* Werte von $\xi$ werden üblicherweise zunächst hinsichtlich der kanonischen Basis von $\mathbb{R}^m$ verstanden.
* Die Hauptkomponentenanalyse resultiert in einer alternativen Orthonormalbasis für möglichen Werte von $\xi$.
* $\tilde{\xi}$ entspricht den Koordinaten von $\xi$ bezüglich dieser alternativen Orthonormalbasis.

# Definition und Eigenschaften
\footnotesize
\underline{Beweis}

\noindent (1) Mit dem Theorem zu den Eigenschaften von Basen gilt, dass jede Menge von $m$ linear 
unabhängigen Vektoren Basis eines $m$-dimensionalen Vektorraums ist. Weiterhin gilt 
mit dem Theorem zu Orthonormalität und linearer Unabhängigkeit, dass $m$ orthonormale 
Vektoren in $\mathbb{R}^m$ auch $m$ linear unabhängige Vektoren in $\mathbb{R}^m$ sind.
Damit sind die Spalten von $Q$ $m$ linear unabhängige Vektoren in $\mathbb{R}^m$ und folglich eine Basis 
von $\mathbb{R}^m$. 

\noindent (2) Wir betrachten das Theorem zur Vektorkoordinatentransformation und setzen 
$B_v := \{e_1,...,e_m\}$ und $B_w := \{q_1,...,q_m\}$ mit den Spalten 
$q_1,...,q_m \in \mathbb{R}^{m}$ von $Q$. Dann gilt, dass $Q \in \mathbb{R}^{m \times m}$ 
die Matrix ist, die sich durch die spaltenweise Konkatenation der Koordinaten 
der Vektoren in $B_w$ in der Basisdarstellung bezüglich der Basis $B_v$ ergibt, 
denn für $i = 1,...,m$ gilt, dass die Basisdarstellung von $q_i$ bezüglich der 
kanonischen Basis $B_v$ gegeben ist durch
\begin{equation}
q_i
= \sum_{j=1}^m (q_i^Te_j)e_j
= \sum_{j=1}^m q_{i_j} e_j = q_i.
\end{equation}
Äquivalent ist natürlich jeder Vektor $q \in \mathbb{R}^m$ schon immer identisch mit der
Basisdarstellung von $q$ bezüglich der kanonischen Basis. Damit folgt aber mit dem
Theorem zur Vektorkoordinatentransformation direkt, dass der Hauptkomponenten-projizierte
Zufallsvektor
\begin{equation}
\tilde{\xi} =Q^T\xi
\end{equation}
aus den Koordinaten des Vektors bezüglich der Hauptkomponenten von $\mathbb{C}(\xi)$ besteht.

# Definition und Eigenschaften
\setstretch{1.2}
\footnotesize
\begin{theorem}[Kovarianzeigenschaften der Hauptkomponentenanalyse]
\normalfont
\justifying
$\mathbb{C}(\xi) \in \mathbb{R}^{m \times m}$ sei die Kovarianzmatrix eines
$m$-dimensionalen Zufallsvektors $\xi$, es sei $\mathbb{E}(\xi) = 0_m$ und es sei
\begin{equation}
\mathbb{C}(\xi) = Q \Lambda Q^T,
\end{equation}
die Hauptkomponentenanalyse von $\mathbb{C}(\xi)$. Dann gelten
\begin{itemize}
\justifying
\item[(1)] Die Kovarianzmatrix des Hauptkomponenten-transformierten Zufallsvektors ist die Diagonalmatrix $\Lambda$,
es gilt also insbesondere $\mathbb{V}(\tilde{\xi}_i) = \lambda_i$ für $i = 1,...,m$ und 
$\mathbb{C}(\tilde{\xi}_i, \tilde{\xi}_j) = 0$  für  $i \neq j, 1 \le i,j \le m$.
\item[(2)] Die Summen der Varianzen der Komponenten von $\xi$ und der Komponenten von $\tilde{\xi}$ sind identisch,
\begin{equation}
\sum_{i=1}^m \mathbb{V}(\xi_i) = \sum_{i=1}^m \mathbb{V}(\tilde{\xi}_i). 
\end{equation}
\end{itemize}
\end{theorem}
\vspace{-2mm}
Bemerkungen
\vspace{-2mm}

* Bei Annahme von $\lambda_1 > \lambda_2 > \cdots > \lambda_m$ mit zugehörigen Eigenvektoren $q_1, ...,q_m$ gilt
\begin{equation}
\mathbb{V}(\tilde{\xi}_1) > \mathbb{V}(\tilde{\xi}_2) > \cdots > \mathbb{V}(\tilde{\xi}_m)
\Leftrightarrow
\mathbb{V}(q_1^T \xi)     > \mathbb{V}(q_2^T \xi)     > \cdots > \mathbb{V}(q_m^T \xi).
\end{equation}
und  $q_1^T \xi$ maximiert die Varianz der unkorrelierten Linearkombinationen der Komponenten von $\xi$
mit orthonormalen Koeffizientenvektoren.
* Die paarweise nicht-identischen Kovarianzen der Komponenten von $\tilde{\xi}$ sind Null, 
die Komponenten von $\tilde{\xi}$ sind also unkorreliert und repräsentieren keine redundante Information.
* Die Gesamtvarianz der Komponenten von $\xi$ und $\tilde{\xi}$ sind identisch, wobei 
Gesamtvarianz hier im Sinne der Summe der Varianzen der jeweiligen Komponenten zu verstehen ist. 

# Definition und Eigenschaften
\footnotesize
\underline{Beweis}

\noindent (1) Wir erinnern zunächst daran, dass die inverse Matrix einer orthogonalen
Matrix $Q$ durch $Q^T$ gegeben ist. Mit  $QQ^T = Q^TQ = I_m$ gilt dann, dass
\begin{equation}
\mathbb{C}(\xi) = Q \Lambda Q^T
\Leftrightarrow
Q^T\mathbb{C}(\xi)Q = Q^TQ \Lambda Q^T Q
\Leftrightarrow
Q^T\mathbb{C}(\xi)Q = \Lambda.
\end{equation}
Weiterhin gilt, dass mit $\mathbb{E}(\xi) = 0_m$ die Kovarianzmatrix von $\xi$ gegeben ist durch
\begin{equation}
\mathbb{C}(\xi)
= \mathbb{E}\left(\left(\xi - \mathbb{E}(\xi)\right) \left(\xi - \mathbb{E}(\xi)\right)^T\right)
= \mathbb{E}\left(\xi\xi^T\right).
\end{equation}
Damit ergibt sich für die Kovarianzmatrix des PCA-transformierte Vektors $\tilde{\xi} = Q^T\xi$ aber, dass
\begin{align}
\begin{split}
\mathbb{C}(\tilde{\xi})
& = \mathbb{E}\left(\left(\tilde{\xi} - \mathbb{E}(\tilde{\xi})\right) \left(\tilde{\xi} - \mathbb{E}(\tilde{\xi})\right)^T\right) \\
& = \mathbb{E}\left(\left(Q^T\xi - \mathbb{E}(Q^T\xi)\right) \left(Q^T\xi - \mathbb{E}(Q^T\xi)\right)^T\right) \\
& = \mathbb{E}\left(\left(Q^T\xi - Q^T\mathbb{E}(\xi)\right) \left(Q^T\xi- Q^T\mathbb{E}(\xi)\right)^T\right) \\
& = \mathbb{E}\left((Q^T\xi)(Q^T\xi)^T\right) 
 = Q^T\mathbb{E}\left(\xi\xi^T\right)Q 
 = Q^T\mathbb{C}(\xi)Q 
 = \Lambda.
\end{split}
\end{align}
\noindent (2) Wir erinnern daran, dass schon für jede symmetrische Matrix mit
verschiedenen Eigenwerten, also auch für positiv-semidefinite Matrizen mit verschiedenen
Eigenwerten die Spur gleich der Summe der Eigenwerte ist. Also gilt hier insbesondere
für die Eigenwerte $\lambda_1,...,\lambda_m$ von $\mathbb{C}(\xi)$
\begin{equation}
\sum_{i=1}^m \mathbb{V}(\xi_i) = \tr(\mathbb{C}(\xi)) = \sum_{i=1}^m \lambda_i = \sum_{i=1}^m \mathbb{V}(\tilde{\xi}_i)
\end{equation}

# Definition und Eigenschaften
\footnotesize
\begin{theorem}[Projektionseigenschaften der ersten Hauptkomponente]
\normalfont
\justifying
$\mathbb{C}(\xi) \in \mathbb{R}^{m \times m}$ sei die Kovarianzmatrix eines
$m$-dimensionalen Zufallsvektors $\xi$, es sei $\mathbb{E}(\xi) = 0_m$ und es sei
\begin{equation}
\mathbb{C}(\xi) = Q \Lambda Q^T,
\end{equation}
die Hauptkomponentenanalyse von $\mathbb{C}(\xi)$. $q_1\in \mathbb{R}^m$ 
sei die erste Spalte von $Q$, also der erste Eigenvektor von $\mathbb{C}(\xi)$, mit 
zugehörigen Diagonalelementen $\lambda_1$ von $\Lambda$, also dem größten 
Eigenwert von $\mathbb{C}(\xi)$. Dann gelten
\begin{itemize}
\item[(1)] Unter allen Orthogonalprojektion von $\xi$ auf Vektoren $v \in \mathbb{R}^m$
der Länge $\Vert v \Vert = 1$ hat der Projektionsfaktor
\begin{equation}
\alpha := q_1^T\xi
\end{equation}
der Orthogonalprojektion von $\xi$ auf $q_1$ die größte Varianz.
\item[(2)] Unter allen Orthogonalprojektionen $\tilde{\xi}_v := (v^T\xi)v$ von $\xi$ 
auf Vektoren $v \in \mathbb{R}^m$ der Länge $\Vert v \Vert = 1$ mit \textit{erwartetem quadratischem Fehler}
\begin{equation}
E(\xi_v) := \mathbb{E}\left(\Vert \xi - \tilde{\xi}_v \Vert^2 \right)
\end{equation}
hat die Orthogonalprojektion von $\xi$ auf die erste Hauptkomponente $q_1$, $\tilde{\xi}_1 := (q_1^T\xi)q$ 
den geringsten erwarteten quadratischen Fehler.
\end{itemize}
\end{theorem}  
Bemerkungen

* Man sagt auch oft etwas ungenau, dass die erste Hauptkomponente/der erste Eigenvektor
"die Varianz maximiert und den (Rekonstruktions)fehler minimiert".

# Definition und Eigenschaften
\footnotesize
\underline{Beweis}

\noindent (1) Die erste Aussage entspricht der Lösung des restringierten Optimierungsproblems
\begin{equation}
\max_{v \in \mathbb{R}^m} \mathbb{V}\left(v^T\xi\right) \mbox{ unter der Nebenbedingung } v^Tv = 1.
\end{equation}
Zu seiner Lösung geben wir zunächst eine Repräsentation der Varianz des Projektionsfaktors $v^T\xi$ 
durch die Kovarianzmatrix von $\xi$ an und lösen das Problem dann analytisch mithilfe seiner 
Lagrangefunktion. 

Es gilt zunächst aufgrund von $\mathbb{\xi} = 0_m$ und damit $\mathbb{C}(\xi) = \mathbb{E}\left(\xi\xi^T\right)$, dass
\begin{align}
\begin{split}
\mathbb{V}(\alpha)
& = \mathbb{V}\left(v^T\xi\right)                                               \\
& = \mathbb{E}\left(\left(v^T\xi - \mathbb{E}(v^T\xi)\right)^2\right)           \\
& = \mathbb{E}\left(\left(v^T\xi - v^T\mathbb{E}(\xi)\right)^2\right)           \\
& = \mathbb{E}\left(\left(v^T\xi\right)^2\right)                                \\
& = \mathbb{E}\left((v^T\xi)(v^T\xi)^T\right)                                   \\
& = \mathbb{E}\left(v\xi\xi^Tv\right)                                           \\
& = v^T\mathbb{E}\left(\xi\xi^T\right)v                                           \\
& = v^T\mathbb{C}\left(\xi\right)v                                               \\
\end{split}
\end{align}

# Definition und Eigenschaften
\footnotesize
\underline{Beweis (fortgeführt)}

Das restringierte Optimierungsproblem hat also die Form
\begin{equation}
\max_{v \in \mathbb{R}^m} v^T\mathbb{C}\left(\xi\right)v \mbox{ unter der Nebenbedingung } v^Tv = 1.
\end{equation}
Die Lagrangefunktion dieses Problems hat entsprechend die Formel
\begin{equation}
L : \mathbb{R}^m \times \mathbb{R}, (v,l) \mapsto L(v,l) := v^T\mathbb{C}\left(\xi\right)v - l(v^Tv - 1)
\end{equation}
wobei wir mit $l \in \mathbb{R}$ den Lagrangemultiplikator für die Nebenbedingung $v^Tv - 1 = 0$ bezeichnen.
Pragmatisches Ableiten der Lagrangefunktion hinsichtlich $v$ und Nullsetzen ergibt dann 
\begin{align}
\begin{split}
\frac{\partial}{\partial v} L(v,l) = & 0 
\\\Leftrightarrow
\frac{\partial}{\partial v}  \left(v^T\mathbb{C}\left(\xi\right)v - l(v^Tv - 1) \right) & = 0
\\\Leftrightarrow
2\mathbb{C}\left(\xi\right)v - 2lv = 0
\\\Leftrightarrow
\mathbb{C}\left(\xi\right)v = lv.
\end{split}
\end{align}
Also ist an der Stelle der notwendigen Bedingung für ein Maximum von $L$, dass 
$v$ ein Eigenvektor von $\mathbb{C}(\xi)$ mit Eigenwert $l$ ist. Weiterhin gilt 
an der Stelle der notwendigen Bedingung für ein Maximum aufgrund der Nebenbedingung, dass
\begin{equation}
\mathbb{C}\left(\xi\right)v = lv 
\Leftrightarrow v^T\mathbb{C}\left(\xi\right)v = v^Tlv
\Leftrightarrow \mathbb{V}\left(v^T\xi\right) = lv^Tv 
\Leftrightarrow \mathbb{V}\left(v^T\xi\right) = l 
\end{equation}
Der größte Eigenwert von $\mathbb{C}\left(\xi\right)$ ist aber $\lambda_1$ und
der entsprechende Eigenvektor, der das Optimierungsproblem löst damit $q_1$.

# Definition und Eigenschaften
\footnotesize
\vspace{4mm}
\underline{Beweis (fortgeführt)}

\noindent (2) Die zweite Aussage entspricht der Lösung des restringierten Optimierungsproblems
\begin{equation}
\min_{v \in \mathbb{R}^m} E\left(\xi_v\right) \mbox{ unter der Nebenbedingung } v^Tv = 1.
\end{equation}
Zu seiner Lösung geben wir zunächst eine Repräsentation der erwarteten quadratischen 
Fehlers mithilfe der Kovarianzmatrix von $\xi$ an führen die Lösung dann auf die Lösung
des unter (1) betrachteten Problems zurück. Es gilt aufgrund von $\mathbb{\xi} = 0_m$ und damit $\mathbb{C}(\xi) = \mathbb{E}\left(\xi\xi^T\right)$, dass
\begin{align}
\begin{split}
E(\xi_v) 
& = \mathbb{E}\left(\Vert \xi - \tilde{\xi}_v \Vert^2 \right)                           \\
& = \mathbb{E}\left((\xi -\tilde{\xi}_v)^T(\xi -\tilde{\xi}_v)\right)                   \\
& = \mathbb{E}\left(\xi^T\xi - 2\xi^T\tilde{\xi}_v + \tilde{\xi}_v^T\tilde{\xi}v\right) \\
& = \mathbb{E}\left(\xi^T\xi - 2\xi^T(v^T\xi)v + ((v^T\xi)v)^T(v^T\xi)v\right)          \\
& = \mathbb{E}\left(\xi^T\xi - 2(v^T\xi)(\xi^Tv) + (v^T(\xi^Tv))(v^T\xi)v\right)        \\
& = \mathbb{E}\left(\xi^T\xi - 2(v^T\xi)(\xi^Tv) + (v^T\xi)(\xi^Tv)(v^Tv)\right)        \\
& = \mathbb{E}\left(\xi^T\xi - 2(v^T\xi)(\xi^Tv) + (v^T\xi)(\xi^Tv)\right)              \\
& = \mathbb{E}\left(\xi^T\xi - (v^T\xi)(\xi^Tv)\right)                                  \\
& = \mathbb{E}\left(\xi^T\xi - v^T(\xi\xi^T)v\right)                                    \\
& = \mathbb{E}\left(\xi^T\xi\right) - v^T\mathbb{E}\left(\xi\xi^T\right)v               \\
& = \mathbb{E}\left(\xi^T\xi\right) - v^T\mathbb{C}(\xi)v                               \\
\end{split}
\end{align}

# Definition und Eigenschaften
\footnotesize
\vspace{2mm}
\underline{Beweis (fortgeführt)}

Mit $\mathbb{E}\left(\xi^T\xi\right) \ge 0$ wird das Minimum von 
\begin{equation}
E(\xi_v) = \mathbb{E}\left(\xi^T\xi\right) - v^T\mathbb{C}(\xi)v \mbox{ unter der Nebenbedingung } v^Tv = 1 
\end{equation}
dann aber für das Maximum von
\begin{equation}
\mathbb{V}\left(v^T\xi\right) \mbox{ unter der Nebenbedingung } v^Tv = 1.
\end{equation}
angenommen und ist durch Wahl von $v = q_1$ gegeben.


# Definition und Eigenschaften
\small
Visualisierung der Projektionseigenschaften der ersten Hauptkomponente für 

\center
$m = 2$, $\xi\sim N(\mu,\Sigma)$, \textcolor{gray}{$\bullet$} Realisierungen von $\xi$, $\rightarrow$ Erste Hauptkomponente $q_1$


```{r, eval = F, echo = F}
library(mvtnorm)
library(latex2exp)
pdf(                                                                     
file        = "./9_Abbildungen/mv_9_q1_projektion.pdf",                 
width       = 4,                                                          
height      = 4)
par(
family      = "sans",
mfcol       = c(1,1),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = .7,
cex.main    = 1.2)

# Parameter
mu          = c(1,1)
Sigma       = matrix(c(0.1, 0.03, 0.03, 0.1), 2)

# Hauptkomponentenanalyse
EA          = eigen(Sigma)

# Realisierungen von \xi \sim N(\mu,\Sigma), m = 2
plot(
rmvnorm(n = 200, mu,Sigma), 
xlim      = c(0,2),
ylim      = c(0,2),
xlab      = TeX("$x_1$"),
ylab      = TeX("$x_2$"),
pch       = 21,
col       = "white",
bg        = "gray60",
cex       = 1.5)

# Erster Eigenvektor von \mathbb{C}(\xi)
arrows(
x0          = mu[1],
y0          = mu[2],
x1          = mu[1] + EA$vectors[1,1],
y1          = mu[2] + EA$vectors[2,1],
angle       = 20,
length      = .1,
lwd         = 1.5,
col         = "black",
xpd         = TRUE)
dev.off()
```
```{r, echo = FALSE, out.width = "55%"}  
knitr::include_graphics("9_Abbildungen/mv_9_q1_projektion.pdf") 
```


#
\vfill
\setstretch{3}
\large
Vektorraumbasen und Vektorkoordinatentransformationen

Definition und Eigenschaften

**Datenkompression**

Selbstkontrollfragen
\vfill  


# Datenkompression
Überblick
\small

* Datenkompression entspricht der Reduktion der Dimensionalität $m$ eines Datensatzes.
\vspace{3mm}

* \justifying Ziel der Datenkompression im Rahmen der Datenpräprozessierung bei prädiktiver 
Modellierung ist es, dem Undersampling hochdimensionaler Datenräume entgegenzuwirken.
\vspace{3mm}

* \justifying Inspiriert von den Eigenschaften der Hauptkomponentenanalyse 
möchte man mit dem unten skizzierten Verfahren den Fehler zwischen einem Datensatz
und einem dimensionsreduziertem Datensatz bei gleichzeitiger Retention maximal variabler 
Datenaspekte minimieren.  
\vspace{3mm}

* Prinzipiell gibt es viele weitere Möglichkeiten der Datenkompression.

# Datenkompression
\footnotesize
\begin{definition}[Hauptkomponentenanalyse eines Datensatzes]
\justifying
$C \in \mathbb{R}^{m \times m}$ sei die Stichprobenkovarianzmatrix eines 
Datensatzes $X\in \mathbb{R}^{m\times n}$ bestehend aus unabhängigen Realisierungen 
$x_j \in \mathbb{R}^m$ mit $j = 1,...,n$ eines $m$-dimensionalen Zufallsvektors $\xi$. Dann heißt die 
Orthonormalzerlegung
\begin{equation}
C = Q\Lambda Q^T
\end{equation}
wobei
\begin{itemize}
\item $Q \in \mathbb{R}^{m \times m}$ die spaltenweise Konkatenation der Eigenvektoren von $C$ und
\item $\Lambda \in \mathbb{R}^{m \times m}$ die Diagonalmatrix der zugehörigen Eigenwerten bezeichnen,
\end{itemize}
die \textit{Hauptkomponentenanalyse von $C$} und die Spalten von $Q$ heißen die
\textit{Hauptkomponenten von $C$}. Für $j = 1,...,n$ heißt der $m$-dimensionale Vektor
\begin{equation}
\tilde{x}_j := Q^Tx_j
\end{equation}
\textit{Hauptkomponenten-transformierter} oder \textit{Hauptkomponenten-projizierter Datenvektor}
und der $m \times n$-dimensionale Datensatz
\begin{equation}
\tilde{X} := Q^T X
\end{equation}
heißt \textit{Hauptkomponenten-transformierter} oder \textit{Hauptkomponenten-projizierter Datensatz}.
\end{definition}

\footnotesize
Bemerkungen

* Man spricht auch von der Hauptkomponentenanalyse/den Hauptkomponenten des Datensatzes $X$.

# Datenkompression
\footnotesize
\begin{theorem}[Basiseigenschaften der HKA eines Datensatzes]
\normalfont
\justifying
$C \in \mathbb{R}^{m \times m}$ sei die Stichprobenkovarianzmatrix eines
Datensatzes $X \in \mathbb{R}^{m \times n}$, es sei $\bar{X} = 0_m$ und es sei
\begin{equation}
C = Q \Lambda Q^T,
\end{equation}
die Hauptkomponentenanalyse von $C$. Dann gelten:
\begin{itemize}
\item[(1)] Die Spalten von $Q$, also die Hauptkomponenten von $C$, bilden eine Orthonormalbasis von $\mathbb{R}^m$.
\item[(2)] Multiplikation mit $Q^T$ transformiert die Koordinaten der Datenvektoren 
$x_j, j = 1,...,n$ bezüglich der kanonischen Basis von $\mathbb{R}^m$ 
in Koordinaten bezüglich der Hauptkomponenten von $C$.
\end{itemize}
\end{theorem}

Bemerkung

* Ein Beweis ergibt sich analog zum Beweis des Theorems zu den Basiseigenschaften der HKA.

# Datenkompression
\footnotesize
\begin{theorem}[Stichprobenkovarianzeigenschaften der HKA]
\normalfont
\justifying
$C\in \mathbb{R}^{m \times m}$ sei die Kovarianzmatrix eines Datensatzes $X \in \mathbb{R}^{m \times n}$, 
es sei $\bar{X} = 0_m$ und es sei
\begin{equation}
C = Q \Lambda Q^T,
\end{equation}
die Hauptkomponentenanalyse von $C$. Dann gelten
\begin{itemize}
\justifying
\item[(1)] Die Kovarianzmatrix des Hauptkomponenten-transformierten Datensatzes ist 
die Diagonalmatrix $\Lambda$.  Es gilt also insbesondere, dass die Stichprobenvarianz 
der $i$ten Komponente der $\tilde{x}_j$ gegeben ist durch $\lambda_i$ für $i = 1,...m$ 
und dass die Stichprobenkovarianz der $i$ten und $k$ten Komponenten der $\tilde{x}_j$ gleich 0 ist.
\item[(2)] Die Summen der Stichprobenvarianzen der Komponenten der $x_j$ und der Komponenten der $\tilde{x}_j$ sind identisch.
\end{itemize}
\end{theorem}

Bemerkung

* Ein Beweis ergibt sich analog zum Beweis des Theorems zu den Kovarianzeigenschaften der HKA.

# Datenkompression
\center
Hauptkomponentenanalyse eines Datensatzes mit $m = 5$ und $n = 20$
\vspace{2mm}

```{r message=FALSE, echo = F}
# Datensatzsimulation
library(MASS)                                         # Multivariate Normalverteilung (mvrnorm())
set.seed(1)                                           # Reproduzierbare Randomisierung
m     = 5                                             # Datenpunktdimension
n     = 20                                            # Anzahl Realisierung
mu    = rep(0,m)                                      # Erwartungswertparameter
Sigma = matrix(runif(m^2), nrow = m)                  # zufällige Matrix
Sigma = 0.5*(Sigma+t(Sigma))                          # symmetrische Matrix
Sigma = Sigma + m*diag(m)                             # positiv definite Matrix
X     = t(mvrnorm(n,mu,Sigma))                        # Datensatzgeneration
```

```{r, echo = F, message = F}
# Hauptkomponentenanalyse durch Eigenanalyse
I_n     = diag(n)                                     # Einheitsmatrix I_n
J_n     = matrix(rep(1,n^2), nrow = n)                # 1_{nn}
C       = (1/(n-1))*(X %*% (I_n-(1/n)*J_n) %*% t(X))  # Stichprobenkovarianzmatrix
D       = diag(1/sqrt(diag(C)))                       # Kov-Korr-Transformationsmatrix
R       = D %*% C %*% D                               # Stichprobenkorrelationsmatrix
EA      = eigen(C)                                    # Eigenanalyse von C
lambda  = EA$values                                   # Eigenwerte von C
Q       = EA$vectors                                  # Eigenvektoren von C
X_tilde = t(Q) %*% X                                  # Transformierter Datensatz

# Stichproben- und Korrelationsmatrix des transformierten Datensatzes
C_tilde = (1/(n-1))*(X_tilde %*% (I_n-(1/n)*J_n) %*% t(X_tilde))
```

```{r, echo = F, eval = F}
# X und \tilde{X} Visualisierung
library(plot.matrix)
library(latex2exp)
pdf(
file        ="./9_Abbildungen/mv_9_datensaetze.pdf",
width       = 10,
height      = 7)
par(
family      = "sans",
mfcol       = c(2,1),
pty         = "m",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = 1,
cex.main    = 1.6)
plot(
X,
breaks      = c(-5,5),
col         = topo.colors,
digits      = 1,
polygon.key = NULL,
axis.key    = NULL,
xlab        = "",
ylab        = "",
main        = TeX("$X$"))
plot(
X_tilde,
breaks      = c(-5,5),
col         = topo.colors,
digits      = 1,
polygon.key = NULL,
axis.key    = NULL,
xlab        = "",
ylab        = "",
main        = TeX("$\\tilde{X}$"))
dev.off()
```

```{r, echo = FALSE, out.width = "80%", fig.align = "center"}
knitr::include_graphics("9_Abbildungen/mv_9_datensaetze.pdf")
```

# Datenkompression
\center
Hauptkomponentenanalyse eines Datensatzes mit $m = 5$ und $n = 20$

```{r, echo = F, eval = F}
# Q, \Lambda, C, \tilde{C},  
library(plot.matrix)
pdf(
file        ="./9_Abbildungen/mv_9_matrizen.pdf",
width       = 7,
height      = 8)
par(
family      = "sans",
mfcol       = c(2,2),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = 1,
cex.main    = 1.5)

# Q und \Lambda
plot(
Q,
col         = topo.colors,
digits      = 1,
key         = NULL,
cex         = 0.8,
polygon.key = NULL,
axis.key    = NULL,
xlab        = "",
ylab        = "",
main        = TeX("$Q$"))
plot(
diag(lambda),
col         = topo.colors,
digits      = 1,
key         = NULL,
cex         = 0.8,
polygon.key = NULL,
axis.key    = NULL,
xlab        = "",
ylab        = "",
main        = TeX("$\\Lambda$"))

# C und \tilde{C}
C_tilde[C_tilde < 0.001] = 0
plot(
C,
col         = topo.colors,
digits      = 2,
key         = NULL,
cex         = 0.8,
polygon.key = NULL,
axis.key    = NULL,
xlab        = "",
ylab        = "",
main        = TeX("$C$"))
plot(
C_tilde,
col         = topo.colors,
digits      = 2,
key         = NULL,
cex         = 0.8,
polygon.key = NULL,
axis.key    = NULL,
xlab        = "",
ylab        = "",
main        = TeX("$\\tilde{C}$"))
dev.off()
```
```{r, echo = FALSE, out.width = "50%",fig.align = "center"}
knitr::include_graphics("9_Abbildungen/mv_9_matrizen.pdf")
```
\footnotesize
Die Summe der Diagonalemente von $C$ und $\tilde{C}$ ist hier 19.2. 

# Datenkompression
\footnotesize
\begin{definition}[Dimensionsreduzierter transformierte Datensatz]
\justifying
$X \in \mathbb{R}^{m \times n}$ sei ein Datensatz, $C$ sei seine Stichprobenkovarianzmatrix,
\begin{equation}
C = Q\Lambda Q^T
\end{equation}
sei die Hauptkomponentenanalyse von $C$ und es gelte $\lambda_1 > \lambda_2 > \cdots > \lambda_m$
für die Diagonalelemente von $\Lambda$. Schließlich sei für $k \le m$ $Q_k$ die Matrix, die
aus $Q$ durch Streichen der Spalten $k + 1,...,m$ entsteht. Dann nennt man
\begin{equation}
\tilde{X}_k = Q^T_k X \in \mathbb{R}^{k \times n}
\end{equation}
einen \textit{dimensionsreduzierten transformierten Datensatz}.
\end{definition}

\footnotesize
Bemerkung

* Die Definition ist durch das Theorem zu den Projektionseigenschaften der HKA motiviert.
* Man kann ein analoges Theorem für die HKA eines Datensatzes formulieren und beweisen.
* $\tilde{X}_k = Q_k^T X$ entspricht einer $(k \times n) = (k \times m)\cdot(m \times n)$ Matrixmultiplikation.
* $\tilde{X}_k$ ist der Datensatz, der aus $\tilde{X}$ durch Streichen der ($k + 1$)-ten bis $m$-ten Zeile ensteht.


```{r, echo = F, eval = F}
library(plot.matrix)
library(latex2exp)
graphics.off()
dev.new()
par(
family      = "sans",
mfcol       = c(1,4),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = 1,
cex.main    = 1.5)

# Q_5,....,Q_1
labs        = list(TeX("$Q_5$"),
                   TeX("$Q_4$"),
                   TeX("$Q_3$"),
                   TeX("$Q_2$"),
                   TeX("$Q_1$"))
for(i in 2:5){
  # set entries columns NA for na.cell     = FALSE,
  Q_k  = Q
  if(i > 1){
    Q_k[, (ncol(Q)-i+2):ncol(Q)] = NA
  }
  plot(
  Q_k,
  na.cell     = FALSE,
  breaks      = c(-.7,.7),
  col         = topo.colors,
  digits      = 2,
  key         = NULL,
  cex         = 0.4,
  polygon.key = NULL,
  axis.key    = NULL,
  xlab        = "",
  ylab        = "",
  main        = labs[[i]])
}
dev.copy2pdf(
file        = "9_Abbildungen/mv_9_Q_k.pdf",
width       = 12,
height      = 4)
```

```{r, echo = F, eval = F}
library(plot.matrix)
graphics.off()
dev.new()
par(
family      = "sans",
mfrow       = c(4,1),
pty         = "m",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
cex         = 0.6,
cex.main    = 2)

# \tilde{X}_5,....,\tilde{X}_1
labs        = list(TeX("$\\tilde{X}_4$"),
                   TeX("$\\tilde{X}_3$"),
                   TeX("$\\tilde{X}_2$"),
                   TeX("$\\tilde{X}_1$"))

for(i in 1:4){

  # set entries in rows NA for na.cell = FALSE,
  X_tilde_k  = X_tilde
  X_tilde_k[(nrow(X_tilde)-i+1):nrow(X_tilde), ] = NA
  plot(
  X_tilde_k,
  border      = NA,
  col         = topo.colors,
  xlab        = "",
  ylab        = "",
  main        = labs[[i]],
  cex         = .1,
  fmt.key     = "%.0f",
  polygon.key = NULL,
  axis.key    = NULL)
}

dev.copy2pdf(
file        = file.path("9_Abbildungen/mv_9_X_tilde_k.pdf"),
width       = 10,
height      = 7)
```

# Datenkompression
\small
\vspace{2mm}
PCA-dimensionsreduzierte Datensätze

```{r, echo = FALSE, out.width = "60%", fig.align="center"}
knitr::include_graphics("9_Abbildungen/mv_9_Q_k.pdf")
```
\vspace{-7mm}
```{r, echo = FALSE, out.width = "75%", fig.align="center"}
knitr::include_graphics("9_Abbildungen/mv_9_X_tilde_k.pdf")
```

# Datenkompression
\footnotesize
\begin{definition}[Rekonstruierter Datensatz, Datenrekonstruktionsfehler]
$X \in \mathbb{R}^{m \times n}$ sei ein Datensatz und für $k \le m$ sei
\begin{equation}
\tilde{X}_k = Q_k^TX \in \mathbb{R}^{k \times n}
\end{equation}
ein dimensionsreduzierter Datensatz.
Dann heißt
\begin{equation}
X_k = Q_k\tilde{X}_k \in \mathbb{R}^{m \times n}
\end{equation}
\textit{rekonstruierter Datensatz} und
\begin{equation}
e = \Vert \mbox{vec}(X - X_k) \Vert^2 \ge 0
\end{equation}
heißt \textit{Datenrekonstruktionsfehler}.
\end{definition}

Bemerkungen


* $X_k =Q_k \tilde{X}_k$ entspricht einer $(m \times n) = (m \times k)\cdot(k \times n)$ Matrixmultiplikation
* Für $M \in \mathbb{R}^{m \times n}$ ist $\mbox{vec}(M) \in \mathbb{R}^{mn}$ der Vektor, der durch Stapeln der Spalten von $M$ entsteht.
* Für $k = m$ gilt $Q\tilde{X}_k = QQ^TX = X$ und damit $e = 0$.
* Der Datenrekonstruktionsfehler ist das Stichprobenanalogon zum erwarteten quadratischen Fehler.


# Datenkompression
\small
Datensatzrekonstruktion und Daterekonstruktionsfehler 

\footnotesize
Eigenwerte ("Scree-Plot") und Rekonstruktionsfehler

```{r, echo = F, eval = F}
graphics.off()
dev.new()
par(
family      = "sans",
mfcol       = c(1,2),
pty         = "m",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
cex         = 1,
cex.main    = 1)

# Screeplot
plot(
lambda,
type = "b",
xlim = c(.5,5.5),
ylim = c(0,10),
ylab = "Eigenwert")

# Rekonstruktionsfehler
e   = rep(NaN,m)
for(k in 1:m){
  Q_k = Q[,1:k]
  e[k] = norm(X - (Q_k %*% t(Q_k) %*% X))
}

# Rekonstruktionsfehler
plot(
e,
type = "b",
xlim = c(.5,5.5),
ylim = c(-1, 13),
ylab = "Rekonstruktionsfehler (e)",
xlab = "Rekonstruierter Datensatz (k)")

dev.copy2pdf(
file        = file.path("9_Abbildungen/mv_9_lambda_e.pdf"),
width       = 8,
height      = 4)
```

```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("9_Abbildungen/mv_9_lambda_e.pdf")
```


# Datenkompression
\small
Datensatzrekonstruktion und Daterekonstruktionsfehler 

\footnotesize
Rekonstruierte Datensätze


```{r, echo = F, eval = F}
# tilde{X}_5, ..., \tilde{Y}_1
library(plot.matrix)
graphics.off()
fdir        =  file.path(getwd(), "9_Abbildungen")
dev.new()
par(
family      = "sans",
mfrow       = c(5,1),
pty         = "m",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
cex         = 0.3,
cex.main    = 0.5)

# \tilde{X}_5,....,\tilde{X}_1
labs        = list(TeX("$X_1$"),
                   TeX("$X_2$"),
                   TeX("$X_3$"),
                   TeX("$X_4$"),
                   TeX("$X_5$"))

for(k in 1:5){
  Q_k = Q[,1:k]
  X_k = Q_k %*% t(Q_k) %*% X
  plot(
  X_k,
  breaks      = c(-6,6),
  border      = NA,
  col         = topo.colors,
  xlab        = "",
  ylab        = "",
  main        = labs[[k]],
  cex.main    = 3,
  cex         = .1,
  fmt.key     = "%.0f",
  polygon.key = NULL,
  axis.key    = NULL)
}
dev.copy2pdf(
file        = file.path(fdir, "mv_9_X_k.pdf"),
width       = 5,
height      = 5)
```

```{r, echo = FALSE, out.width = "60%", fig.align="center"}
knitr::include_graphics("9_Abbildungen/mv_9_X_k.pdf")
```

# Datenkompression
\small
Datensatzrekonstruktion und Daterekonstruktionsfehler 

\footnotesize
Rekonstruktionsfehler


```{r, echo = F, eval = F}
# \tilde{X}_5, ..., \tilde{Y}_1
library(plot.matrix)
graphics.off()
fdir        =  file.path(getwd(), "9_Abbildungen")
dev.new()
par(
family      = "sans",
mfrow       = c(5,1),
pty         = "m",
bty         = "l",
lwd         = 1,
las         = 1,
mgp         = c(2,1,0),
xaxs        = "i",
yaxs        = "i",
cex         = 0.3,
cex.main    = 0.5)

# \tilde{X}_5,....,\tilde{X}_1
labs        = list(TeX("$X - X_1$"),
                   TeX("$X - X_2$"),
                   TeX("$X - X_3$"),
                   TeX("$X - X_4$"),
                   TeX("$X - X_5$"))

for(k in 1:5){
  Q_k = Q[,1:k]
  X_k = Q_k %*% t(Q_k) %*% X
  plot(
  X - X_k,
  breaks      = c(-4,4),
  border      = NA,
  col         = topo.colors,
  xlab        = "",
  ylab        = "",
  main        = labs[[k]],
  cex.main    = 3,
  cex         = .1,
  fmt.key     = "%.0f",
  polygon.key = NULL,
  axis.key    = NULL)
}
dev.copy2pdf(
file        = file.path(fdir, "mv_9_X-X_k.pdf"),
width       = 5,
height      = 5)
```

```{r, echo = FALSE, out.width = "60%", fig.align = "center"}
knitr::include_graphics("9_Abbildungen/mv_9_X-X_k.pdf")
```

#
\vfill
\setstretch{3}
\large
Vektorraumbasen und Vektorkoordinatentransformationen

Definition und Eigenschaften

Datenkompression

**Selbstkontrollfragen**
\vfill

# Selbstkontrollfragen
\footnotesize
\setstretch{2}

1. Geben Sie die Definition der Linearen Unabhängigkeit von Vektoren wieder.
1. Geben Sie das Theorem zur Linearen Abhängigkeit von zwei Vektoren wieder.
1. Geben Sie die Definition der Basis eines Vektorraums wieder.
1. Geben Sie die Definition von Basisdarstellung und Koordinaten wieder.
1. Geben Sie das Theorem zur kanonischen Basis von $\mathbb{R}^m$ wieder.
1. Geben Sie die Definition des Begriffs der Orthogonalprojektion wieder.
1. Geben Sie das Theorem zu Vektorkoordinaten bezüglich einer Orthogonalbasis wieder.
1. Geben Sie das Vektorkoordinatentransformationstheorem wieder.
1. Erläutern Sie das Vektorkoordinatentransformationstheorem.
1. Geben Sie die Definition der Hauptkomponentenanalyse wieder.
1. Geben Sie das Theorem zu den Basiseigenschaften der Hauptkomponentenanalyse wieder.
1. Geben Sie das Theorem zu den Kovarianzeigenschaften der Hauptkomponentenanalyse wieder.
1. Geben Sie das Theorem zu den Projektionseigenschaften der ersten Hauptkomponente wieder.
1. Erläutern Sie das Prinzip der Datenkompression durch Hauptkomponentenanalyse.
