---
fontsize: 8pt
format:
    beamer:
        include-in-header: "5_Header.tex"
bibliography: 5_Referenzen.bib
---

#  {.plain}

\center
```{r, echo = FALSE, out.width = "20%", fig.align = "center"}
knitr::include_graphics("5_Abbildungen/magl_5_otto.png")
```
\vspace{2mm}
\huge
Mathematische Grundlagen
\vspace{4mm}

\large
BSc Psychologie | MSc Psychologie

MSc Klinische Psychologie und Psychotherapie   
\vspace{4mm}

\Large
WiSe 2023/24

\vspace{4mm}
\normalsize
Prof. Dr. Dirk Ostwald

#  {.plain}
\vfill
\center
\huge
\textcolor{black}{(5) Differentialrechnung}
\vfill


# 
\Large
\setstretch{3}
\vfill
Grundlagen der Differentialrechnung

Analytische Optimierung

Differentialrechnung multivariater reellwertiger Funktionen

Selbstkontrollfragen
\vfill

#
\Large
\setstretch{3}
\vfill
**Grundlagen der Differentialrechnung**

Analytische Optimierung

Differentialrechnung multivariater reellwertiger Funktionen

Selbstkontrollfragen
\vfill


# Grundlagen der Differentialrechnung

\setstretch{1.1}
\small
\begin{definition}[Ableitung]
Es sei $I \subseteq \mathbb{R}$ ein Intervall und
\begin{equation}
f : I \to \mathbb{R}, x \mapsto f(x)
\end{equation}
eine univariate reellwertige Funktion.
$f$ heißt in $a \in I$ \textit{differenzierbar}, wenn der Grenzwert
\begin{equation}
f'(a) := \lim_{h\to 0} \frac{f(a+h)-f(a)}{h}
\end{equation}
existiert.
$f'(a)$ heißt dann die \textit{Ableitung von $f$ an der Stelle $a$}.
Ist $f$ differenzierbar für alle $x \in I$, so heißt $f$ \textit{differenzierbar} und die Funktion
\begin{equation}
f' : I \to \mathbb{R}, x \mapsto f'(x)
\end{equation}
heißt \textit{Ableitung von $f$}.
\end{definition}

\footnotesize
\setstretch{1.4}
Bemerkungen

* Für $h>0$ heißt $\frac{f(a+h)-f(a)}{h}$ \textit{Newtonscher Differenzquotient}.
* Der Differenzquotient  misst die Änderung $f(a+h)-f(a)$ von $f$ pro Strecke $h$.
* Für $h\to 0$ misst der Differenzquotient die Änderungs\underline{rate} von $f$ in $a$.
* $f'(a)$ ist eine Zahl, $f'$ ist eine Funktion.
* Wir werden keine Grenzwertbildung zur Berechnung von Ableitungen benötigen.


# Grundlagen der Differentialrechnung
\setstretch{1.4}
\small
\begin{definition}[Notation für Ableitungen univariater reellwertiger Funktionen]
Es sei $f$ eine univariate reellwertige Funktion. Äquivalente Schreibweisen für
die Ableitung von $f$ und die Ableitung von $f$ an einer Stelle $x$ sind
\begin{enumerate}
\item[(1)] die \textit{Lagrange-Notation} $f'$ und $f'(x)$,
\item[(2)] die \textit{Newton-Notation} $\dot{f}$ und $\dot{f}(x)$,
\item[(3)] die \textit{Leibniz-Notation} $\frac{df}{dx}$ und $\frac{df(x)}{dx}$ und
\item[(4)] die \textit{Euler-Notation} $Df$ und $Df(x)$,
\end{enumerate}
respektive.
\end{definition}

\footnotesize
Bemerkungen

* Für univariate reellwertige Funktionen benutzen wir $f'$ und $f'(x)$ als Bezeichner.
* In Berechnungen benutzen wir auch die "Operator-Schreibweise" $\frac{d}{dx}f(x)$.
* Wir verstehen  $\frac{d}{dx}f(x)$ als den Auftrag, die Ableitung von $f$ zu berechnen.

# Grundlagen der Differentialrechnung
\small
\begin{definition}[Höhere Ableitungen]
Es sei $f$ eine univariate reellwertige Funktion und
\begin{equation}
f^{(1)} := f'
\end{equation}
sei die Ableitung von $f$. Die $k$-te Ableitung von $f$ ist rekursiv definiert durch
\begin{equation}
f^{(k)} := \left(f^{(k-1)}\right)' \mbox{ für } k \ge 0,
\end{equation}
unter der Annahme, dass $f^{(k-1)}$ differenzierbar ist. Insbesondere ist die
\textit{zweite Ableitung von $f$} definiert durch die Ableitung von $f'$, also
\begin{equation}
f'' := (f')'.
\end{equation}
\end{definition}

\setstretch{1.4}
\footnotesize
Bemerkungen

* Wir schreiben auch $\frac{d^2}{dx^2}f(x)$ für den Auftrag, die zweite Ableitung von $f$ zu bestimmen.
* Die nullte Ableitung $f^{(0)}$ von $f$ ist $f$ selbst.
* Üblicherweise schreibt man für $k < 4$ $f',f'',f'''$ statt $f^{(1)}, f^{(2)}, f^{(3)}$.
* Im Allgemeinen benötigen wir nur $f'$ und $f''$.

# Grundlagen der Differentialrechnung
\small
\vspace{2mm}
\begin{theorem}[Rechenregeln für Ableitungen]
\justifying
\normalfont
Für $i = 1,...,n$ seien $g_i$ reellwertige univariate differenzierbare Funktionen.
Dann gelten folgende Rechenregeln für Ableitungen
\begin{enumerate}
\item[(1)] Summenregel
\begin{equation}
\mbox{Für } f(x) := \sum_{i=1}^n g_i(x) \mbox{ gilt } f'(x) = \sum_{i=1}^n g_i'(x).
\end{equation}
\item[(2)] Produktregel
\begin{equation}
\mbox{Für } f(x) := g_1(x)g_2(x) \mbox{ gilt } f'(x) = g_1'(x)g_2(x) + g_1(x)g_2'(x).
\end{equation}
\item[(3)] Quotientenregel
\begin{equation}
\mbox{Für } f(x) := \frac{g_1(x)}{g_2(x)} \mbox{ gilt } f'(x) = \frac{g_1'(x)g_2(x) - g_1(x)g_2'(x)}{g_2^2(x)}.
\end{equation}
\item[(4)] Kettenregel
\begin{equation}
\mbox{Für } f(x) := g_1(g_2(x)) \mbox{ gilt } f'(x) = g_1'(g_2(x))g'_2(x).
\end{equation}
\end{enumerate}
\end{theorem}

\footnotesize
Bemerkung

* Für Beweise verweisen wir auf die weiterführende Literatur.

# Grundlagen der Differentialrechnung
\small
\begin{theorem}[Ableitungen elementarer Funktionen]
\justifying
\normalfont
Für einige elementare Funktionen der Datenanalyse ergeben sich folgende Ableitungen
\vspace{2mm}

\renewcommand{\arraystretch}{1.3}
\begin{table}
\centering
\begin{tabular}{lll}
Name 							                  & Definition	    			          & Ableitung								              \\\hline
Polynomfunktionen 				          & $f(x) := \sum_{i=0}^n a_ix^i$   & $f'(x)  = \sum_{i=1}^n ia_ix^{i-1}$ 	\\
$\quad$ Konstante Funktion 		      & $f(x) := a$					            & $f'(x) = 0$ 							            \\
$\quad$ Identitätsfunktion  	      & $f(x) := x$ 					          & $f'(x) = 1$ 							            \\
$\quad$ Linear-affine Funktion 		  & $f(x) := ax + b$				        & $f'(x) = a$ 							            \\
$\quad$ Quadratfunktion 		        & $f(x) := x^2$ 				          & $f'(x) = 2x$ 							            \\
Exponentialfunktion				          & $f(x) := \exp(x)$ 			        & $f'(x) = \exp(x)$						          \\
Logarithmusfunktion				          & $f(x) := \ln(x)$ 				        & $f'(x) = \frac{1}{x}$					        \\
\end{tabular}
\end{table}
\end{theorem}

\footnotesize
Bemerkung

* Für Beweise verweisen wir auf die weiterführende Literatur.

# Grundlagen der Differentialrechnung

```{r, echo = F, eval = F}
dev.new()
library(latex2exp)
par(
mfcol     = c(1,3),
family    = "sans",
pty       = "s",
bty       = "l",
lwd       = 1,
las       = 1,
mgp       = c(2,1,0),
font.main = 1,
cex.main  = 1.2)

# Definitionsmenge
x_min     = -5                                                                   # minimum x-value
x_max     = 5                                                                    # maximum x-value
x_res     = 1e3                                                                  # x space resolution
x         = seq(x_min,x_max,len = x_res)                                         # x space

# Identitätsfunktion
fxdx      = cbind(matrix(x), matrix(rep(1,length(x)), nrow = length(x)))          # f(x) := x, f'(x) = 1
matplot(
x,
fxdx,
type      = "l",
lty       = 1,
lwd       = 2,
col       = c("gray30", "gray70"),
xlim      = c(-x_max,x_max),
ylim      = c(-x_max,x_max),
ylab      = " ",
xlab      = "x",
main      = "Identitätsfunktion" )
grid()
legend(
0,
-2,
c(TeX("$f(x)  = x$"), TeX("$f'(x) = 1$")),
cex       = 1.2,
lty       = 1,
col       = c("gray30", "gray70"),
lwd       = 2,
y.intersp = 1.5,
bty       = "n")

# Lineare Funktion
a         = 1/2
b         = -1
fxdx      = cbind(matrix(a*x + b), matrix(a, nrow = length(x)))                  # f(x) := 2x - 3, f'(x) = 2
matplot(
x,
fxdx,
type      = "l",
lty       = 1,
lwd       = 2,
col       = c("gray30", "gray70"),
xlim      = c(-x_max,x_max),
ylim      = c(-x_max,x_max),
ylab      = " ",
xlab      = "x",
main      = "Linear-affine Funktion")
grid()
legend(
-2,
-2,
c(TeX("$f(x) = 0.5x - 1$"), TeX("$f'(x) = 0.5$")),
cex       = 1.2,
lty       = 1,
col       = c("gray30", "gray70"),
lwd       = 2,
y.intersp = 1.5,
bty       = "n")

# Quadratfunktion
fxdx      = cbind(matrix(x^2),matrix(2*x))                                       # f(x) := x^2 # f'(x) = 2x
matplot(
x,
fxdx,
type      = "l",
lty       = 1,
lwd       = 2,
col       = c("gray30", "gray70"),
xlim      = c(-x_max,x_max),
ylim      = c(-x_max,x_max),
ylab      = " ",
xlab      = "x",
main      = "Quadratfunktion")
grid()
legend(
-1,
-2,
c(TeX("$f(x)  = x^2$"), TeX("$f'(x) = 2x$")),
cex       = 1.2,
lty       = 1,
col       = c("gray30", "gray70"),
lwd       = 2,
y.intersp = 1.5,
bty       = "n")

# PDF Speicherung
dev.copy2pdf(
file        = "./5_Abbildungen/magl_5_ableitungen_1.pdf",
width       = 8,
height      = 4)
```

Ableitungen elementarer Funktionen
\vspace{3mm}
\center
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("./5_Abbildungen/magl_5_ableitungen_1.pdf")
```

# Grundlagen der Differentialrechnung

```{r, echo = F, eval = F}
dev.new()
library(latex2exp)
par(
mfcol      = c(1,2),
family     = "sans",
pty        = "s",
bty        = "l",
lwd        = 1,
las        = 1,
mgp        = c(2,1,0),
font.main  = 1,
cex        = 0.9,
cex.main   = 1.1)

# Exponentialfunktion
x_min     = -4                                                                   # minimum x-value
x_max     = 2                                                                    # maximum x-value
x_res     = 1e3                                                                  # x space resolution
x         = seq(x_min,x_max,len = x_res)                                         # x space
fxdx      = cbind(matrix(exp(x)),matrix(exp(x)))                                 # f(x) := exp(x), f'(x) = exp(x)
matplot(
x,
fxdx,
type      = "l",
lty       = c(1,2),
lwd       = 2,
col       = c("gray30", "gray70"),
xlim      = c(x_min,x_max),
ylim      = c(-1,6),
ylab      = " ",
xlab      = "x",
main      = "Exponentialfunktion")
grid()
legend(
-4,
6,
c(TeX("$f(x) = exp(x)$"), TeX("$f'(x) = exp(x)$")),
cex       = 1,
lty       = 1,
col       = c("gray30", "gray70"),
lwd       = 2,
y.intersp = 2.2,
bty       = "n")

# Logarithmusfunktion
x_min     = 1e-3                                                                 # minimum x-value
x_max     = 4                                                                    # maximum x-value
x_res     = 1e3                                                                  # x space resolution
x         = seq(x_min,x_max,len = x_res)                                         # x space
fxdx      = cbind(matrix(log(x)), matrix(1/x))                                   # f(x) := ln(x), f'(x) = 1/x
matplot(
x,
fxdx,
type      = "l",
lty       = 1,
lwd       = 2,
col       = c("gray30", "gray70"),
xlim      = c(0,x_max),
ylim      = c(-4,5),
ylab      = " ",
xlab      = "x",
main      = "Logarithmusfunktion")
grid()
legend(
2,
-2,
c(TeX("$f(x) = ln(x)$"), TeX("$f'(x) = 1/x$")),
cex       = 1,
lty       = 1,
col       = c("gray30", "gray70"),
lwd       = 2,
y.intersp = 2.2,
bty       = "n")

# PDF Speicherung
dev.copy2pdf(
file        = "./5_Abbildungen/magl_5_ableitungen_2.pdf",
width       = 8,
height      = 4)
```

Ableitungen elementarer Funktionen
\vspace{3mm}
\center
```{r, echo = FALSE, out.width = "100%"}
knitr::include_graphics("./5_Abbildungen/magl_5_ableitungen_2.pdf")
```

#
\Large
\setstretch{3}
\vfill
Grundlagen der Differentialrechnung

**Analytische Optimierung**

Differentialrechnung multivariater reellwertiger Funktionen

Selbstkontrollfragen
\vfill

# Analytische Optimierung
\setstretch{1.1}
\footnotesize
\begin{definition}[Extremstellen und Extremwerte]
\justifying
Es sei $U \subseteq \mathbb{R}$ und $f : U \to \mathbb{R}$ eine univariate 
reellwertige Funktion. Dann hat $f$ an der Stelle $x_0 \in U$
\begin{itemize}
\justifying
\item ein \textit{lokales Minimum}, wenn es ein Intervall $I := ]a,b[$ gibt mit $x_0 \in ]a,b[$ und
\begin{equation}
f(x_0) \le f(x) \mbox{ für alle } x\in I\cap U,
\end{equation}
\item ein \textit{globales Minimum}, wenn gilt, dass
\begin{equation}
f(x_0) \le f(x) \mbox{ für alle } x\in U,
\end{equation}
\item ein \textit{lokales Maximum}, wenn es ein Intervall $I := ]a,b[$ gibt mit $x_0 \in ]a,b[$ und
\begin{equation}
f(x_0) \ge f(x) \mbox{ für alle }  x\in I\cap U,
\end{equation}
\item \textit{globales Maximum}, wenn gilt, dass
\begin{equation}
f(x_0) \ge f(x) \mbox{ für alle } x\in U.
\end{equation}
\end{itemize}
Der  Wert $x_0 \in U$ der Definitionsmenge von $f$ heißt entsprechend 
\textit{lokale} oder \textit{globale Minimalstelle} oder \textit{Maximalstelle}, 
der Funktionswert $f(x_0) \in \mathbb{R}$ heißt entsprechend \textit{lokales} 
oder \textit{globales Minimum} oder \textit{Maximum}. Generell heißt der Wert
$x_0 \in U$ \textit{Extremstelle} und der Funktionswert $f(x_0) \in \mathbb{R}$ \textit{Extremwert}.
\end{definition}

Bemerkungen

* Extremstellen werden auch mit
$\argmin_{x \in I \cap U} f(x)$ oder
$\argmax_{x \in I \cap U} f(x)$
bezeichnet.
* Extremwerte werden auch mit
$\min_{x \in I \cap U} f(x)$ oder
$\max_{x \in I \cap U} f(x)$
bezeichnet.


# Analytische Optimierung
\small
\begin{definition}[Notwendige Bedingung für Extrema]
$f$ sei eine univariate reellwertige Funktion. Dann gilt
\begin{equation}
x_0 \mbox{ ist Extremstelle von } f \Rightarrow f'(x_0) = 0.
\end{equation}
\end{definition}

\footnotesize
Bemerkungen

* Wenn $x_0$ eine Extremstelle von $f$ ist, dann ist die erste Ableitung von $f$ in $x_0$ null.
* Sei zum Beispiel $x_0$ eine lokale Maximalstelle von $f$ 
* Dann gilt, dass $f$ links von $x_0$ ansteigt und rechts von $x_0$ abfällt. 
* In $x_0$ steigt $f$ weder an, noch fällt $f$ ab, also ist $f'(x_0) = 0$.


# Analytische Optimierung
\small
\begin{definition}[Hinreichende Bedingungen für lokale Extrema]
$f$ sei eine zweimal differenzierbare univariate reellwertige Funktion.
\begin{itemize}
\item Wenn für $x_0 \in U \subseteq \mathbb{R}$
\begin{equation}
f'(x_0) = 0 \mbox{ und } f''(x_0) > 0
\end{equation}
gilt, dann hat $f$ an der Stelle $x_0$ ein Minimum.
\item Wenn für $x_0 \in U \subseteq \mathbb{R}$
\begin{equation}
f'(x_0) = 0 \mbox{ und } f''(x_0) < 0
\end{equation}
gilt, dann hat $f$ an der Stelle $x_0$ ein Maximum.
\end{itemize}
\end{definition}

\footnotesize
Bemerkung

* Eine Intuition vermittelt nachfolgende Abbildung.

# Analytische Optimierung
\vspace{2mm}

```{r, eval = F, echo = F}
# plot specifications
dev.new()                                                                         
par(                                                                    
mfcol      = c(1,1),                                                  
family     = "sans",                                                  
pty        = "s",                                                     
bty        = "l",                                                     
lwd        = 1,                                                        
las        = 1,                                                       
mgp        = c(2,1,0),                                                
font.main  = 1,                                                       
cex.main   = 1.2)

# Exponentialfunktion
x_min   = -3                                                                    # minimum x-value
x_max   = 4                                                                     # maximum x-value
x_res   = 1e3                                                                   # x space resolution
x       = seq(x_min,x_max,len = x_res)                                          # x space
fxdx    = cbind(matrix((x-1)^2),                                                # f(x) : = (x-1)^2
                matrix(2*x - 2),                                                # f'(x)  = 2x - 2
                matrix(rep(2,x_res), nrow = x_res))                             # f''(x) = 2

matplot(                                                                    
x,                                                                    
fxdx,                                                                 
type        = "l",                                                    
lty         = 1,                                                      
lwd         = 2,                                                      
col         = c("gray20", "gray50", "gray80"),                        
xlim        = c(x_min,x_max),                                         
ylim        = c(-2,6),                                                
ylab         = " ",                                                   
xlab         = "x")                                                   
grid()                                                                      
legend(
-3,                                                               
.5,                                                                   
c(TeX("$f(x)= (x-1)^2$"), TeX("$f'(x) = 2x - 2$"), TeX("$f''(x) = 2$")),                                                   
cex = 1,                                                            
lty = 1,                                                             
col = c("gray20", "gray50", "gray80"),                               
lwd = 2,                                                             
y.intersp = 3,                                                    
bty = "n")

# PDF Speicherung
dev.copy2pdf(
file        = "./5_Abbildungen/magl_5_optimierung.pdf" ,
width       = 5,
height      = 5)
```
\center
```{r, echo = FALSE, out.width = "45%"}
knitr::include_graphics("./5_Abbildungen/magl_5_optimierung.pdf")
```
\vspace{-3mm}
\small
Hier ist offenbar $x_0 = 1$ eine lokale Minimalstelle von $f(x) = (x-1)^2$. Man erkennt:

* Links von $x_0$ fällt $f$ ab, rechts von $x_0$ steigt $f$ an.
* In $x_0$ steigt $f$ weder an, noch fällt $f$ ab, also ist $f'(x_0) = 0$.
* Links und rechts von $x_0$ und in $x_0$ ist die Änderung $f''$ von $f'$ positiv.
* Links von $x_0$ schwächt sich die Negativität von $f'$ zu $0$ ab.
* Rechts von $x_0$ verstärkt sich die Positivität von $f'$.


# Analytische Optimierung
\small
\begin{theorem}[Standardverfahren der analytischen Optimierung]
\justifying
$f$ sei eine univariate reellwertige Funktion. Lokale Extremstellen von $f$ können
mit folgendem \textit{Standardverfahren der analytischen Optimierung} identifiziert
werden:
\begin{itemize}
\itemsep3mm
\item[(1)] Berechnen der ersten und zweiten Ableitung von $f$.
\item[(2)] Bestimmen der Nullstellen $x^*$ von $f'$ durch Auflösen von $f'(x^*) = 0$ nach $x^*$.
Die Nullstellen von $f'$ sind dann Kandidaten für Extremstellen von $f$.
\item [(3)]  Evaluation von $f''(x^*)$: Wenn $f''(x^*) > 0$, dann ist $x^*$ 
lokale Minimumstelle von $f$; wenn $f''(x^*) < 0$, dann ist $x^*$ lokale 
Maximumstelle von $f$; wenn  $f''(x^*) = 0$, dann ist $x^*$ keine Extremstelle von $f$.
\end{itemize}
\end{theorem}


# Analytische Optimierung
Beispiel

\small
Wir betrachten die Funktion
\begin{equation}
f : \mathbb{R} \to \mathbb{R}, x \mapsto f(x) := (x - 1)^2.
\end{equation}
aus obiger Abbildung. Die erste Ableitung von $f$ ergibt sich mit der Kettenregel zu
\begin{equation}
f'(x) = \frac{d}{dx}\left((x-1)^2 \right) = 2(x-1)\cdot \frac{d}{dx}(x-1) = 2x - 2.
\end{equation}

Die zweite Ableitung von $f$ ergibt sich zu
\begin{equation}
f''(x) = \frac{d}{dx}f'(x) = \frac{d}{dx}(2x - 2) = 2 > 0 \mbox{ für alle } x \in \mathbb{R}.
\end{equation}

Auflösen von $f'(x^*) = 0$ nach $x^*$ ergibt
\begin{equation}
f'(x^*) = 0
\Leftrightarrow
2x^* - 2 = 0
\Leftrightarrow
2x^* = 2
\Leftrightarrow
x^* = 1.
\end{equation}

$x^* = 1$ ist folglich eine Minimalstelle von $f$ mit zugehörigen Minimalwert $f(1) = 0$.


#
\Large
\setstretch{3}
\vfill
Grundlagen der Differentialrechnung

Analytische Optimierung

**Differentialrechnung multivariater reellwertiger Funktionen**

Selbstkontrollfragen
\vfill

# Differentialrechnung multivariater reellwertiger Funktionen
\small
\begin{definition}[Multivariate reellwertige Funktion]
Eine Funktion der Form
\begin{equation}
f : \mathbb{R}^n \to \mathbb{R}, x \mapsto f(x) = f(x_1,...,x_n) 
\end{equation}
heißt \textit{multivariate reellwertige} Funktion. 
\end{definition}

Beispiel für $n:= 2$
\begin{equation}
f : \mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := x_1^2 + x_2^2
\end{equation}  

```{r, echo = F, eval = F}

# Funktionsdefinitionen
# ------------------------------------------------------------------------------
# Zielfunktion
f = function(x) {
  return(x[1]^2 + x[2]^2)                 # f(x) := x_1^2 + x_2^2
}
# Gradient der Zielfunktion
nabla_f = function(x) {
  return(matrix(c(2*x[1],2*x[2]),         # \nabla f(x) := (2x_1, 2x_2)^T
                nrow = 2))
}

library(latex2exp)
fdir        =  file.path(getwd(), "5_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,2),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = 1,
cex.main    = 1.2)


# Bivariate reellwertige Funktion 1
x_min  = -2                                                                     # x_i Minimum
x_max  =  2                                                                     # x_i Maximum
x_res  = 1e2                                                                    # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)                                  # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)                                  # x_2 Raum
X      = expand.grid(x_1,x_2)                                                   # X = (x_1,x_2)^T Raum
fX     = matrix(as.matrix(f(X)),nrow = x_res )                                  # f(x)
persp(
x_1,
x_2,
fX,
col    = "gray60",
border = NA,
theta  = 30,
phi    = 30,
ltheta = -120,
shade  = 0.75,
zlab   = "",
main   = TeX("$f(x) := x_1^2 + x_2^2$"))

# Bivariate reellwertige Funktion 2
contour(
x_1,
x_2,
fX,
xlim      = c(x_min,x_max),
ylim      = c(x_min,x_max),
xlab      = TeX("$x_1$"),
ylab      = TeX("$x_2$"),
levels    = c(.1,.5, 1:8),
main      = TeX("$f(x) := x_1^2 + x_2^2$"))
g   = grid()

dev.copy2pdf(
file        = file.path(fdir, "magl_5_bivariate_funktion.pdf"),
width       = 8,
height      = 4)
```

\center
```{r, echo = FALSE, out.width = "85%"}
knitr::include_graphics("5_Abbildungen/magl_5_bivariate_funktion.pdf")
```

# Differentialrechnung multivariater reellwertiger Funktionen
\footnotesize
\begin{definition}[Partielle Ableitung]
Es sei $D \subseteq \mathbb{R}^n$ eine Menge und
\begin{equation}
f : D \to \mathbb{R}, x \mapsto f(x)
\end{equation}
eine multivariate reellwertige  Funktion.
$f$ heißt in $a \in D$ \textit{nach $x_i$ partiell differenzierbar}, wenn der Grenzwert
\begin{equation}
\frac{\partial}{\partial x_i}f(x) := \lim_{h\to 0} \frac{f(a + he_i)-f(a)}{h}
\end{equation}
existiert. $\frac{\partial}{\partial x_i}f(a)$ heißt dann die \textit{ partielle Ableitung von $f$ nach $x_i$
an der Stelle $a$}. Wenn $f$ für alle $x \in D$, nach $x_i$  partiell differenzierbar ist,
dann heißt $f$ \textit{nach $x_i$  partiell differenzierbar} und die Funktion
\begin{equation}
\frac{\partial}{\partial x_i} f: D \to \mathbb{R}, x \mapsto \frac{\partial}{\partial x_i}f(x)
\end{equation}
heißt \textit{partielle Ableitung von $f$ nach $x_i$}.
\vspace{2mm}

$f$ heißt \textit{partiell differenzierbar in $x \in D$}, wenn $f$ für alle $i = 1,...,n$
in $x \in D$ nach $x_i$ partiell differenzierbar ist, und  $f$ heißt partiell differenzierbar,
wenn $f$ für alle  $i = 1,...,n$ in allen $x \in D$ nach $x_i$ partiell differenzierbar ist.
\end{definition}

# Differentialrechnung multivariater reellwertiger Funktionen
\small
\setstretch{1.8}
Bemerkungen

* $e_i \in \mathbb{R}^n$ bezeichnet den *i-ten kanonischen Einheitsvektor*.
* Es gilt also $e_{i_j} = 1$ für $i=j$ und $e_{i_j} = 0$ für $i \neq j$ mit $j = 1,...,n$.
* $\frac{f(x + he_i)-f(x)}{h}$  misst die Änderung $f(x+he_i)-f(x)$ von $f$ pro Strecke $h$ in Richtung $e_i$.
* Für $h\to 0$ misst der Differenzquotient die Änderungs\underline{rate} von $f$ in $x$ in Richtung $e_i$.
* $\frac{\partial}{\partial x_i}f(x)$ ist eine Zahl, $\frac{\partial}{\partial x_i}f$ ist eine Funktion.
* Praktisch berechnet man $\frac{\partial}{\partial x_i}f$ als die (einfache) Ableitung
\begin{equation}
\frac{d}{dx_i}\tilde{f}_{x_1,...x_{i-1},x_{i+1}, ...,x_n}(x_i)
\end{equation}
der univariaten reellwertigen Funktion
\begin{equation}
\tilde{f} : \mathbb{R} \to \mathbb{R}, x_i \mapsto \tilde{f}_{x_1,...x_{i-1},x_{i+1}, ...,x_n}(x_i) := f(x_1,...,x_i, ...,x_n).
\end{equation}
* Man betrachtet alle $x_j$ mit $j \neq i$ also als Konstanten.
* Wir werden also keine Grenzwertbildung zur Berechnung von partiellen Ableitungen benötigen.

# Differentialrechnung multivariater reellwertiger Funktionen
\small
Beispiel (1)

\footnotesize
Wir betrachten die Funktion
\begin{equation}
f:\mathbb{R}^2\to \mathbb{R}, x\mapsto f(x):=x_1^2+x_2^2.
\end{equation}
Weil die Definitionsmenge dieser Funktion zweidimensional ist, kann man zwei
partielle Ableitungen berechnen
\begin{equation}\label{eq:pdex_1}
\frac{\partial }{\partial x_1}f:\mathbb{R}^2 \to \mathbb{R},
x\mapsto \frac{\partial}{\partial x_{1}} f(x)
\mbox{ und }
\frac{\partial}{\partial x_2} f:\mathbb{R}^2\to \mathbb{R},
x\mapsto \frac{\partial }{\partial x_2}f(x).
\end{equation}
Um die erste dieser partiellen Ableitungen zu berechnen, betrachtet man die Funktion
\begin{equation}
f_{x_2}:\mathbb{R} \to \mathbb{R}, x_1 \mapsto f_{x_2}(x_1):=x_1^2+x_2^2,
\end{equation}
wobei $x_2$ hier die Rolle einer Konstanten einnimmt. Um explizit zu machen, dass $x_2$
kein Argument der Funktion ist, die Funktion aber weiterhin von $x_2$ abhängt haben
wir die Subskriptnotation $f_{x_2}(x_1)$ verwendet. Um nun die partielle Ableitung
zu berechnen, berechnen wir die (einfache) Ableitung von $f_{x_2}$,
\begin{equation}
f_{x_2}'(x)=2x_{1}.
\end{equation}
Es ergibt sich also
\begin{equation}
\frac{\partial}{\partial x_1}f:\mathbb{R}^2\to \mathbb{R},
x\mapsto \frac{\partial}{\partial x_1}f(x)
=\frac{\partial}{\partial x_1}(x_1^2+x_2^2)
=f_{x_2}'(x)=2x_1.
\end{equation}
Analog gilt mit der entsprechenden Formulierung von $f_{x_1}$, dass
\begin{equation}
\frac{\partial}{\partial x_2}f:\mathbb{R}^2\to \mathbb{R},
x\mapsto \frac{\partial}{\partial x_2}f(x)
=\frac{\partial}{\partial x_2}(x_1^2+x_2^2)
=f_{x_1}'(x)=2x_2.
\end{equation}

# Differentialrechnung multivariater reellwertiger Funktionen
\small
\begin{definition}[Zweite partielle Ableitungen]
$f: \mathbb{R}^n \to \mathbb{R}$ sei eine multivariate reellwertige Funktion und
$\frac{\partial}{\partial x_i}f$  sei die partielle Ableitung von $f$ nach $x_i$.
Dann ist die zweite partielle
Ableitung von $f$ nach $x_i$ und $x_j$ definiert als
\begin{equation}
\frac{\partial^2}{\partial x_j x_i} f(x)
:= \frac{\partial}{\partial x_j}\left(\frac{\partial}{\partial x_i}f\right).
\end{equation}
\end{definition}

\footnotesize
Bemerkungen

* \justifying Wie die zweite Ableitung ist auch die zweite partielle Ableitung rekursiv definiert.
* Zu jeder partiellen Ableitung $\frac{\partial}{\partial x_i}f$ gibt es $n$ zweite partiellen Ableitungen $\frac{\partial^2}{\partial x_j\partial x_i}f, j = 1,...,n$.

# Differentialrechnung multivariater reellwertiger Funktionen
\small
\begin{theorem}[Satz von Schwarz]
\justifying
\normalfont
$f: \mathbb{R}^n \to \mathbb{R}$ sei eine partiell differenzierbare multivariate reellwertige Funktion.
Dann gilt
\begin{equation}
  \frac{\partial^2}{\partial x_j\partial x_i}f(x)
= \frac{\partial^2}{\partial x_i\partial x_j}f(x)
	\mbox{ für alle }  1 \le i,j \le n.
\end{equation}
\end{theorem}

\footnotesize
Bemerkungen

* Für einen Beweis verweisen wir auf die weiterführende Literatur.
* Das Theorem besagt, dass die Reihenfolge des partiellen Ableitens irrelevant ist
* Das Theorem erleichtert die Berechnung von zweiten partiellen Ableitungen.
* Das Theorem hilft, Fehler bei der Berechnung zweiter partieller Ableitungen aufzudecken.

# Differentialrechnung multivariater reellwertiger Funktionen

\small
Beispiel (1) (fortgeführt)

\footnotesize
Wir wollen die partiellen Ableitungen zweiter Ordnung der Funktion
\begin{equation}
f:\mathbb{R}^{2}\to \mathbb{R}, x\mapsto f(x):=x_1^2+x_2^2.
\end{equation}
berechnen. Mit den Ergebnissen für die partiellen Ableitungen erster Ordnung dieser Funktion ergibt sich
\begin{align}
\begin{split}
\frac{\partial^2}{\partial x_1 x_1} f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_1} f(x)\right)
  = \frac{\partial}{\partial x_1}(2x_1)
  = 2
\\
\frac{\partial^2}{\partial x_1 x_2} f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_2} f(x)\right)
  = \frac{\partial}{\partial x_1}(2x_2)
  = 0
\\
\frac{\partial^2}{\partial x_2 x_1} f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_1} f(x)\right)
  = \frac{\partial}{\partial x_2}(2x_1)
  = 0
  \\
\frac{\partial^2}{\partial x_2 x_2} f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_2} f(x)\right)
  = \frac{\partial}{\partial x_2}(2x_2)
  = 2
\end{split}
\end{align}
Offenbar gilt
\begin{equation}
\frac{\partial^2}{\partial x_1 x_2} f(x) = \frac{\partial^2}{\partial x_2 x_1} f(x).
\end{equation}

# Differentialrechnung multivariater reellwertiger Funktionen
\vfill
\small
Beispiel (2)
\footnotesize

Wir wollen die partiellen Ableitungen erster und zweiter Ordnung der Funktion
\begin{equation}
f:\mathbb{R}^{3}_{>0} \to \mathbb{R}, x\mapsto f(x):=x_1^2+x_1x_2+x_2\sqrt{x_3}.
\end{equation}
berechnen.
\vspace{2mm}

Mit den Rechenregeln für Ableitungen ergibt sich für die partiellen Ableitungen erster Ordnung
\begin{align}
\begin{split}
& \frac{\partial}{\partial x_1}f(x)
= \frac{\partial}{\partial x_1}\left(x_1^2+x_1x_2+x_2\sqrt{x_3} \right) = 2x_1+x_2,                   \\
& \frac{\partial}{\partial x_2}f(x)
= \frac{\partial}{\partial x_2}\left(x_1^2+x_1x_2+x_2\sqrt{x_3} \right) = x_1+\sqrt{x_3},             \\
& \frac{\partial}{\partial x_3}f(x)
= \frac{\partial}{\partial x_3}\left(x_1^2+x_1x_2+x_2\sqrt{x_3} \right) = \frac{x_{2}}{2\sqrt{x_3}}.
\end{split}
\end{align}
\vfill

# Differentialrechnung multivariater reellwertiger Funktionen
\small
Beispiel (2) (fortgeführt)
\footnotesize

Für die zweiten partiellen Ableitungen hinsichtlich $x_1$ ergibt sich
\begin{align}
\begin{split}
    \frac{\partial^2}{\partial x_1 \partial x_1}f(x)
& = \frac{\partial}{\partial x_1} \left(\frac{\partial}{\partial x_1} f(x) \right)
  = \frac{\partial}{\partial x_1}\left(2x_1+x_2\right) = 2, \\
    \frac{\partial^2}{\partial x_2\partial x_1}f(x)
& = \frac{\partial}{\partial x_2} \left(\frac{\partial}{\partial x_1} f(x) \right)
  = \frac{\partial}{\partial x_2}\left(2x_1+x_2 \right) = 1, \\
    \frac{\partial^2}{\partial x_3\partial x_1} f(x)
& = \frac{\partial}{\partial x_3}\left(\frac{\partial}{\partial x_{1}} f(x) \right)
  = \frac{\partial}{\partial x_3}\left(2x_1+x_2\right)=0.
\end{split}
\end{align}
Für die zweiten partiellen Ableitungen hinsichtlich $x_2$ ergibt sich
\begin{align}
\begin{split}
    \frac{\partial^2}{\partial x_1\partial x_2}f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_2}f(x) \right)
  = \frac{\partial}{\partial x_{1}}\left(x_1+ \sqrt{x_3} \right) = 1, \\
    \frac{\partial^2}{\partial x_2 \partial x_2}f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_2}f(x) \right)
  = \frac{\partial}{\partial x_2}\left(x_1 + \sqrt{x_3} \right) = 0, \\
    \frac{\partial^2}{\partial x_3\partial x_2}f(x)
& = \frac{\partial}{\partial x_3}\left(\frac{\partial}{\partial x_2}f(x) \right)
  = \frac{\partial}{\partial x_3}\left(x_1+\sqrt{x_3} \right) =\frac{1}{2\sqrt{x_3}}.
\end{split}
\end{align}

# Differentialrechnung multivariater reellwertiger Funktionen
Beispiel (2) (fortgeführt)
\footnotesize

Für die zweiten partiellen Ableitungen hinsichtlich $x_3$ ergibt sich
\begin{align}
\begin{split}
    \frac{\partial^{2}}{\partial x_1\partial x_3}f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_3} f(x) \right)
  = \frac{\partial}{\partial x_1}\left(\frac{x_2}{2}\sqrt{x_3}\right) = 0, \\
    \frac{\partial^2}{\partial x_2\partial x_3}f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_3}f(x) \right)
  = \frac{\partial}{\partial x_2}\left(\frac{x_2}{2 \sqrt{x_3}} \right)
  = \frac{1}{2\sqrt{x_3}}, \\
    \frac{\partial^2}{\partial x_3 \partial x_3}f(x)
& = \frac{\partial}{\partial x_3}\left(\frac{\partial}{\partial x_3}f(x) \right)
  = \frac{\partial}{\partial x_3}\left(x_2\frac{1}{2}x_3^{-\frac{1}{2}}\right)
  = -\frac{1}{4}x_2x_3^{-\frac{3}{2}}.
\end{split}
\end{align}
Weiterhin erkennt man, dass die Reihenfolge der partiellen Ableitungen irrelevant ist, denn es gilt
\begin{align}
\begin{split}
& \frac{\partial^{2}}{\partial x_{1}\partial x_{2}}f(x)
= \frac{\partial^{2}}{\partial x_{2}\partial x_{1}}f(x) = 1, \\
& \frac{\partial^{2}}{\partial x_{1}\partial x_{3}}f(x)
= \frac{\partial^{2}}{\partial x_{3}\partial x_{1}}f(x) = 0, \\
& \frac{\partial^{2}}{\partial x_{2}\partial x_{3}}f(x)
= \frac{\partial^{2}}{\partial x_{3}\partial x_{2}}f(x) = \frac{1}{2\sqrt{x_3}}.
\end{split}
\end{align}

# Differentialrechnung multivariater reellwertiger Funktionen
\small
\begin{definition}[Gradient]
\justifying
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine multivariate reellwertige Funktion.
Dann ist der \textit{Gradient} $\nabla f(x)$ von $f$ an der Stelle $x \in \mathbb{R}^n$
definiert als
\begin{equation}
\nabla f(x) :=
\begin{pmatrix}
\frac{\partial}{\partial x_1} f(x) 	\\
\frac{\partial}{\partial x_2} f(x) 	\\
\vdots								\\
\frac{\partial}{\partial x_n} f(x) 	\\
\end{pmatrix} \in \mathbb{R}^n.
\end{equation}
\end{definition}

\footnotesize
Bemerkungen

* $\nabla f(x)$ fasst die partiellen Ableitungen von $f$ an der Stelle $x \in \mathbb{R}^n$ in einem Vektor zusammen.
* Gradienten sind multivariate vektorwertige Abbildungen der Form $\nabla f: \mathbb{R}^n \to \mathbb{R}^n, x \mapsto \nabla f(x)$.
* $-\nabla f(x)$ zeigt die Richtung des steilsten Abstiegs von $f$ in $\mathbb{R}^n$ an. Diese Einsicht ist aber nicht trivial.
* Für $n = 1$ gilt $\nabla f(x) = f'(x)$.

Der Erfolg neuronaler Netze (aka *AI* oder *Deep Learning*) basiert auf effizienten Gradientenberechnungen. Eine Einführung dazu geben Ostwald & Usée (2021) *An Induction Proof of the Backpropagation Algorithm in Matrix Notation.* \url{https://arxiv.org/abs/2107.09384}

# Differentialrechnung multivariater reellwertiger Funktionen
Beispiele

\setstretch{1.6}
\small
Für die in Beispiel (1) betrachtete Funktion $f: \mathbb{R}^2 \to \mathbb{R}$ gilt
\begin{equation}
\nabla f(x) :=
\begin{pmatrix}
\frac{\partial}{\partial x_1} f(x) 	\\
\frac{\partial}{\partial x_2} f(x) 	\\
\end{pmatrix}
=
\begin{pmatrix}
2x_1                    \\
2x_2
\end{pmatrix}
\in \mathbb{R}^2.
\end{equation}
\vspace{2mm}

Für die in Beispiel (2) betrachtete Funktion $f: \mathbb{R}^3_{>0} \to \mathbb{R}$ gilt
\begin{equation}
\nabla f(x) :=
\begin{pmatrix}
\frac{\partial}{\partial x_1} f(x) 	\\
\frac{\partial}{\partial x_2} f(x) 	\\
\frac{\partial}{\partial x_3} f(x) 	\\
\end{pmatrix}
=
\begin{pmatrix}
2x_1+x_2                    \\
x_1+\sqrt{x_3}              \\
\frac{x_{2}}{2\sqrt{x_3}}   \\
\end{pmatrix}
\in \mathbb{R}^3.
\end{equation}

# Differentialrechnung multivariater reellwertiger Funktionen
\vspace{2mm}
\small
Beispiel (1) (fortgeführt)
\footnotesize

Gradienten von $f : \mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := x_1^2 + x_2^2$ bei

\vspace{3mm}

\center
\textcolor{black}{      $x = \begin{pmatrix*}[r]  0.7 \\  0.7 \end{pmatrix*}\quad\quad\quad$}
\textcolor{blue}{       $x = \begin{pmatrix*}[r] -0.3 \\  0.1 \end{pmatrix*}\quad\quad\quad$}
\textcolor{red}{        $x = \begin{pmatrix*}[r] -0.5 \\ -0.4 \end{pmatrix*}\quad\quad\quad$}
\textcolor{gray}{       $x = \begin{pmatrix*}[r]  0.1 \\ -1.0 \end{pmatrix*}$}
\vspace{-1mm}

```{r, echo = F, eval = F}
# Funktion
f = function(x) {
  return(x[1]^2 + x[2]^2)                 # f(x) := x_1^2 + x_2^2
}
# Gradient
nabla_f = function(x) {
  return(matrix(c(2*x[1],2*x[2]),         # \nabla f(x) := (2x_1, 2x_2)^T
                nrow = 2))
}

# Bivariate reellwertige Funktion 1
x_min  = -2                                                                     # x_i Minimum
x_max  =  2                                                                     # x_i Maximum
x_res  = 1e2                                                                    # x_i Auflösung
x_1    = seq(x_min, x_max, length.out = x_res)                                  # x_1 Raum
x_2    = seq(x_min, x_max, length.out = x_res)                                  # x_2 Raum
X      = expand.grid(x_1,x_2)                                                   # X = (x_1,x_2)^T Raum
fX     = matrix(as.matrix(f(X)),nrow = x_res )                                  # f(x)

# Visualisierung
graphics.off()
library(latex2exp)
fdir        =  file.path(getwd(), "5_Abbildungen")
dev.new()
par(
family      = "sans",
mfcol       = c(1,1),
pty         = "s",
bty         = "l",
lwd         = 1,
las         = 1,
xaxs        = "i",
yaxs        = "i",
font.main   = 1,
cex         = 1.1,
cex.main    = 1.3)

# Funktion
contour(
x_1,
x_2,
fX,
xlim      =  c(x_min,x_max),
ylim      =  c(x_min,x_max),
xlab      = TeX("$x_1$"),
ylab      = TeX("$x_2$"),
levels    = c(.1,.5, 1:8),
main      = "")

# Gradientenbeispiele
A         = matrix(c(.7, -.5, -.3, .1,
                     .7, -.4,  .1, -1),
                   nrow   = 2,
                   byrow = T)

cols      = c("black", "red", "blue", "gray")
for(i in 1:ncol(A)){
  points(
  A[1,i],
  A[2,i],
  col     = cols[i]
  )
  arrows(
  x0      = A[1,i],
  y0      = A[2,i],
  x1      = nabla_f(A[,i])[1],
  y1      = nabla_f(A[,i])[2],
  col     = cols[i],
  angle   = 30,
  length  = .1,
  lwd     = 2)
}
dev.copy2pdf(
file        = file.path(fdir, "magl_5_gradientbeispiel.pdf"),
width       = 5,
height      = 5)
```

\vfill
```{r, echo = FALSE, out.width = "50%"}
knitr::include_graphics("5_Abbildungen/magl_5_gradientbeispiel.pdf")
```
\vfill

# Differentialrechnung multivariater reellwertiger Funktionen
\small
\setstretch{1.6}
\begin{definition}[Hesse-Matrix]
\justifying
$f : \mathbb{R}^n \to \mathbb{R}$ sei ein multivariate reellwertige Funktion.
Dann ist die \textit{Hesse-Matrix} $\nabla^2 f(x)$ von $f$ an der Stelle $x \in \mathbb{R}^n$
definiert als
\begin{equation}
\nabla^2 f(x) :=
\begin{pmatrix}
	\frac{\partial^2}{\partial x_1 x_1} f(x)
& 	\frac{\partial^2}{\partial x_1 x_2} f(x)
& 	\cdots
& 	\frac{\partial^2}{\partial x_1 x_n} f(x)  \\
	\frac{\partial^2}{\partial x_2 x_1} f(x)
& 	\frac{\partial^2}{\partial x_2 x_2} f(x)
& 	\cdots
& 	\frac{\partial^2}{\partial x_2 x_n} f(x)  \\
	\vdots
& 	\vdots
& 	\ddots
& 	\vdots 									 	\\
	\frac{\partial^2}{\partial x_n x_1} f(x)
& 	\frac{\partial^2}{\partial x_n x_2} f(x)
& 	\cdots
& 	\frac{\partial^2}{\partial x_n x_n} f(x)  \\
\end{pmatrix} \in \mathbb{R}^{n \times n}.
\end{equation}
\end{definition}

\footnotesize
Bemerkung

* $\nabla^2 f(x)$ fasst die partiellen Ableitungen zweiter Ordnung von $f$ in einer Matrix zusammen.
* Hesse-Matrizen sind multivariate matrixwertige Abbildungen der Form $\nabla^2 f: \mathbb{R}^n \to \mathbb{R}^{n\times n}, x \mapsto \nabla^2 f(x)$.
* Für $n = 1$ gilt $\nabla^2 f(x) = f''(x)$.
* Mit $\frac{\partial^2}{\partial x_i\partial x_j}f(x) = \frac{\partial^2}{\partial x_j\partial x_i}f(x)$ für $1 \le i,j\le n$ folgt, dass $\left(\nabla^2f(x)\right)^T = \nabla^2f(x)$.

# Differentialrechnung multivariater reellwertiger Funktionen
Beispiel
\setstretch{1.6}
\footnotesize

Für die in Beispiel (1) betrachtete Funktion $f: \mathbb{R}^2 \to \mathbb{R}$ gilt
\begin{equation*}
\nabla^2 f(x) :=
\begin{pmatrix}
\frac{\partial^2}{\partial x_1x_1} f(x) & \frac{\partial^2}{\partial x_1x_2}	f(x) \\
\frac{\partial^2}{\partial x_2x_1} f(x) & \frac{\partial^2}{\partial x_2x_2}	f(x) \\
\end{pmatrix}
=
\begin{pmatrix}
2 & 0	\\
0 & 2	\\
\end{pmatrix}
\in \mathbb{R}^{2 \times 2}
\end{equation*}
\vspace{1mm}

Für die in Beispiel (2) betrachtete Funktion $f: \mathbb{R}^3_{>0} \to \mathbb{R}$ gilt
\setstretch{1.8}
\begin{align*}
\begin{split}
\nabla^2 f(x)
& :=
\begin{pmatrix}
  \frac{\partial^2}{\partial x_1x_1}  f(x)
& \frac{\partial^2}{\partial x_1x_2}	f(x)
& \frac{\partial^2}{\partial x_1x_3}	f(x)
\\
  \frac{\partial^2}{\partial x_2x_1}  f(x)
& \frac{\partial^2}{\partial x_2x_2}	f(x)
& \frac{\partial^2}{\partial x_2x_3}	f(x)
\\
  \frac{\partial^2}{\partial x_3x_1}  f(x)
& \frac{\partial^2}{\partial x_3x_2}	f(x)
& \frac{\partial^2}{\partial x_3x_3}	f(x)
\end{pmatrix}
\\
& :=
\begin{pmatrix}
  2
& 1
& 0
\\
  1
& 0
& \frac{1}{2\sqrt{3}}
\\
  0
& \frac{1}{2\sqrt{3}}
& -\frac{1}{4}x_2x_3^{-3/2}
\end{pmatrix}.
\end{split}
\end{align*}

#
\Large
\setstretch{3}
\vfill
Grundlagen der Differentialrechnung

Analytische Optimierung

Differentialrechnung multivariater reellwertiger Funktionen

**Selbstkontrollfragen**
\vfill

# Selbstkontrollfragen
\footnotesize
1. Geben Sie die Definition des Begriffs der Ableitung $f'(a)$ einer Funktion $f$ an einer Stelle $a$ wieder.
1. Geben Sie die Definition des Begriffs der Ableitung $f'$ einer Funktion $f$.
1. Erläutern Sie die Symbole $f'(x), \dot{f}(x)$, $\frac{df(x)}{dx}$, und $\frac{d}{dx}f(x)$.
1. Geben Sie die Definition des Begriffs der zweiten Ableitung $f''$ einer Funktion $f$ wieder.
1. Geben Sie die Summenregel für Ableitungen wieder.
1. Geben Sie die Produktregel für Ableitungen wieder.
1. Geben Sie die Quotientenregel für Ableitungen wieder.
1. Geben Sie die Kettenregel für Ableitungen wieder.
1. Bestimmen Sie die erste Ableitung der Funktion $f(x) := 3x^2 + \exp\left(-x^2\right) - x \ln(x)$.
1. Bestimmen Sie die erste Ableitung der Funktion $f(x) :=\frac{1}{2}\sum_{i=1}^n (x_i - \mu)^2$ für $\mu \in \mathbb{R}$.
1. Geben Sie die Definition der Begriffe des globalen und lokalen Maximums/Minimums einer univariaten reellwertigen Funktion wieder.
1. Geben Sie die notwendige Bedingung für ein Extremum einer Funktion wieder.
1. Geben Sie die hinreichende Bedingung für ein lokales Extremum einer Funktion wieder.
1. Geben Sie das Standardverfahren der analytischen Optimierung wieder.
1. Bestimmen Sie einen Extremwert von $f(x) := \exp\left(-\frac{1}{2}(x - \mu)^2\right)$ für $\mu \in \mathbb{R}$.
1. Berechnen Sie die partiellen Ableitungen der Funktion 
$f : \mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := \exp\left(-\frac{1}{2}\left(x_1^2 + x_2^2\right)\right)$.
1. Berechnen Sie die zweiten partiellen Ableitungen obiger Funktion $f$.
1. Geben Sie den Satz von Schwarz wieder.
1. Geben Sie die Definition des Gradienten einer multivariaten reellwertigen Funktion wieder.
1. Geben Sie den Gradienten obiger Funktion $f$ an und werten Sie ihn in $x = (1,2)^T$ aus.
1. Geben Sie die Definition der  Hesse-Matrix einer multivariaten reellwertigen Funktion wieder.
1. Geben Sie die Hesse-Matrix obiger Funktion $f$ an und werten Sie sie in $x = (1,2)^T$ aus.
