% Options for packages loaded elsewhere
\PassOptionsToPackage{unicode}{hyperref}
\PassOptionsToPackage{hyphens}{url}
%
\documentclass[
  8pt,
  ignorenonframetext,
]{beamer}
\usepackage{pgfpages}
\setbeamertemplate{caption}[numbered]
\setbeamertemplate{caption label separator}{: }
\setbeamercolor{caption name}{fg=normal text.fg}
\beamertemplatenavigationsymbolsempty
% Prevent slide breaks in the middle of a paragraph
\widowpenalties 1 10000
\raggedbottom
\setbeamertemplate{part page}{
  \centering
  \begin{beamercolorbox}[sep=16pt,center]{part title}
    \usebeamerfont{part title}\insertpart\par
  \end{beamercolorbox}
}
\setbeamertemplate{section page}{
  \centering
  \begin{beamercolorbox}[sep=12pt,center]{part title}
    \usebeamerfont{section title}\insertsection\par
  \end{beamercolorbox}
}
\setbeamertemplate{subsection page}{
  \centering
  \begin{beamercolorbox}[sep=8pt,center]{part title}
    \usebeamerfont{subsection title}\insertsubsection\par
  \end{beamercolorbox}
}
\AtBeginPart{
  \frame{\partpage}
}
\AtBeginSection{
  \ifbibliography
  \else
    \frame{\sectionpage}
  \fi
}
\AtBeginSubsection{
  \frame{\subsectionpage}
}
\usepackage{amsmath,amssymb}
\usepackage{lmodern}
\usepackage{iftex}
\ifPDFTeX
  \usepackage[T1]{fontenc}
  \usepackage[utf8]{inputenc}
  \usepackage{textcomp} % provide euro and other symbols
\else % if luatex or xetex
  \usepackage{unicode-math}
  \defaultfontfeatures{Scale=MatchLowercase}
  \defaultfontfeatures[\rmfamily]{Ligatures=TeX,Scale=1}
\fi
% Use upquote if available, for straight quotes in verbatim environments
\IfFileExists{upquote.sty}{\usepackage{upquote}}{}
\IfFileExists{microtype.sty}{% use microtype if available
  \usepackage[]{microtype}
  \UseMicrotypeSet[protrusion]{basicmath} % disable protrusion for tt fonts
}{}
\makeatletter
\@ifundefined{KOMAClassName}{% if non-KOMA class
  \IfFileExists{parskip.sty}{%
    \usepackage{parskip}
  }{% else
    \setlength{\parindent}{0pt}
    \setlength{\parskip}{6pt plus 2pt minus 1pt}}
}{% if KOMA class
  \KOMAoptions{parskip=half}}
\makeatother
\usepackage{xcolor}
\newif\ifbibliography
\usepackage{color}
\usepackage{fancyvrb}
\newcommand{\VerbBar}{|}
\newcommand{\VERB}{\Verb[commandchars=\\\{\}]}
\DefineVerbatimEnvironment{Highlighting}{Verbatim}{commandchars=\\\{\}}
% Add ',fontsize=\small' for more characters per line
\usepackage{framed}
\definecolor{shadecolor}{RGB}{248,248,248}
\newenvironment{Shaded}{\begin{snugshade}}{\end{snugshade}}
\newcommand{\AlertTok}[1]{\textcolor[rgb]{0.94,0.16,0.16}{#1}}
\newcommand{\AnnotationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\AttributeTok}[1]{\textcolor[rgb]{0.77,0.63,0.00}{#1}}
\newcommand{\BaseNTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\BuiltInTok}[1]{#1}
\newcommand{\CharTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\CommentTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\CommentVarTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ConstantTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ControlFlowTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\DataTypeTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{#1}}
\newcommand{\DecValTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\DocumentationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\ErrorTok}[1]{\textcolor[rgb]{0.64,0.00,0.00}{\textbf{#1}}}
\newcommand{\ExtensionTok}[1]{#1}
\newcommand{\FloatTok}[1]{\textcolor[rgb]{0.00,0.00,0.81}{#1}}
\newcommand{\FunctionTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\ImportTok}[1]{#1}
\newcommand{\InformationTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\newcommand{\KeywordTok}[1]{\textcolor[rgb]{0.13,0.29,0.53}{\textbf{#1}}}
\newcommand{\NormalTok}[1]{#1}
\newcommand{\OperatorTok}[1]{\textcolor[rgb]{0.81,0.36,0.00}{\textbf{#1}}}
\newcommand{\OtherTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{#1}}
\newcommand{\PreprocessorTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textit{#1}}}
\newcommand{\RegionMarkerTok}[1]{#1}
\newcommand{\SpecialCharTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\SpecialStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\StringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\VariableTok}[1]{\textcolor[rgb]{0.00,0.00,0.00}{#1}}
\newcommand{\VerbatimStringTok}[1]{\textcolor[rgb]{0.31,0.60,0.02}{#1}}
\newcommand{\WarningTok}[1]{\textcolor[rgb]{0.56,0.35,0.01}{\textbf{\textit{#1}}}}
\setlength{\emergencystretch}{3em} % prevent overfull lines
\providecommand{\tightlist}{%
  \setlength{\itemsep}{0pt}\setlength{\parskip}{0pt}}
\setcounter{secnumdepth}{-\maxdimen} % remove section numbering
\newlength{\cslhangindent}
\setlength{\cslhangindent}{1.5em}
\newlength{\csllabelwidth}
\setlength{\csllabelwidth}{3em}
\newlength{\cslentryspacingunit} % times entry-spacing
\setlength{\cslentryspacingunit}{\parskip}
\newenvironment{CSLReferences}[2] % #1 hanging-ident, #2 entry spacing
 {% don't indent paragraphs
  \setlength{\parindent}{0pt}
  % turn on hanging indent if param 1 is 1
  \ifodd #1
  \let\oldpar\par
  \def\par{\hangindent=\cslhangindent\oldpar}
  \fi
  % set entry spacing
  \setlength{\parskip}{#2\cslentryspacingunit}
 }%
 {}
\usepackage{calc}
\newcommand{\CSLBlock}[1]{#1\hfill\break}
\newcommand{\CSLLeftMargin}[1]{\parbox[t]{\csllabelwidth}{#1}}
\newcommand{\CSLRightInline}[1]{\parbox[t]{\linewidth - \csllabelwidth}{#1}\break}
\newcommand{\CSLIndent}[1]{\hspace{\cslhangindent}#1}
% type setting
% ------------------------------------------------------------------------------
\usepackage[german]{babel}     

% fonts
% ------------------------------------------------------------------------------
\usefonttheme{professionalfonts}

% slide title and horizontal line
% ------------------------------------------------------------------------------
\setbeamertemplate{frametitle}{%
    \vskip-30pt \color{black}\large%
    \begin{minipage}[b][23pt]{120mm}%
    \flushleft\insertframetitle%
    \end{minipage}%
}

\setbeamertemplate{headline}										
{
\vskip10pt\hfill\hspace{3.5mm} 										 
\vskip15pt\color{black}\rule{\textwidth}{0.4pt} 					 
}

% slide number
% ---------------------------------------------------------------
\setbeamertemplate{navigation symbols}{}
\setbeamertemplate{footline}
{
\vskip5pt
\vskip2pt
\makebox[123mm]{\hspace{7.5mm}
\hfill Multivariate Datenanalyse $\vert$ 
\copyright $ $ 2022 Dirk Ostwald CC BY-NC-SA 4.0 $\vert$ 
Folie \insertframenumber}
\vskip4pt
}

% block color scheme
% ------------------------------------------------------------------------------
% colors
\definecolor{white}{RGB}{255,255,255}
\definecolor{grey}{RGB}{235,235,235}
\definecolor{lightgrey}{RGB}{245,245,245}
\definecolor{LightBlue}{RGB}{220,220,255}
\definecolor{darkblue}{RGB}{51, 51, 153}
\definecolor{darkgreen}{RGB}{0,100,0}

% definitions and theorems
\setbeamercolor{block title}{fg = black, bg = grey}
\setbeamercolor{block body}{fg = black, bg = lightgrey}

% general line spacing 
% ------------------------------------------------------------------------------
\linespread{1.3}

% local line spacing
% ------------------------------------------------------------------------------
\usepackage{setspace}

% colors
% -----------------------------------------------------------------------------
\usepackage{color}

% justified text
% ------------------------------------------------------------------------------
\usepackage{ragged2e}
\usepackage{etoolbox}
\apptocmd{\frame}{}{\justifying}{}

% bullet point lists
% -----------------------------------------------------------------------------
\setbeamertemplate{itemize item}[circle]
\setbeamertemplate{itemize subitem}[circle]
\setbeamertemplate{itemize subsubitem}[circle]
\setbeamercolor{itemize item}{fg = black}
\setbeamercolor{itemize subitem}{fg = black}
\setbeamercolor{itemize subsubitem}{fg = black}
\setbeamercolor{enumerate item}{fg = black}
\setbeamercolor{enumerate subitem}{fg = black}
\setbeamercolor{enumerate subsubitem}{fg = black}
\setbeamerfont{itemize/enumerate body}{}
\setbeamerfont{itemize/enumerate subbody}{size = \normalsize}
\setbeamerfont{itemize/enumerate subsubbody}{size = \normalsize}

% color links
% ------------------------------------------------------------------------------
\usepackage{hyperref}
\definecolor{urls}{RGB}{204,0,0}
\hypersetup{colorlinks, citecolor = darkblue, urlcolor = urls}


% additional math commands
% ------------------------------------------------------------------------------
\usepackage{bm}                               % bold math symbols
\usepackage{mathtools}                        % pmatrix* environment
\newcommand{\niton}{\not\owns}

% text highlighting
% ------------------------------------------------------------------------------
\usepackage{soul}
\makeatletter
\let\HL\hl
\renewcommand\hl{%
  \let\set@color\beamerorig@set@color
  \let\reset@color\beamerorig@reset@color
  \HL}
\makeatother

% equation highlighting
% -----------------------------------------------------------------------------
\newcommand{\highlight}[2][yellow]{\mathchoice%
  {\colorbox{#1}{$\displaystyle#2$}}%
  {\colorbox{#1}{$\textstyle#2$}}%
  {\colorbox{#1}{$\scriptstyle#2$}}%
  {\colorbox{#1}{$\scriptscriptstyle#2$}}}%

% additional mathematical operators
% ------------------------------------------------------------------------------
\DeclareMathOperator*{\argmax}{arg\,max}
\DeclareMathOperator*{\argmin}{arg\,min}

\ifLuaTeX
  \usepackage{selnolig}  % disable illegal ligatures
\fi
\IfFileExists{bookmark.sty}{\usepackage{bookmark}}{\usepackage{hyperref}}
\IfFileExists{xurl.sty}{\usepackage{xurl}}{} % add URL line breaks if available
\urlstyle{same} % disable monospaced font for URLs
\hypersetup{
  hidelinks,
  pdfcreator={LaTeX via pandoc}}

\author{}
\date{\vspace{-2.5em}}

\begin{document}

\begin{frame}[plain]{}
\protect\hypertarget{section}{}
\center

\begin{center}\includegraphics[width=0.2\linewidth]{6_Abbildungen/mvda_6_otto} \end{center}

\vspace{2mm}

\Huge

Multivariate Datenanalyse \vspace{6mm}

\large

MSc Psychologie WiSe 2021/22

\vspace{6mm}
\large

Prof.~Dr.~Dirk Ostwald
\end{frame}

\begin{frame}[plain]{}
\protect\hypertarget{section-1}{}
\vfill
\center
\huge

\textcolor{black}{(6) Optimierung} \vfill
\end{frame}

\begin{frame}{Multivariate Datenanalyse}
\protect\hypertarget{multivariate-datenanalyse}{}
\small
\center
\footnotesize
\renewcommand{\arraystretch}{1.1}
\begin{tabular}{lll}
Datum        & Einheit                     & Thema                                          \\\hline
15.10.2021   & Einführung                  & (0) Einführung                         \\
15.10.2021   & Grundlagen                  & (1) Vektoren                               \\
22.10.2021   & Grundlagen                  & (2) Matrizen I                         \\
29.10.2021   & Grundlagen                  & (3) Matrizen II                        \\
05.11.2021   & Grundlagen                  & (4) Multivariate Normalverteilung      \\
12.11.2021   & Latente Variablenmodelle    & (5) Hauptkomponentenanalyse            \\
19.11.2021   & Latente Variablenmodell     & (6) Faktorenanalyse                    \\
26.11.2021   & Prädiktive Modellierung     & (7) Optimierung                        \\
03.12.2021   & Prädiktive Modellierung     & (8) Lineare Diskriminanzanalyse und Logistische Regression     \\
10.12.2021   & Prädiktive Modellierung     & (9) Support Vektor Maschinen           \\
17.12.2021   & Prädiktive Modellierung     & (10) Neuronale Netze                   \\
             & \textcolor{gray}{Weihnachtspause}                                    \\
07.01.2022   & Frequentistische Inferenz   & (11) T-Tests                           \\
14.01.2022   & Frequentistische Inferenz   & (12) Einfaktorielle Varianzanalyse     \\
21.01.2022   & Frequentistische Inferenz   & (13) Kanonische Korrelationsanalyse I  \\
28.01.2022   & Frequentistische Inferenz   & (14) Kanonische Korrelationsanalyse II \\\hline
22.02.2022   & Klausur                     & 12 - 13 Uhr, G26-H1                    \\
Jul 2022     & Klausurwiederholungstermin
\end{tabular}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-2}{}
\vfill
\setstretch{2}
\large

\textbf{Prädiktive Modellierung}

Differentialrechnung und Analytische Optimierung

Multivariate Differentialrechnung

Grundlagen der Optimierung

Gradientenverfahren

Grundlagen der Optimierung mit Nebenbedingungen

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{Prädiktive Modellierung}
\protect\hypertarget{pruxe4diktive-modellierung}{}
\setstretch{1.7}
\small

In der Psychologie möchte man gerne Dinge prädizieren, zum Beispiel

\begin{itemize}
\tightlist
\item
  Risiko psychiatrischer Erkrankung basierend auf Fragebogendaten
\item
  Prognose psychiatrischer Erkrankung basierend auf Hirnbildgebungsdaten
\item
  Psychotherapieerfolg basierend auf klinisch-psychologischen Tests
\item
  Subjektive Wahrnehmung (Bewusstsein) basierend auf funktionellen
  Hirnbildgebungsdaten
\item
  \ldots{} \vspace{2mm}
\end{itemize}

Prädiktive Modellierung ist ein datenanalytisches Paradigma, das die
prädiktive Rhethorik bedient.

\begin{itemize}
\tightlist
\item
  Die Datengrundlage ist hier oft multivariat, die Vorhersage ist oft
  univariat.
\item
  Prädiktive Modellierung wird oft mit ``Maschinellem Lernen''
  gleichgesetzt oder verwechselt.
\item
  Prädiktive Modellierung wird oft mit ``Künstlicher Intelligenz''
  gleichgesetzt oder verwechselt.
\item
  Prädiktive Modellierung wird oft mit ``Deep Learning'' gleichgesetzt
  oder verwechselt.
\end{itemize}
\end{frame}

\begin{frame}{Prädiktive Modellierung}
\protect\hypertarget{pruxe4diktive-modellierung-1}{}
Struktur der Prädiktiven Modellierung

\begin{minipage}{.6\textwidth}

\begin{center}\includegraphics[width=0.8\linewidth]{6_Abbildungen/mvda_6_prädiktive_modellierung_1} \end{center}
\end{minipage}
\begin{minipage}{.4\textwidth}

\begin{center}\includegraphics[width=0.9\linewidth]{6_Abbildungen/mvda_6_prädiktive_modellierung_2} \end{center}
\end{minipage}

\flushright
\tiny

nach Dwyer, Falkai, and Koutsouleris (2018) \vspace{3mm}

\flushleft
\small

Rhethorik der Prädiktiven Modellierung

\center
\begin{tabular}{ll}
Daten                     & Trainingsdaten und Testdaten                  \\
Statistisches Modell      & Modell, Machine Learning Algorithmus          \\
Schätzen von Parametern   & Trainieren des Modells, Lernen von Parametern, Supervised Learning
\end{tabular}
\end{frame}

\begin{frame}{Prädiktive Modellierung}
\protect\hypertarget{pruxe4diktive-modellierung-2}{}
Typische Modelle der Prädiktiven Modellierung

\begin{center}\includegraphics[width=0.8\linewidth]{6_Abbildungen/mvda_6_prädiktive_modellierung_3} \end{center}
\end{frame}

\begin{frame}{Prädiktive Modellierung}
\protect\hypertarget{pruxe4diktive-modellierung-3}{}
Modellschätzung- und Modellevaluationsansatz der Prädiktiven
Modellierung

\begin{center}\includegraphics[width=0.7\linewidth]{6_Abbildungen/mvda_6_prädiktive_modellierung_4} \end{center}

Die theoretische Analyse dieses Ansatzes heißt ``Statistische
Lerntheorie'' (Vapnik 2010)
\end{frame}

\begin{frame}{Prädiktive Modellierung}
\protect\hypertarget{pruxe4diktive-modellierung-4}{}
Explanatorische Modellierung vs.~Prädiktive Modellierung

\vspace{2mm}

\begin{center}\includegraphics[width=0.8\linewidth]{6_Abbildungen/mvda_6_prädiktive_vs_explanatorische_modellierung} \end{center}

\small

\begin{itemize}
\tightlist
\item
  Es gibt keinen Grund anzunehmen, dass immer \(\tilde{f} = \hat{f}\)
  gilt.
\item
  Für ein Beispiel mit \(\tilde{f} \neq \hat{f}\). , siehe z.B. Shmueli
  (2010).
\end{itemize}
\end{frame}

\begin{frame}{Prädiktive Modellierung}
\protect\hypertarget{pruxe4diktive-modellierung-5}{}
Technik der Prädiktiven Modellierung

\setstretch{1.5}
\small

Das Lernen von Modellparametern ist das zentrale Problem der Prädiktiven
Modellierung

\begin{itemize}
\tightlist
\item
  Parameterlernen impliziert die Minimierung einer Zielfunktion
  (objective function).
\item
  An der Stelle eines Minimums ist die erste Ableitung einer Funktion
  gleich Null.
\item
  An der Stelle eines Minimums ist die zweite Ableitung einer Funktion
  positiv.
\end{itemize}

Optimierungsverfahren identifizieren Parameterwerte, für die diese
Minimumsbedingungen gelten.

\center
\begin{tabular}{|l|l|}
\hline
Modell
& Optimierungsverfahren                         \\\hline
Lineare Diskriminanzanalyse
& Analytische Optimierung                       \\
Logistische Regression
& Gradientenverfahren                           \\
Support Vektor Maschinen
& Optimierung mit Nebenbedingungen               \\
Neuronale Netze
&  Gradientenverfahren                                              \\
\hline
\end{tabular}

\flushleft

Anmerkungen

\begin{itemize}
\tightlist
\item
  In der statistischen Modellierung hat die Zielfunktion meist
  probabilistische Konnotation.
\item
  Typische Zielfunktionen der statistischen Modellierung sind Likelihood
  Funktionen.
\item
  Prädiktive Modellierung verzichtet zum Teil auf die Repräsentation von
  Unsicherheit.
\end{itemize}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-3}{}
\vfill
\large
\setstretch{2}

Prädiktive Modellierung

\textbf{Differentialrechnung und Analytische Optimierung}

Multivariate Differentialrechnung

Grundlagen der Optimierung

Gradientenverfahren

Grundlagen der Optimierung mit Nebenbedingungen

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung}{}
\setstretch{1.1}
\small
\begin{definition}[Funktionenarten]
In der statistischen Anwendung unterscheiden wir
\begin{itemize}
\item \textit{univariate reellwertige Funktionen} der Form
\begin{equation}
f : \mathbb{R} \to \mathbb{R}, x \mapsto f(x),
\end{equation}
\item \textit{multivariate reellwertige Funktionen} der Form
\begin{equation}
f : \mathbb{R}^n \to \mathbb{R}, x \mapsto f(x) = f(x_1,...,x_n),
\end{equation}
\item \textit{multivariate vektorwertige Funktionen} der Form
\begin{equation}
f : \mathbb{R}^n \to \mathbb{R}^m, x \mapsto
f(x) =
\begin{pmatrix}
f_1(x_1,...,x_n)    \\
\vdots              \\
f_m(x_1,...,x_n)
\end{pmatrix}.
\end{equation}
\end{itemize}
\end{definition}
\footnotesize

Bemerkung

\begin{itemize}
\item In der Physik werden multivariate reellwertige Funktionen auch \textit{Skalarfelder} genannt.
\item In der Physik werden multivariate vektorwertige Funktionen auch \textit{Vektorfelder} genannt.
\end{itemize}

\small
\center

\textbf{In diesem Abschnitt betrachten wir univariate reellwertige
Funktionen.}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-1}{}
Beispiele

\small

Univariate, reellwertige Funktion \begin{equation}
f : \mathbb{R} \to \mathbb{R}, x \mapsto f(x) := x^2
\end{equation} Multivariate (bivariate), reellwertige Funktion
\begin{equation}
f : \mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := x_1^2 + x_2^2
\end{equation} \vspace{1mm}

\begin{center}\includegraphics[width=1\linewidth]{6_Abbildungen/mvda_6_funktionenarten} \end{center}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-2}{}
\setstretch{1.2}
\footnotesize
\begin{definition}[Ableitung]
Es sei $I \subseteq \mathbb{R}$ ein Intervall und
\begin{equation}
f : I \to \mathbb{R}, x \mapsto f(x)
\end{equation}
eine univariate reellwertige Funktion.
$f$ heißt in $a \in I$ \textit{differenzierbar}, wenn der Grenzwert
\begin{equation}
f'(a) := \lim_{h\to 0} \frac{f(a+h)-f(a)}{h}
\end{equation}
existiert.
$f'(a)$ heißt dann die \textit{Ableitung von $f$ an der Stelle $a$}.
Ist $f$ differenzierbar für alle $x \in I$, so heißt $f$ \textit{differenzierbar} und die Funktion
\begin{equation}
f' : I \to \mathbb{R}, x \mapsto f'(x)
\end{equation}
heißt \textit{Ableitung von $f$}
\end{definition}

\footnotesize
\setstretch{1.4}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für \(h>0\) heißt \(\frac{f(a+h)-f(a)}{h}\)
  \textit{Differenzquotient}.
\item
  Der Differenzquotient misst die Änderung \(f(a+h)-f(a)\) von \(f\) pro
  Strecke \(h\).
\item
  Für \(h\to 0\) misst der Differenzquotient die
  Änderungs\underline{rate} von \(f\) in \(a\).
\item
  \(f'(a)\) ist eine Zahl, \(f'\) ist eine Funktion.
\item
  Wir werden keine Grenzwertbildung zur Berechnung von Ableitungen
  benötigen.
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-3}{}
\setstretch{1.4}
\small
\begin{definition}[Notation für Ableitungen univariater reellwertiger Funktionen]
Es sei $f$ eine univariate reellwertige Funktion. Äquivalente Schreibweisen für
die Ableitung von $f$ und die Ableitung von $f$ an einer Stelle $x$ sind
\begin{enumerate}
\item[(1)] die \textit{Lagrange-Notation} $f'$ und $f'(x)$,
\item[(2)] die \textit{Newton-Notation} $\dot{f}$ und $\dot{f}(x)$,
\item[(3)] die \textit{Leibniz-Notation} $\frac{df}{dx}$ und $\frac{df(x)}{dx}$ und
\item[(4)] die \textit{Euler-Notation} $Df$ und $Df(x)$.
\end{enumerate}

\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Für univariate reellwertige Funktionen benutzen wir \(f'\) und
  \(f'(x)\) als Bezeichner.
\item
  In Berechnungen benutzen wir auch die ``Operator-Schreibweise''
  \(\frac{d}{dx}f(x)\).
\item
  Wir verstehen \(\frac{d}{dx}f(x)\) als den Auftrag, die Ableitung von
  \(f\) zu berechnen.
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-4}{}
\footnotesize
\begin{definition}[Höhere Ableitungen]
Es sei $f$ eine univariate reellwertige Funktion und
\begin{equation}
f^{(1)} := f'
\end{equation}
sei die Ableitung von $f$. Die $k$-te Ableitung von $f$ ist rekursiv definiert durch
\begin{equation}
f^{(k)} := \left(f^{(k-1)}\right)' \mbox{ für } k \ge 0,
\end{equation}
unter der Annahme, dass $f^{(k-1)}$ differenzierbar ist. Insbesondere ist die
\textit{zweite Ableitung von $f$} definiert durch die Ableitung von $f'$, also
\begin{equation}
f'' := (f')'.
\end{equation}
\end{definition}

\setstretch{1.4}
\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir schreiben auch \(\frac{d^2}{dx^2}f(x)\) für den Auftrag, die
  zweite Ableitung von \(f\) zu bestimmen.
\item
  Die nullte Ableitung \(f^{(0)}\) von \(f\) ist \(f\) selbst.
\item
  Üblicherweise schreibt man für \(k < 4\) \(f',f'',f'''\) statt
  \(f^{(1)}, f^{(2)}, f^{(3)}\).
\item
  Im Allgemeinen benötigen wir nur \(f'\) und \(f''\).
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-5}{}
\setstretch{1.1}
\footnotesize
\begin{theorem}[Rechenregeln für Ableitungen]
\justifying
\normalfont
Für $i = 1,...,n$ seien $g_i$ reellwertige univariate differenzierbare Funktionen.
Dann gelten folgende Rechenregeln:
\begin{enumerate}
\item[(1)] Summenregel
\begin{equation}
\mbox{Für } f(x) := \sum_{i=1}^n g_i(x) \mbox{ gilt } f'(x) = \sum_{i=1}^n g_i'(x).
\end{equation}
\item[(2)] Produktregel
\begin{equation}
\mbox{Für } f(x) := g_1(x)g_2(x) \mbox{ gilt } f'(x) = g_1'(x)g_2(x) + g_1(x)g_2'(x).
\end{equation}
\item[(3)] Quotientenregel
\begin{equation}
\mbox{Für } f(x) := \frac{g_1(x)}{g_2(x)} \mbox{ gilt } f'(x) = \frac{g_1'(x)g_2(x) - g_1(x)g_2'(x)}{g_2^2(x)}.
\end{equation}
\item[(4)] Kettenregel
\begin{equation}
\mbox{Für } f(x) := g_1(g_2(x)) \mbox{ gilt } f'(x) = g_1'(g_2(x))g'_2(x).
\end{equation}
\end{enumerate}
\end{theorem}

\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  Für Beweise der Rechenregeln wird auf die einschlägige Literatur
  verwiesen.
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-6}{}
\footnotesize
\begin{theorem}[Ableitungen elementarer Funktionen]
\justifying
\normalfont
Für einige elementare Funktionen der Datenanalyse ergeben sich folgende Ableitungen:
\vspace{2mm}

\setstretch{1.6}
\begin{table}
\centering
\begin{tabular}{lll}
Name                                        & Definition                                & Ableitung                                           \\\hline
Polynomfunktionen                   & $f(x) := \sum_{i=0}^n a_ix^i$     & $f(x)  = \sum_{i=1}^n ia_ix^{i-1}$      \\
$\quad$ Konstante Funktion      & $f(x) := a$                                 & $f'(x) = 0$                                         \\
$\quad$ Identitätsfunktion      & $f(x) := x$                               & $f'(x) = 1$                                       \\
$\quad$ Lineare Funktion           & $f(x) := ax + b$                         & $f'(x) = a$                                         \\
$\quad$ Quadratfunktion           & $f(x) := x^2$                           & $f'(x) = 2x$                                      \\
Exponentialfunktion                 & $f(x) := \exp(x)$                       & $f'(x) = \exp(x)$                                 \\
Logarithmusfunktion                 & $f(x) := \ln(x)$                        & $f'(x) = \frac{1}{x}$                           \\
\end{tabular}
\end{table}
\end{theorem}

\setstretch{1.4}
\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  Für Beweise wird auf die einschlägige Literatur verwiesen.
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-7}{}
Ableitungen elementarer Funktionen \vspace{3mm} \center

\begin{center}\includegraphics[width=1\linewidth]{6_Abbildungen/mvda_6_ableitungen_1} \end{center}
\end{frame}

\begin{frame}{Differentialrechung und Analytische Optimierung}
\protect\hypertarget{differentialrechung-und-analytische-optimierung-8}{}
Ableitungen elementarer Funktionen \vspace{3mm} \center

\begin{center}\includegraphics[width=1\linewidth]{6_Abbildungen/mvda_6_ableitungen_2} \end{center}
\end{frame}

\begin{frame}{Differentialrechnung und Analytische Optimierung}
\protect\hypertarget{differentialrechnung-und-analytische-optimierung}{}
\setstretch{1.1}
\footnotesize
\begin{definition}[Extremstellen und Extremwerte]
\justifying
Es sei $U \subseteq \mathbb{R}$ und $f : U \to \mathbb{R}$ eine univariate
reellwertige Funktion. Dann hat $f$ an der Stelle $x_0 \in U$
\begin{itemize}
\justifying
\item ein \textit{lokales Minimum}, wenn es ein Intervall $I := ]a,b[$ gibt mit $x_0 \in ]a,b[$ und
\begin{equation}
f(x_0) \le f(x) \mbox{ für alle } x\in I\cap U,
\end{equation}
\item ein \textit{globales Minimum}, wenn gilt, dass
\begin{equation}
f(x_0) \le f(x) \mbox{ für alle } x\in U,
\end{equation}
\item ein \textit{lokales Maximum}, wenn es ein Intervall $I := ]a,b[$ gibt mit $x_0 \in ]a,b[$ und
\begin{equation}
f(x_0) \ge f(x) \mbox{ für alle }  x\in I\cap U,
\end{equation}
\item \textit{lokales Maximum}, wenn gilt, dass
\begin{equation}
f(x_0) \ge f(x) \mbox{ für alle } x\in U.
\end{equation}
\end{itemize}
Der  Wert $x_0 \in U$ der Definitionsmenge von $f$ heißt entsprechend
\textit{lokale} oder \textit{globale Minimalstelle} oder \textit{Maximalstelle},
der Funktionswert $f(x_0) \in \mathbb{R}$ heißt entsprechend \textit{lokales}
oder \textit{globales Minimum} oder \textit{Maximum}. Generell heißt der Wert
$x_0 \in U$ \textit{Extremstelle} und der Funktionswert $f(x_0) \in \mathbb{R}$ \textit{Extremwert}.
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Extremstellen werden auch mit \(\argmin_{x \in I \cap U} f(x)\) oder
  \(\argmax_{x \in I \cap U} f(x)\) bezeichnet.
\item
  Extremwerte werden auch mit \(\min_{x \in I \cap U} f(x)\) oder
  \(\max_{x \in I \cap U} f(x)\) bezeichnet.
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechnung und Analytische Optimierung}
\protect\hypertarget{differentialrechnung-und-analytische-optimierung-1}{}
\small
\begin{definition}[Notwendige Bedingung für Extrema]
$f$ sei eine univariate reellwertige Funktion. Dann gilt
\begin{equation}
x_0 \mbox{ ist Extremstelle von } f \Rightarrow f'(x_0) = 0.
\end{equation}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wenn \(x_0\) eine Extremstelle von \(f\) ist, dann ist die erste
  Ableitung von \(f\) in \(x_0\) null.
\item
  Sei zum Beispiel \(x_0\) eine lokale Maximalstelle von \(f\). Dann
  gilt

  \begin{itemize}
  \tightlist
  \item
    \small Links von \(x_0\) steigt \(f\) an, rechts von \(x_0\) fällt
    \(f\) ab.
  \item
    In \(x_0\) steigt \(f\) weder an, noch fällt \(f\) ab, also ist
    \(f'(x_0) = 0\).
  \end{itemize}
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechnung und Analytische Optimierung}
\protect\hypertarget{differentialrechnung-und-analytische-optimierung-2}{}
\small
\begin{definition}[Hinreichende Bedingungen für lokale Extrema]
$f$ sei eine zweimal differenzierbare univariate reellwertige Funktion.
\begin{itemize}
\item Wenn für $x_0 \in U \subseteq \mathbb{R}$
\begin{equation}
f'(x_0) = 0 \mbox{ und } f''(x_0) > 0
\end{equation}
gilt, dann hat $f$ an der Stelle $x_0$ ein Minimum.
\item Wenn für $x_0 \in U \subseteq \mathbb{R}$
\begin{equation}
f'(x_0) = 0 \mbox{ und } f''(x_0) < 0
\end{equation}
gilt, dann hat $f$ an der Stelle $x_0$ ein Maximum.
\end{itemize}
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  Eine Intuition vermittelt nachfolgende Abbildung.
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechnung und Analytische Optimierung}
\protect\hypertarget{differentialrechnung-und-analytische-optimierung-3}{}
\vspace{2mm}

\center

\begin{center}\includegraphics[width=0.5\linewidth]{6_Abbildungen/mvda_6_optimierung} \end{center}
\vspace{-3mm}
\footnotesize

Hier ist offenbar \(x_0 = 1\) eine lokale Minimalstelle von
\(f(x) = (x-1)^2\). Man erkennt:

\begin{itemize}
\tightlist
\item
  Links von \(x_0\) fällt \(f\) ab, rechts von \(x_0\) steigt \(f\) an.
\item
  In \(x_0\) steigt \(f\) weder an, noch fällt \(f\) ab, also ist
  \(f'(x_0) = 0\).
\item
  Links und rechts von \(x_0\) und in \(x_0\) ist die Änderung \(f''\)
  von \(f'\) positiv.
\item
  Links von \(x_0\) schwächt sich die Negativität von \(f'\) zu \(0\)
  ab.
\item
  Rechts von \(x_0\) verstärkt sich die Positivität von \(f'\).
\end{itemize}
\end{frame}

\begin{frame}{Differentialrechnung und Analytische Optimierung}
\protect\hypertarget{differentialrechnung-und-analytische-optimierung-4}{}
\small
\begin{definition}[Standardverfahren der analytischen Optimierung]
\justifying
$f$ sei eine univariate reellwertige Funktion. Lokale Extremstellen von $f$ können
mit folgendem \textit{Standardverfahren der analytischen Optimierung} identifiziert
werden:
\begin{itemize}
\itemsep3mm
\item[(1)] Berechnen der ersten und zweiten Ableitung von $f$.
\item[(2)] Bestimmen von Nullstellen $x^*$ von $f'$ durch Auflösen von $f'(x^*) = 0$ nach $x^*$.

$\Rightarrow$ Nullstellen von $f'$ sind Kandidaten für Extremstellen von $f$.

\item [(3)]  Evaluation von $f''(x^*)$.

$\Rightarrow$ Wenn $f''(x^*) > 0$, dann ist $x^*$ lokale Minimumstelle von $f$.

$\Rightarrow$ Wenn $f''(x^*) < 0$, dann ist $x^*$ lokale Maximumstelle von $f$.

$\Rightarrow$ Wenn $f''(x^*) = 0$, dann ist $x^*$ keine Extremstelle von $f$.
\end{itemize}
\end{definition}
\end{frame}

\begin{frame}{Differentialrechnung und Analytische Optimierung}
\protect\hypertarget{differentialrechnung-und-analytische-optimierung-5}{}
Beispiel \vspace{2mm} \small

Wir betrachten die Funktion \begin{equation}
f : \mathbb{R} \to \mathbb{R}, x \mapsto f(x) := (x - 1)^2.
\end{equation}

Die erste Ableitung von \(f\) ergibt sich mit der Kettenregel zu
\begin{equation}
f'(x) = \frac{d}{dx}\left((x-1)^2 \right) = 2(x-1)\cdot \frac{d}{dx}(x-1) = 2x - 2.
\end{equation}

Die zweite Ableitung von \(f\) ergibt sich zu \begin{equation}
f''(x) = \frac{d}{dx}f'(x) = \frac{d}{dx}(2x - 2) = 2 > 0 \mbox{ für alle } x \in \mathbb{R}.
\end{equation}

Auflösen von \(f'(x^*) = 0\) nach \(x^*\) ergibt \begin{equation}
f'(x^*) = 0
\Leftrightarrow
2x^* - 2 = 0
\Leftrightarrow
2x^* = 2
\Leftrightarrow
x^* = 1.
\end{equation}

\(x^* = 1\) ist folglich eine Minimalstelle von \(f\) mit zugehörigen
Minimalwert \(f(1) = 0\).
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-4}{}
\vfill
\large
\setstretch{2}

Prädiktive Modellierung

Differentialrechnung und Analytische Optimierung

\textbf{Multivariate Differentialrechnung}

Grundlagen der Optimierung

Gradientenverfahren

Grundlagen der Optimierung mit Nebenbedingungen

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung}{}
\setstretch{1.1}
\small
\begin{definition}[Funktionenarten]
In der statistischen Anwendung unterscheiden wir
\begin{itemize}
\item \textit{univariate reellwertige Funktionen} der Form
\begin{equation}
f : \mathbb{R} \to \mathbb{R}, x \mapsto f(x),
\end{equation}
\item \textit{multivariate reellwertige Funktionen} der Form
\begin{equation}
f : \mathbb{R}^n \to \mathbb{R}, x \mapsto f(x) = f(x_1,...,x_n),
\end{equation}
\item \textit{multivariate vektorwertige Funktionen} der Form
\begin{equation}
f : \mathbb{R}^n \to \mathbb{R}^m, x \mapsto
f(x) =
\begin{pmatrix}
f_1(x_1,...,x_n)    \\
\vdots              \\
f_m(x_1,...,x_n)
\end{pmatrix}.
\end{equation}
\end{itemize}
\end{definition}

\small
\center

\textbf{In diesem Abschnitt betrachten wir multivariate reellwertige
Funktionen.}

\textbf{Beim Parameterlernen der Prädiktiven Modellierung ist}

\textbf{\(x \in \mathbb{R}^n\) ein Vektor von Parameterwerten und
\(f : \mathbb{R}^n \to \mathbb{R}\) eine Zielfunktion}.
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-1}{}
\footnotesize
\begin{definition}[Partielle Ableitung]
Es sei $D \subseteq \mathbb{R}^n$ eine Menge und
\begin{equation}
f : D \to \mathbb{R}, x \mapsto f(x)
\end{equation}
eine multivariate reellwertige  Funktion.
$f$ heißt in $x \in D$ \textit{nach $x_i$ partiell differenzierbar}, wenn der Grenzwert
\begin{equation}
\frac{\partial}{\partial x_i}f(x) := \lim_{h\to 0} \frac{f(x + he_i)-f(x)}{h}
\end{equation}
existiert. $\frac{\partial}{\partial x_i}f(x)$ heißt dann die \textit{ partielle Ableitung von $f$ nach $x_i$
an der Stelle $x$}. Wenn $f$ für alle $x \in D$, nach $x_i$  partiell differenzierbar ist,
dann heißt $f$ \textit{nach $x_i$  partiell differenzierbar} und die Funktion
\begin{equation}
\frac{\partial}{\partial x_i} f: D \to \mathbb{R}, x \mapsto \frac{\partial}{\partial x_i}f(x)
\end{equation}
heißt \textit{partielle Ableitung von $f$ nach $x_i$}.
\vspace{2mm}

$f$ heißt \textit{partiell differenzierbar in $x \in D$}, wenn $f$ für alle $i = 1,...,n$
in $x \in D$ nach $x_i$ partiell differenzierbar ist, und  $f$ heißt partiell differenzierbar,
wenn $f$ für alle  $i = 1,...,n$ in allen $x \in D$ nach $x_i$ partiell differenzierbar ist.
\end{definition}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-2}{}
\small
\setstretch{1.8}

Bemerkungen

\begin{itemize}
\tightlist
\item
  \(e_i \in \mathbb{R}^n\) bezeichnet den \(i\)ten Einheitsvektor.
\item
  \(\frac{f(x + he_i)-f(x)}{h}\) misst die Änderung \(f(x+he_i)-f(x)\)
  von \(f\) pro Strecke \(h\) in Richtung \(e_i\).
\item
  Für \(h\to 0\) misst der Differenzquotient die
  Änderungs\underline{rate} von \(f\) in \(x\) in Richtung \(e_i\).
\item
  \(\frac{\partial}{\partial x_i}f(x)\) ist eine Zahl,
  \(\frac{\partial}{\partial x_i}f\) ist eine Funktion.
\item
  Praktisch berechnet man \(\frac{\partial}{\partial x_i}f\) als die
  (einfache) Ableitung \begin{equation}
  \frac{d}{dx_i}\tilde{f}_{x_1,...x_{i-1},x_{i+1}, ...,x_n}(x_i)
  \end{equation} der univariaten reellwertigen Funktion \begin{equation}
  \tilde{f} : \mathbb{R} \to \mathbb{R}, x_i \mapsto \tilde{f}_{x_1,...x_{i-1},x_{i+1}, ...,x_n}(x_i) := f(x_1,...,x_i, ...,x_n).
  \end{equation}
\item
  Man betrachtet alle \(x_j\) mit \(j \neq i\) also als Konstanten.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-3}{}
Beispiel (1) \footnotesize

Wir betrachten die Funktion \begin{equation}
f:\mathbb{R}^2\to \mathbb{R}, x\mapsto f(x):=x_1^2+x_2^2.
\end{equation} Weil die Definitionsmenge dieser Funktion zweidimensional
ist, kann man zwei partielle Ableitungen berechnen
\begin{equation}\label{eq:pdex_1}
\frac{\partial }{\partial x_1}f:\mathbb{R}^2 \to \mathbb{R},
x\mapsto \frac{\partial}{\partial x_{1}} f(x)
\mbox{ und }
\frac{\partial}{\partial x_2} f:\mathbb{R}^2\to \mathbb{R},
x\mapsto \frac{\partial }{\partial x_2}f(x).
\end{equation} Um die erste dieser partiellen Ableitungen zu berechnen,
betrachtet man die Funktion \begin{equation}
f_{x_2}:\mathbb{R} \to \mathbb{R}, x_1 \mapsto f_{x_2}(x_1):=x_1^2+x_2^2,
\end{equation} wobei \(x_2\) hier die Rolle einer Konstanten einnimmt.
Um explizit zu machen, dass \(x_2\) kein Argument der Funktion ist, die
Funktion aber weiterhin von \(x_2\) abhängt haben wir die
Subskriptnotation \(f_{x_2}(x_1)\) verwendet. Um nun die partielle
Ableitung zu berechnen, berechnen wir die (einfache) Ableitung von
\(f_{x_2}\), \begin{equation}
f_{x_2}'(x)=2x_{1}.
\end{equation} Es ergibt sich also \begin{equation}
\frac{\partial}{\partial x_1}f:\mathbb{R}^2\to \mathbb{R},
x\mapsto \frac{\partial}{\partial x_1}f(x)
=\frac{\partial}{\partial x_1}(x_1^2+x_2^2)
=f_{x_2}'(x)=2x_1.
\end{equation} Analog gilt mit der entsprechenden Formulierung von
\(f_{x_1}\), dass \begin{equation}
\frac{\partial}{\partial x_2}f:\mathbb{R}^2\to \mathbb{R},
x\mapsto \frac{\partial}{\partial x_2}f(x)
=\frac{\partial}{\partial x_2}(x_1^2+x_2^2)
=f_{x_1}'(x)=2x_2.
\end{equation}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-4}{}
\small
\begin{definition}[Zweite partielle Ableitungen]
$f: \mathbb{R}^n \to \mathbb{R}$ sei eine multivariate reellwertige Funktion und
$\frac{\partial}{\partial x_i}f$  sei die partielle Ableitung von $f$ nach $x_i$.
Dann ist die zweite partielle
Ableitung von $f$ nach $x_i$ und $x_j$ definiert als
\begin{equation}
\frac{\partial^2}{\partial x_j x_i} f(x)
:= \frac{\partial}{\partial x_j}\left(\frac{\partial}{\partial x_i}f\right)
\end{equation}
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  \justifying Wie die zweite Ableitung ist auch die zweite partielle
  Ableitung rekursiv definiert.
\item
  Zu jeder partiellen Ableitung \(\frac{\partial}{\partial x_i}f\) gibt
  es \(n\) zweite partiellen Ableitungen
  \(\frac{\partial^2}{\partial x_j\partial x_i}f, j = 1,...,n\).
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-5}{}
\small
\begin{theorem}[Satz von Schwarz]
\justifying
\normalfont
$f: \mathbb{R}^n \to \mathbb{R}$ sei eine partiell differenzierbare multivariate reellwertige Funktion.
Dann gilt
\begin{equation}
  \frac{\partial^2}{\partial x_j\partial x_i}f(x)
= \frac{\partial^2}{\partial x_i\partial x_j}f(x)
    \mbox{ für alle }  1 \le i,j \le n.
\end{equation}
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Wir verzichten auf einen Beweis.
\item
  Das Theorem von Schwarz besagt, dass die Reihenfolge des partiellen
  Ableitens irrelevant ist
\item
  Das Theorem erleichtert die Berechnung von zweiten partiellen
  Ableitungen.
\item
  Das Theorem hilft, Fehler bei der Berechnung zweiter partieller
  Ableitungen aufzudecken.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-6}{}
Beispiel (1) (fortgeführt) \footnotesize

Wir wollen die partiellen Ableitungen zweiter Ordnung der Funktion
\begin{equation}
f:\mathbb{R}^{2}\to \mathbb{R}, x\mapsto f(x):=x_1^2+x_2^2.
\end{equation} berechnen. Mit den Ergebnissen für die partiellen
Ableitungen erster Ordnung dieser Funktion ergibt sich \begin{align}
\begin{split}
\frac{\partial^2}{\partial x_1 x_1} f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_1} f(x)\right)
  = \frac{\partial}{\partial x_1}(2x_1)
  = 2
\\
\frac{\partial^2}{\partial x_1 x_2} f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_2} f(x)\right)
  = \frac{\partial}{\partial x_1}(2x_2)
  = 0
\\
\frac{\partial^2}{\partial x_2 x_1} f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_1} f(x)\right)
  = \frac{\partial}{\partial x_2}(2x_1)
  = 0
  \\
\frac{\partial^2}{\partial x_2 x_2} f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_2} f(x)\right)
  = \frac{\partial}{\partial x_2}(2x_2)
  = 2
\end{split}
\end{align} Offenbar gilt \begin{equation}
\frac{\partial^2}{\partial x_1 x_2} f(x) = \frac{\partial^2}{\partial x_2 x_1} f(x).
\end{equation}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-7}{}
\vfill

Beispiel (2) \footnotesize

Wir wollen die partiellen Ableitungen erster und zweiter Ordnung der
Funktion \begin{equation}
f:\mathbb{R}^{3}\to \mathbb{R}, x\mapsto f(x):=x_1^2+x_1x_2+x_2\sqrt{x_3}.
\end{equation} berechnen. \vspace{2mm}

Mit den Rechenregeln für Ableitungen ergibt sich für die partiellen
Ableitungen erster Ordnung \begin{align}
\begin{split}
& \frac{\partial}{\partial x_1}f(x)
= \frac{\partial}{\partial x_1}\left(x_1^2+x_1x_2+x_2\sqrt{x_3} \right) = 2x_1+x_2,                   \\
& \frac{\partial}{\partial x_2}f(x)
= \frac{\partial}{\partial x_2}\left(x_1^2+x_1x_2+x_2\sqrt{x_3} \right) = x_1+\sqrt{x_3},             \\
& \frac{\partial}{\partial x_3}f(x)
= \frac{\partial}{\partial x_3}\left(x_1^2+x_1x_2+x_2\sqrt{x_3} \right) = \frac{x_{2}}{2\sqrt{x_3}}.
\end{split}
\end{align} \vfill
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-8}{}
Beispiel (2) (fortgeführt) \footnotesize

Für die zweiten partiellen Ableitungen hinsichtlich \(x_1\) ergibt sich
\begin{align}
\begin{split}
    \frac{\partial^2}{\partial x_1 \partial x_1}f(x)
& = \frac{\partial}{\partial x_1} \left(\frac{\partial}{\partial x_1} f(x) \right)
  = \frac{\partial}{\partial x_1}\left(2x_1+x_2\right) = 2, \\
    \frac{\partial^2}{\partial x_2\partial x_1}f(x)
& = \frac{\partial}{\partial x_2} \left(\frac{\partial}{\partial x_1} f(x) \right)
  = \frac{\partial}{\partial x_2}\left(2x_1+x_2 \right) = 1, \\
    \frac{\partial^2}{\partial x_3\partial x_1} f(x)
& = \frac{\partial}{\partial x_3}\left(\frac{\partial}{\partial x_{1}} f(x) \right)
  = \frac{\partial}{\partial x_3}\left(2x_1+x_2\right)=0.
\end{split}
\end{align} Für die zweiten partiellen Ableitungen hinsichtlich \(x_2\)
ergibt sich \begin{align}
\begin{split}
    \frac{\partial^2}{\partial x_1\partial x_2}f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_2}f(x) \right)
  = \frac{\partial}{\partial x_{1}}\left(x_1+ \sqrt{x_3} \right) = 1, \\
    \frac{\partial^2}{\partial x_2 \partial x_2}f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_2}f(x) \right)
  = \frac{\partial}{\partial x_2}\left(x_1 + \sqrt{x_3} \right) = 0, \\
    \frac{\partial^2}{\partial x_3\partial x_2}f(x)
& = \frac{\partial}{\partial x_3}\left(\frac{\partial}{\partial x_2}f(x) \right)
  = \frac{\partial}{\partial x_3}\left(x_1+\sqrt{x_3} \right) =\frac{1}{2\sqrt{x_3}}.
\end{split}
\end{align}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-9}{}
Beispiel (2) (fortgeführt) \footnotesize

Für die zweiten partiellen Ableitungen hinsichtlich \(x_3\) ergibt sich
\begin{align}
\begin{split}
    \frac{\partial^{2}}{\partial x_1\partial x_3}f(x)
& = \frac{\partial}{\partial x_1}\left(\frac{\partial}{\partial x_3} f(x) \right)
  = \frac{\partial}{\partial x_1}\left(\frac{x_2}{2}\sqrt{x_3}\right) = 0, \\
    \frac{\partial^2}{\partial x_2\partial x_3}f(x)
& = \frac{\partial}{\partial x_2}\left(\frac{\partial}{\partial x_3}f(x) \right)
  = \frac{\partial}{\partial x_2}\left(\frac{x_2}{2 \sqrt{x_3}} \right)
  = \frac{1}{2\sqrt{x_3}}, \\
    \frac{\partial^2}{\partial x_3 \partial x_3}f(x)
& = \frac{\partial}{\partial x_3}\left(\frac{\partial}{\partial x_3}f(x) \right)
  = \frac{\partial}{\partial x_3}\left(x_2\frac{1}{2}x_3^{-\frac{1}{2}}\right)
  = -\frac{1}{4}x_2x_3^{-\frac{3}{2}}.
\end{split}
\end{align} Weiterhin erkennt man, dass die Reihenfolge der partiellen
Ableitungen irrelevant ist, denn es gilt \begin{align}
\begin{split}
& \frac{\partial^{2}}{\partial x_{1}\partial x_{2}}f(x)
= \frac{\partial^{2}}{\partial x_{2}\partial x_{1}}f(x) = 1, \\
& \frac{\partial^{2}}{\partial x_{1}\partial x_{3}}f(x)
= \frac{\partial^{2}}{\partial x_{3}\partial x_{1}}f(x) = 0, \\
& \frac{\partial^{2}}{\partial x_{2}\partial x_{3}}f(x)
= \frac{\partial^{2}}{\partial x_{3}\partial x_{2}}f(x) = \frac{1}{2\sqrt{x_3}}.
\end{split}
\end{align}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-10}{}
\small
\begin{definition}[Gradient]
\justifying
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine multivariate reellwertige Funktion.
Dann ist der \textit{Gradient} $\nabla f(x)$ von $f$ an der Stelle $x \in \mathbb{R}^n$
definiert als
\begin{equation}
\nabla f(x) :=
\begin{pmatrix}
\frac{\partial}{\partial x_1} f(x)  \\
\frac{\partial}{\partial x_2} f(x)  \\
\vdots                              \\
\frac{\partial}{\partial x_n} f(x)  \\
\end{pmatrix} \in \mathbb{R}^n.
\end{equation}
\end{definition}

\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  \(\nabla f(x)\) fasst die partiellen Ableitungen von \(f\) an der
  Stelle \(x \in \mathbb{R}^n\) in einem Vektor zusammen.
\item
  Gradienten sind multivariate vektorwertige Abbildungen der Form
  \(\nabla f: \mathbb{R}^n \to \mathbb{R}^n, x \mapsto \nabla f(x)\).
\item
  Wir zeigen später, dass \(-\nabla f(x)\) die Richtung des steilsten
  Abstiegs von \(f\) in \(\mathbb{R}^n\) anzeigt.
\item
  Für \(n = 1\) gilt \(\nabla f(x) = f'(x)\).
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-11}{}
Beispiele

\setstretch{1.6}
\small

Für die in Beispiel (1) betrachtete Funktion
\(f: \mathbb{R}^2 \to \mathbb{R}\) gilt \begin{equation}
\nabla f(x) :=
\begin{pmatrix}
\frac{\partial}{\partial x_1} f(x)  \\
\frac{\partial}{\partial x_2} f(x)  \\
\end{pmatrix}
=
\begin{pmatrix}
2x_1                    \\
2x_2
\end{pmatrix}
\in \mathbb{R}^2.
\end{equation} \vspace{2mm}

Für die in Beispiel (2) betrachtete Funktion
\(f: \mathbb{R}^3 \to \mathbb{R}\) gilt \begin{equation}
\nabla f(x) :=
\begin{pmatrix}
\frac{\partial}{\partial x_1} f(x)  \\
\frac{\partial}{\partial x_2} f(x)  \\
\frac{\partial}{\partial x_3} f(x)  \\
\end{pmatrix}
=
\begin{pmatrix}
2x_1+x_2                    \\
x_1+\sqrt{x_3}              \\
\frac{x_{2}}{2\sqrt{x_3}}   \\
\end{pmatrix}
\in \mathbb{R}^3.
\end{equation}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-12}{}
Beispiel (1) (fortgeführt) \footnotesize

Gradienten von
\(f : \mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := x_1^2 + x_2^2\) bei

\center

\textcolor{black}{      $x = \begin{pmatrix*}[r]  0.7 \\  0.7 \end{pmatrix*}\quad\quad\quad$}
\textcolor{blue}{       $x = \begin{pmatrix*}[r] -0.3 \\  0.1 \end{pmatrix*}\quad\quad\quad$}
\textcolor{red}{        $x = \begin{pmatrix*}[r] -0.5 \\ -0.4 \end{pmatrix*}\quad\quad\quad$}
\textcolor{darkgreen}{  $x = \begin{pmatrix*}[r]  0.1 \\ -1.0 \end{pmatrix*}$}
\vspace{-1mm}

\vfill

\begin{center}\includegraphics[width=0.5\linewidth]{6_Abbildungen/mvda_6_gradientbeispiel} \end{center}
\vfill
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-13}{}
\small
\setstretch{1.6}
\begin{definition}[Hesse-Matrix]
\justifying
$f : \mathbb{R}^n \to \mathbb{R}$ sei ein multivariate reellwertige Funktion.
Dann ist die \textit{Hesse-Matrix} $\nabla^2 f(x)$ von $f$ an der Stelle $x \in \mathbb{R}^n$
definiert als
\begin{equation}
\nabla^2 f(x) :=
\begin{pmatrix}
    \frac{\partial^2}{\partial x_1 x_1} f(x)
&   \frac{\partial^2}{\partial x_1 x_2} f(x)
&   \cdots
&   \frac{\partial^2}{\partial x_1 x_n} f(x)  \\
    \frac{\partial^2}{\partial x_2 x_1} f(x)
&   \frac{\partial^2}{\partial x_2 x_2} f(x)
&   \cdots
&   \frac{\partial^2}{\partial x_2 x_n} f(x)  \\
    \vdots
&   \vdots
&   \ddots
&   \vdots                                      \\
    \frac{\partial^2}{\partial x_n x_1} f(x)
&   \frac{\partial^2}{\partial x_n x_2} f(x)
&   \cdots
&   \frac{\partial^2}{\partial x_n x_n} f(x)  \\
\end{pmatrix} \in \mathbb{R}^{n \times n}.
\end{equation}
\end{definition}

\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  \(\nabla^2 f(x)\) fasst die partiellen Ableitungen zweiter Ordnung von
  \(f\) in einer Matrix zusammen.
\item
  Hesse-Matrizen sind multivariate matrixwertige Abbildungen der Form
  \(\nabla^2 f: \mathbb{R}^n \to \mathbb{R}^{n\times n}, x \mapsto \nabla^2 f(x)\).
\item
  Für \(n = 1\) gilt \(\nabla^2 f(x) = f''(x)\).
\item
  Mit
  \(\frac{\partial^2}{\partial x_i\partial x_j}f(x) = \frac{\partial^2}{\partial x_j\partial x_i}f(x)\)
  für \(1 \le i,j\le n\) folgt, dass
  \(\left(\nabla^2f(x)\right)^T = \nabla^2f(x)\).
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-14}{}
Beispiel \setstretch{1.6} \footnotesize

Für die in Beispiel (1) betrachtete Funktion
\(f: \mathbb{R}^2 \to \mathbb{R}\) gilt \begin{equation*}
\nabla^2 f(x) :=
\begin{pmatrix}
\frac{\partial^2}{\partial x_1x_1} f(x) & \frac{\partial^2}{\partial x_1x_2}    f(x) \\
\frac{\partial^2}{\partial x_2x_1} f(x) & \frac{\partial^2}{\partial x_2x_2}    f(x) \\
\end{pmatrix}
=
\begin{pmatrix}
2 & 0   \\
0 & 2   \\
\end{pmatrix}
\in \mathbb{R}^{2 \times 2}
\end{equation*} \vspace{1mm}

Für die in Beispiel (2) betrachtete Funktion
\(f: \mathbb{R}^3 \to \mathbb{R}\) gilt \setstretch{1.8} \begin{align*}
\begin{split}
\nabla^2 f(x)
& :=
\begin{pmatrix}
  \frac{\partial^2}{\partial x_1x_1}  f(x)
& \frac{\partial^2}{\partial x_1x_2}    f(x)
& \frac{\partial^2}{\partial x_1x_3}    f(x)
\\
  \frac{\partial^2}{\partial x_2x_1}  f(x)
& \frac{\partial^2}{\partial x_2x_2}    f(x)
& \frac{\partial^2}{\partial x_2x_3}    f(x)
\\
  \frac{\partial^2}{\partial x_3x_1}  f(x)
& \frac{\partial^2}{\partial x_3x_2}    f(x)
& \frac{\partial^2}{\partial x_3x_3}    f(x)
\end{pmatrix}
\\
& :=
\begin{pmatrix}
  2
& 1
& 0
\\
  1
& 0
& \frac{1}{2\sqrt{3}}
\\
  0
& \frac{1}{2\sqrt{3}}
& -\frac{1}{4}x_2x_3^{-3/2}
\end{pmatrix}
\end{split}
\end{align*}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-15}{}
\small
\begin{definition}[Glatte multivariate reellwertige Funktion]
\justifying
Eine multivariate reellwertige Funktion
\begin{equation}
f:\mathbb{R}^n \to \mathbb{R}, x \mapsto f(x)
\end{equation}
heißt \textit{glatt}, wenn ihr Gradient und ihre Hesse-Matrix existieren und für alle $x \in \mathbb{R}^n$ stetig sind.
\end{definition}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Der Gradient und die Hesse-Matrix einer glatten Funktion könnten
  überall in \(\mathbb{R}^n\) berechnet werden.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-16}{}
\small
\begin{theorem}[Multivariater Mittelwertsatz erster Ordnung]
\justifying
\normalfont
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine glatte Funktion und es sei $p \in \mathbb{R}^n$. Dann gibt es
ein $t \in ]0,1[$, so dass gilt
\begin{equation}
f(x + p) = f(x) + \nabla f(x + tp)^T p.
\end{equation}
\end{theorem}

\begin{theorem}[Multivariater Mittelwertsatz zweiter Ordnung]
\justifying
\normalfont
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine glatte Funktion und es sei $p \in \mathbb{R}^n$. Dann gibt es
ein $t \in ]0,1[$, so dass gilt
\begin{equation}
f(x + p) = f(x) + \nabla f(x)^T p + \frac{1}{2}p^T \nabla^2 f (x + tp) p.
\end{equation}
\end{theorem}

\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  Wir verzichten auf Beweise.
\item
  Nocedal and Wright (2006) bezeichnen die Theoreme als ``Taylor's
  Theorem'', das ist ein wenig misleading.
\item
  \(\nabla f\) und \(\nabla^2 f\) werden an einer Stelle zwischen \(x\)
  und \(x+p\) evaluiert.
\end{itemize}
\end{frame}

\begin{frame}{Multivariate Differentialrechnung}
\protect\hypertarget{multivariate-differentialrechnung-17}{}
Univariate visuelle Intuition zum Mittelwertsatz 1. Ordnung

\small

\begin{equation}
\mbox{Es gibt ein }t \in ]0,1[ \mbox{ mit } f(x + p) = f(x) + f'(x + tp)p
\end{equation} \vspace{1mm}

\begin{center}\includegraphics[width=0.65\linewidth]{6_Abbildungen/mvda_6_mittelwertsatz} \end{center}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-5}{}
\vfill
\large
\setstretch{2}

Prädiktive Modellierung

Differentialrechnung und Analytische Optimierung

Multivariate Differentialrechnung

\textbf{Grundlagen der Optimierung}

Gradientenverfahren

Grundlagen der Optimierung mit Nebenbedingungen

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{Grundlagen der Optimierung}
\protect\hypertarget{grundlagen-der-optimierung}{}
\small
\begin{definition}[Optimierungsproblem]
Ein \textit{Optimierungsproblem} hat die allgemeine Form
\begin{equation}
\min_{x} f(x),
\end{equation}
wobei $x \in \mathbb{R}^n$ und $f : \mathbb{R}^n \to \mathbb{R}$ eine glatte
multivariate reellwertige Funktion ist. Weil gilt, dass
\begin{equation}
\max_{x} f(x) = \min_{x} -f(x)
\end{equation}
genügt es, sich mit Minimierungsproblemen zu befassen.
\end{definition}
\end{frame}

\begin{frame}{Grundlagen der Optimierung}
\protect\hypertarget{grundlagen-der-optimierung-1}{}
\small
\begin{definition}[Globale und lokale Minimierer, globale und lokale Minima]
$f : \mathbb{R}^n \to \mathbb{R}$ sei ein multivariate reellwertige Funktion.
\begin{itemize}
\justifying
\setlength{\itemsep}{3mm}
\item $x^* \in \mathbb{R}^n$ heißt globaler Minimalstelle von $f$, wenn
$f(x^*) \le f(x) \mbox{ für alle } x \in \mathbb{R}^n$ gilt.
$f(x^*) \in \mathbb{R}$ heißt das globale Minimum von $f$.
\item $x^* \in \mathbb{R}^n$ heißt lokale Minimalstelle von $f$, wenn
es eine Umgebung $N$ von $x^*$ gibt, so dass $f(x^*) \le f(x)$ für alle
$x \in N \subset \mathbb{R}^n$. In diesem Fall heißt $f(x^*) \in \mathbb{R}$
lokales Minimum von $f$.
\item  $x^* \in \mathbb{R}^n$ heißt strikte lokale Minimalstelle von $f$, wenn
es eine Umgebung $N$ von $x^*$ gibt, so dass $f(x^*) < f(x)$ für alle
$x \in N \subset \mathbb{R}^n$. In diesem Fall heißt $f(x^*) \in \mathbb{R}$
striktes lokales Minimum von $f$.
\end{itemize}
\end{definition}

\footnotesize

Bemerkung

\begin{itemize}
\tightlist
\item
  Eine Umgebung von \(x \in \mathbb{R}^n\) ist eine offene Menge, die
  \(x\) enthält.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen der Optimierung}
\protect\hypertarget{grundlagen-der-optimierung-2}{}
\small
\begin{theorem}[Notwendige Bedingung erster Ordnung]
\justifying
\normalfont
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine glatte Funktion. Wenn $x^*$ eine
lokale Minimalstelle von $f$ ist, dann gilt
\begin{equation}
\nabla f(x^*) = 0_n.
\end{equation}
\end{theorem}

\tiny

\underline{Beweis} \vspace{1mm}

Wir beweisen das Theorem mithilfe eines indirekten Beweises (Beweis
durch Widerspruch). Dazu nehmen wir an, dass \(x^*\) zwar eine lokale
Minimalstelle von \(f\) ist, aber \(\nabla f(x^*) \neq 0_n\) ist. Dazu
definieren wir zunächst \(p := - \nabla f(x^*)\). Dann gilt, dass
\begin{equation}
p^T \nabla f(x^*) = - \nabla f(x^*)^T \nabla f(x^*) = -||\nabla f(x^*)|| < 0.
\end{equation} Weil \(\nabla f\) in einer Umgebung von \(x^*\) stetig
ist, existiert ein Skalar \(T > 0\), so dass auch \begin{equation}
p^T \nabla f(x^* + tp) < 0 \mbox{ für alle } t \in [0,T].
\end{equation} gilt. Nun gilt für \(\tilde{t} \in ]0,T]\) aber mit dem
Mittelwertssatz erster Ordnung, dass \begin{equation}
f(x^* + \tilde{t}p)
= f(x^*) + \nabla f(x^* + tp)^T \tilde{t}p
= f(x^*) + \tilde{t}p^T \nabla f(x^* + tp)
\mbox{ für ein } t \in ]0,\tilde{t}[.
\end{equation} Also folgt \(f(x^* + \tilde{t}p)<f(x^*)\) für alle
\(\tilde{t} \in ]0,T]\). Wir haben also eine Richtung von \(x^*\) weg
gefunden, in der \(f\) abnimmt. Also kann \(x^*\) keine Minimalstelle
sein, wenn \(\nabla f(x^*) \neq 0_n\) gilt. Dies ist aber ein
Widerspruch, zur Annahme, dass es möglich ist, dass \(x^*\) eine lokale
Minimalstelle von \(f\) ist und \(\nabla f(x^*) \neq 0_n\) gilt. Also
muss \(\nabla f(x^*) = 0_n\) gelten, wenn \(x^*\) eine lokale
Minimalstelle ist.
\end{frame}

\begin{frame}{Grundlagen der Optimierung}
\protect\hypertarget{grundlagen-der-optimierung-3}{}
\small
\begin{theorem}[Notwendige Bedingung zweiter Ordnung]
\justifying
\normalfont
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine glatte Funktion.  Wenn $x^*$  eine lokale
Minimalstelle von $f$ ist, dann ist $\nabla f(x^*) = 0_n$ und $\nabla^2 f(x^*)$
ist positiv semidefinit.
\end{theorem}

\tiny

\underline{Beweis}

Wir beweisen das Theorem mithilfe eines indirekten Beweises (Beweis
durch Widerspruch). Wir haben schon gesehen, dass
\(\nabla f(x^*) = 0_n\) ist, wenn \(x^*\) eine lokale Minimalstelle von
\(f\). ist. Für einen Widerspruchsbeweis nehmen wir nun an, dass \(x^*\)
zwar eine lokale Minimalstelle von \(f\) ist, aber dass
\(\nabla^2 f(x^*)\) nicht positiv semidefinit ist. Dann ist es möglichen
einen Vektor \(p\) zu finden, so dass gilt \begin{equation}
p^T \nabla^2 f (x^*)p < 0.
\end{equation} Weil \(\nabla^2 f(x^*)\) in einer Umgebung von \(x^*\)
stetig ist, existiert ein Skalar \(T > 0\), so dass \begin{equation}
p^T \nabla^2 f (x^* + tp)p < 0 \mbox{ für alle } t \in [0,T].
\end{equation} gilt. Mithilfe des Mittelwertsatzes zweiter Ordnung gilt
dann für alle \(\bar{t} \in ]0,T]\) und ein \(t \in ]0,\bar{t}[\), dass
\begin{equation}
f(x^* + \bar{t}p)
= f(x^*) + \bar{t}p^T\nabla f(x^*) + \frac{1}{2} \bar{t}^2 p^T \nabla^2 f(x^* + tp)p
< f(x^*).
\end{equation} Wir haben also wieder eine Richtung von \(x^*\) weg
gefunden, in der \(f\) abnimmt. Also kann \(x^*\) keine Minimalstelle
sein, wenn \(\nabla^2 f(x^*)\) nicht positiv semidefinit ist. Dies ist
aber ein Widerspruch, zur Annahme, dass es möglich ist, dass \(x^*\)
eine lokale Minimalstelle von \(f\) ist und \(\nabla^2 f(x^*)\) nicht
positiv semidefinit ist. Also muss \(\nabla^2 f(x^*)\) positiv
semidefinit sein, wenn \(x^*\) eine lokale Minimalstelle ist.
\end{frame}

\begin{frame}{Grundlagen der Optimierung}
\protect\hypertarget{grundlagen-der-optimierung-4}{}
\small
\begin{theorem}[Hinreichende Bedingungen zweiter Ordnung]
\justifying
\normalfont
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine glatte Funktion und es seien
$\nabla f(x^*) = 0_n$ und $\nabla^2 f(x^*)$ positiv definit. Dann ist  $x^*$ eine
strikte Minimalstelle von $f$.
\end{theorem}

\tiny

\underline{Beweis}

Wir halten zunächst fest, dass weil die Hesse-Matrix stetig und positiv
definit in \(x^*\) ist, wir ein \(r>0\) wählen können, so dass
\(\nabla^2 f(x)\) positiv definit für alle \(x\) in \begin{equation}
D = \{x | ||x - x^*||<r\}
\end{equation} ist. Für einen Vektor \(p\) mit \(||p|| > 0\) und
\(||p|| < r\) gilt \(x^*+ p \in D\). Für ein \(t \in ]0,1[\) gilt dann
mit dem Mittelwertssatz zweiter Ordnung, dass \begin{align}
\begin{split}
f(x^* + p)
& = f(x^*) + \nabla f(x^*) p^T + \frac{1}{2}p^T \nabla^2 f(x^*+ tp) p  \\
& = f(x^*) + \frac{1}{2}p^T \nabla^2 f(x^*+ tp) p.
\end{split}
\end{align} Weil aber \(x^*+ tp \in D\) ist, gilt, dass
\(p^T \nabla^2 f(x^*+ tp) p > 0\) ist und somit \(f(x^* + p) > f(x^*)\).
In jeder Richtung \(p\) von \(x^*\) weg erhöht sich also der Wert von
\(f\) und damit ist \(x^*\) eine strikte Minimalstelle.
\end{frame}

\begin{frame}{Grundlagen der Optimierung}
\protect\hypertarget{grundlagen-der-optimierung-5}{}
\small
\begin{theorem}[Minmalstellen konvexer Funktionen]
\justifying
\normalfont
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine \textit{konvexe Funktion}, das heißt,
für alle $x,y\in \mathbb{R}^n$ gelte
\begin{equation}
f(\lambda x + (1 - \lambda)y)
\le \lambda f(x) + (1 - \lambda) f(y)
\mbox{ für alle } \lambda \in [0,1].
\end{equation}
Dann ist eine lokale Minimalstelle $x^*$ von $f$ auch die globale Minimalstelle von $f$.
\end{theorem}

\tiny

\underline{Beweis} \vspace{1mm}

Wir beweisen das Theorem mithilfe eines indirekten Beweises (Beweis
durch Widerspruch). Nehmen wir dazu an, \(x^*\) sei eine lokale, aber
keine globale Minimalstelle. Dann können wir ein \(z \in \mathbb{R}^n\)
mit \(f(z) < f(x^*)\) finden. Wir betrachten nun die Strecke, die
\(x^*\) und \(z\) in \(\mathbb{R}^n\) verbindet, also \begin{equation}
x = \lambda z + (1 - \lambda)x^* \mbox{ mit } \lambda \in ]0,1]
\end{equation} Mit der Konvexität von \(f\) folgt dann aber, dass
\begin{equation}
f(x) \le \lambda f(z) + (1 - \lambda)f(x^*) < f(x^*)
\end{equation} Jede Umgebung \(N\) von \(x^*\) enthält ein Stück dieser
Strecke, also gibt es immer Punkte \(x \in N\) mit \(f(x) < f(x^*)\).
Also ist \(x*\) keine lokale Minimalstelle und wir haben einen
Widerspruch.
\end{frame}

\begin{frame}{Grundlagen der Optimierung}
\protect\hypertarget{grundlagen-der-optimierung-6}{}
Zusammenfassung \vspace{1mm} \small

Optimierungsproblem \begin{equation*}
\min_x f(x) = \max_x -f(x) \mbox{ für } f:\mathbb{R}^n \to \mathbb{R}
\end{equation*} Lokale Minimalstelle \begin{equation*}
x^* = \argmin_x f(x), x^* \in \mathbb{R}^n
\Leftrightarrow
f(x^*) \le f(x) \mbox{ für alle } x \in N \subset \mathbb{R}^n
\end{equation*} Notwendige Bedingung erster Ordnung \begin{equation*}
x^* = \argmin_x f(x) \Rightarrow \nabla f(x^*) = 0_n
\end{equation*} Notwendige Bedingung zweiter Ordnung \begin{equation*}
x^* = \argmin_x f(x) \Rightarrow \nabla f(x^*) = 0_n \mbox{ und }\nabla^2 f(x) \mbox{ positiv semidefinit }
\end{equation*} Hinreichende Bedingung zweiter Ordnung \begin{equation*}
\nabla f(x^*) = 0 \mbox{ und } \nabla^2 f(x) \mbox{ positiv definit }  \Rightarrow x^* = \argmin_x f(x)
\end{equation*}
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-6}{}
\vfill
\setstretch{2}
\large

Prädiktive Modellierung

Differentialrechnung und Analytische Optimierung

Multivariate Differentialrechnung

Grundlagen der Optimierung

\textbf{Gradientenverfahren}

Grundlagen der Optimierung mit Nebenbedingungen

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{Gradientenverfahren}
\protect\hypertarget{gradientenverfahren}{}
\setstretch{2.2}

Allgemeine Form von Optimierungsalgorithmen

\small

\textbf{Initialisierung}

\noindent 0. Wahl eines Startpunktes \(x_0 \in \mathbb{R}^n\).

\textbf{Iterationen}

Für \(k = 0,1,2,...\)

\begin{enumerate}
\tightlist
\item
  Berechnung von \(x_{k+1}\) basierend auf Information über \(f\) an der
  Stelle \(x_k\).
\item
  STOP, wenn Minimalstelle gefunden ist oder kein Fortschritt mehr
  erzielt wird.
\end{enumerate}
\end{frame}

\begin{frame}{Gradientenverfahren}
\protect\hypertarget{gradientenverfahren-1}{}
\setstretch{1.8}

Gradientenverfahren

\small

\textbf{Initialisierung}

\noindent 0. Wahl von Startpunkt \(x_0 \in \mathbb{R}^n\), Lernrate
\(\alpha > 0\), Konvergenzkriteriums \(\delta > 0\).

\textbf{Iterationen}

Für \(k = 0,1,2,...\)

\begin{enumerate}
\tightlist
\item
  Setze \(x_{k+1} := x_k - \alpha\nabla f(x_k)\).
\item
  STOP, wenn \(||\nabla f(x_{k+1})|| < \delta\), ansonsten gehe zu 1.
\end{enumerate}
\end{frame}

\begin{frame}{Gradientenverfahren}
\protect\hypertarget{gradientenverfahren-2}{}
\small
\begin{theorem}[Gradientenverfahren]
\justifying
\normalfont
$f : \mathbb{R}^n \to \mathbb{R}$ sei eine glatte Funktion und es sei $x_k \in \mathbb{R}^n$.
Dann ist die Gradientenrichtung
\begin{equation}
p^G_k := - \nabla f(x_k)
\end{equation}
die Richtung des steilsten Abstiegs von $f$ in $x_k$.
\end{theorem}

\footnotesize

Bemerkungen

\begin{itemize}
\tightlist
\item
  Es gibt unendliche viele mögliche Richtungen \(p\) in \(x_k\).
\item
  \(\nabla f(x) \in \mathbb{R}^n\) ist eine Richtung in der
  Definitionsmenge von \(f\) (Parameterraum).
\item
  Die Gradientenrichtung ist davon die Richtung, in der die Zielfunktion
  \(f\) am schnellsten abnimmt.
\item
  Zum Vergleich von Richtungen genügt es, Richtungen der Länge
  \(||p|| = 1\) zu vergleichen.
\end{itemize}
\end{frame}

\begin{frame}{Gradientenverfahren}
\protect\hypertarget{gradientenverfahren-3}{}
\footnotesize

\underline{Beweis}

Mit dem Mittelwertsatz zweiter Ordnung gilt für jede Richtung \(p\) und
Schrittlängenparameter \(\alpha\), dass \begin{equation}
f(x_k + \alpha p) = f(x_k) + \alpha p^T \nabla f(x_k) + \frac{1}{2}\alpha^2 p^T \nabla^2 f(x_k + t p)p
\mbox{ für ein } t \in ]0,\alpha[.
\end{equation} Die Änderungsrate von \(f\) in Richtung \(p\) in \(x_k\)
ist also der Koeffizient von \(\alpha\), also \(p^T \nabla f(x_k)\) (man
denke an \(x = tv\) für einen Ort \(x\), eine Geschwindigkeit \(v\) und
eine Zeit \(t\)). Also gilt, dass die Richtung des steilsten Abstiegs
\(p\) in \(x_k\) mit Länge 1 die Lösung des Optimierungsproblems
\begin{equation}
\min_p p^T \nabla f(x_k)  \mbox{ mit der Nebenbedingung } ||p|| = 1.
\end{equation} ist. Wir erinnern nun zunächst daran, dass für
\(x,y \in \mathbb{R}^n\) gilt der Kosinus des Winkel zwischen \(x\) und
\(y\) durch \begin{equation}
\cos \alpha = \frac{\langle x,y \rangle}{||x|| ||y||} = \frac{x^Ty}{||x|| ||y||}
\end{equation} gegeben ist. Damit aber gilt, dass \begin{equation}
p^T \nabla f(x_k)
= ||p||\cdot ||\nabla f(x_k)|| \cos \theta
= 1\cdot ||\nabla f(x_k)|| \cos \theta
= ||\nabla f(x_k)|| \cos \theta
\end{equation} und somit liegt hier bei \(\cos \theta = -1\) eine
Minimalstelle vor. Dies bedeutet aber, dass die minimierende Länge \(p\)
exakt antiparallel zu \(\nabla f(x_k)\) und von Länge 1 sein muss. Also
ist die Minimalstelle des Optimierungsproblems \begin{equation}
p = \frac{-\nabla f(x_k)}{||\nabla f(x_k)||}.
\end{equation} Damit ist \(p^G_k := -\nabla f(x_k)\) aber der
Richtungsvektor beliebiger Länge in der die Abnahme von \(f\) maximal
ist.
\end{frame}

\begin{frame}[fragile]{Gradientenverfahren}
\protect\hypertarget{gradientenverfahren-4}{}
\vspace{1mm}

Beispiel

\small

Minimierung von
\(f:\mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := x_1^2 + x_2^2\)
\vspace{1mm}

\setstretch{.90}
\tiny

\begin{Shaded}
\begin{Highlighting}[]
\CommentTok{\# Funktionsdefinitionen}
\CommentTok{\# {-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}}
\CommentTok{\# Zielfunktion}
\NormalTok{f }\OtherTok{=} \ControlFlowTok{function}\NormalTok{(x) \{}
  \FunctionTok{return}\NormalTok{(x[}\DecValTok{1}\NormalTok{]}\SpecialCharTok{\^{}}\DecValTok{2} \SpecialCharTok{+}\NormalTok{ x[}\DecValTok{2}\NormalTok{]}\SpecialCharTok{\^{}}\DecValTok{2}\NormalTok{)                 }\CommentTok{\# f(x) := x\_1\^{}2 + x\_2\^{}2}
\NormalTok{\}}
\CommentTok{\# Gradient der Zielfunktion}
\NormalTok{nabla\_f }\OtherTok{=} \ControlFlowTok{function}\NormalTok{(x) \{}
  \FunctionTok{return}\NormalTok{(}\FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(}\DecValTok{2}\SpecialCharTok{*}\NormalTok{x[}\DecValTok{1}\NormalTok{],}\DecValTok{2}\SpecialCharTok{*}\NormalTok{x[}\DecValTok{2}\NormalTok{]),         }\CommentTok{\# \textbackslash{}nabla f(x) := (2x\_1, 2x\_2)\^{}T}
                \AttributeTok{nrow =} \DecValTok{2}\NormalTok{))}
\NormalTok{\}}
\CommentTok{\# Gradientenverfahren}
\CommentTok{\# {-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}{-}}
\CommentTok{\# Parameter}
\NormalTok{n      }\OtherTok{=} \DecValTok{2}                               \CommentTok{\# Dimension}
\NormalTok{alpha  }\OtherTok{=} \FloatTok{1e{-}1}                            \CommentTok{\# Lernrate}
\NormalTok{delta  }\OtherTok{=} \FloatTok{1e{-}2}                            \CommentTok{\# Konvergenzkriterium}

\CommentTok{\# Initialisierung}
\NormalTok{x\_k   }\OtherTok{=} \FunctionTok{matrix}\NormalTok{(}\FunctionTok{c}\NormalTok{(.}\DecValTok{61}\NormalTok{,.}\DecValTok{85}\NormalTok{), }\AttributeTok{nrow =} \DecValTok{2}\NormalTok{)     }\CommentTok{\# Zufälliger Startpunkt in [0,1]\^{}2}
\NormalTok{x     }\OtherTok{=}\NormalTok{ x\_k                              }\CommentTok{\# Initialisierung Iteranden}
\NormalTok{fx    }\OtherTok{=} \FunctionTok{f}\NormalTok{(x\_k)                           }\CommentTok{\# Initialisierung Funktionswerte}
\NormalTok{crt   }\OtherTok{=} \FunctionTok{norm}\NormalTok{(}\FunctionTok{nabla\_f}\NormalTok{(x\_k))               }\CommentTok{\# Initialisierung Kriterium}

\CommentTok{\# Iterationen}
\ControlFlowTok{while}\NormalTok{(}\FunctionTok{norm}\NormalTok{(}\FunctionTok{nabla\_f}\NormalTok{(x\_k)) }\SpecialCharTok{\textgreater{}}\NormalTok{ delta)\{}

  \CommentTok{\# Argumentupdate}
\NormalTok{  x\_k   }\OtherTok{=}\NormalTok{ x\_k }\SpecialCharTok{{-}}\NormalTok{ alpha}\SpecialCharTok{*}\FunctionTok{nabla\_f}\NormalTok{(x\_k)}

  \CommentTok{\# Dokumentation}
\NormalTok{  x    }\OtherTok{=} \FunctionTok{cbind}\NormalTok{(x,x\_k)}
\NormalTok{  fx   }\OtherTok{=} \FunctionTok{c}\NormalTok{(fx,}\FunctionTok{f}\NormalTok{(x\_k))}
\NormalTok{  crt  }\OtherTok{=} \FunctionTok{c}\NormalTok{(crt, }\FunctionTok{norm}\NormalTok{(}\FunctionTok{nabla\_f}\NormalTok{(x\_k)))}
\NormalTok{\}}
\end{Highlighting}
\end{Shaded}
\end{frame}

\begin{frame}{Gradientenverfahren}
\protect\hypertarget{gradientenverfahren-5}{}
Beispiel

\small

Minimierung von
\(f:\mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := x_1^2 + x_2^2\)

\vspace{1cm}
\vfill

\begin{center}\includegraphics[width=1\linewidth]{6_Abbildungen/mvda_6_gradientenverfahren} \end{center}
\vfill
\end{frame}

\begin{frame}{Gradientenverfahren}
\protect\hypertarget{gradientenverfahren-6}{}
\setstretch{1.7}

Liniensuchverfahren als generalisierte Gradientenverfahren

\small

\textbf{Initialisierung}

\noindent 0. Wahl eines Startpunktes \(x_0 \in \mathbb{R}^n\).

\textbf{Iterationen}

Für \(k = 0,1,2,...\)

\begin{enumerate}
\tightlist
\item
  Wahl einer Abstiegsrichtung \(p_k\)
\item
  Wahl eines Lernparameters
  \(\alpha_k \approx \min_{\alpha} f(x_k + \alpha p_k)\).
\item
  Setze \(x_{k+1} := x_k + \alpha_k p_k\).
\item
  Konvergenztest.
\end{enumerate}

\(\Rightarrow\) Die Wahl sinnvoller Lernraten \(\alpha_k\) ist für eine
gute Performanz entscheidend!

\flushright (vgl. Ostwald and Starke (2016))
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-7}{}
\vfill
\setstretch{2}
\large

Prädiktive Modellierung

Differentialrechnung und Analytische Optimierung

Multivariate Differentialrechnung

Grundlagen der Optimierung

Gradientenverfahren

\textbf{Grundlagen der Optimierung mit Nebenbedingungen}

Selbstkontrollfragen \vfill
\end{frame}

\begin{frame}{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen}{}
\footnotesize
\begin{definition}[Optimierungsproblem mit Nebenbedingungen]
\justifying
Ein \textit{Optimierungsproblem mit Nebenbedingungen} hat die allgemeine Form
\begin{equation}
\min_{x \in \mathbb{R}^n} f(x) \mbox{ u.d.N. }
c_i(x) = 0, i \in E,
c_i(x) \ge 0, i \in I,
\end{equation}
wobei $f : \mathbb{R}^n \to \mathbb{R}$ und $c_i : \mathbb{R}^n \to \mathbb{R}, i \in E \cup I$
glatte multivariate reellwertige Funktions und $E,I$ endliche Indexmengen sind.
$f$ heißt \textit{Zielfunktion}, die $c_i, i \in E$ heißen \textit{Gleichungsnebenbedingungen} und
die $c_i, i \in I$ heißen \textit{Ungleichungsnebenbedingungen}. Die Menge
\begin{equation}
\mathcal{X} := \{x \in \mathbb{R}^n| c_i(x) = 0, i \in E \mbox{ und } c_i(x) \ge 0, i \in I \}
\end{equation}
heißt \textit{feasible set}.
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  \justifying Die notwendigen Bedingungen für Minimalstellen bei
  Optimierungsproblem ohne Nebenbedingungen sind für \(n = 1\):
  \(f'(x^*) = 0\) und für \(n > 1\): \(\nabla f(x^*) = 0_n\). Im
  Folgenden führen wir analoge notwendige Bedingungen erster Ordnung für
  Minimalstellen bei Optimierungsproblemen mit Nebenbedingungen ein.
\end{itemize}
\end{frame}

\begin{frame}[fragile]{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen-1}{}
Beispiel

\footnotesize
\begin{definition}[Quadratisches Programm]
\justifying
Ein \textit{Quadratisches Programm} ist das konvexe Optimierungsproblem mit den
Nebenbedingungen
\begin{equation}
\min_{x \in \mathbb{R}^n} \frac{1}{2}x^T P x + q^T x
\mbox{ u.d.N. }
Ax = b
\mbox{ und }
-Gx + h \ge 0,
\end{equation}
wobei
\begin{itemize}
\item $P \in \mathbb{R}^{n \times n}$ eine positiv definite Matrix ist,
\item $q \in \mathbb{R}^n$, $A \in \mathbb{R}^{p\times n}$, $b \in \mathbb{R}^p$ sind und
\item $G \in \mathbb{R}^{m \times n}$, und  $h \in \mathbb{R}^m$ sind.
\end{itemize}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Quadratische Programme sind Optimierungsprobleme mit Nebenbedingungen.
\item
  Parameterlernen bei Support Vektor Maschinen führt auf ein
  Quadratisches Programm.
\item
  Optimierungstoolboxen enhalten Funktionen zur Lösung Quadratischer
  Programme.
\item
  In R bietet sich das Paket \texttt{quadprog} an.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen-2}{}
\footnotesize
\begin{definition}[Lagrange Funktion, Lagrange Multiplikatoren]
\justifying
Es sei
\begin{equation}
\min_{x \in \mathbb{R}^n} f(x) \mbox{ u.d.N. }
c_i(x) = 0, i \in E,
c_i(x) \ge 0, i \in I,
\end{equation}
ein Optimierungsproblem mit Nebenbedingungen. Dann ist die \textit{Lagrange Funktion}
dieses Problems definiert als
\begin{equation}
L: \mathbb{R}^n \times \mathbb{R}^{|E\cup I|} \to \mathbb{R},
(x,\lambda) \mapsto L(x,\lambda) :=
f(x) - \sum_{i \in E \cup I}\lambda_ic_i(x).
\end{equation}
Hierbei wird $\lambda \in \mathbb{R}^{|E\cup I|}$ \textit{Lagrange-Multiplikatoren Vektor}
genannt und die einzelnen $\lambda_i \in \mathbb{R}$ mit $i \in E\cup I$ werden
\textit{Lagrange Multiplikatoren}genannt.
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  \justifying Die Lagrange Funktion und die Lagrange Multiplikatoren
  nehmen in den notwendigen Bedingungen der Optimierung mit
  Nebenbedingungen eine zentrale Rolle ein.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen-3}{}
\footnotesize
\begin{definition}[Notwendige Bedingungen erster Ordnung]
\justifying
$x^*$ sei eine lokale Lösung des Optimierungsproblems
\begin{equation}
\min_{x \in \mathbb{R}^n} f(x) \mbox{ u.d.N. }
c_i(x) = 0, i \in E,
c_i(x) \ge 0, i \in I.
\end{equation}
Dann gibt es einen Lagrange-Multiplikatoren Vektor $\lambda^* \in \mathbb{R}^{|E\cup I|}$
mit den Komponenten $\lambda_i^*, i \in E \cup I$, so dass die folgenden Bedingungen
an der Stelle $(x^*,\lambda^*) \in \mathbb{R}^{n + |E\cup I|}$ gelten
\begin{align*}
\nabla_x L(x^*,\lambda^*)     & =   0                               \\
c_i(x^*)                                & =   0 \mbox{ für alle } i \in E       \\
c_i(x^*)                                & \ge 0 \mbox{ für alle } i \in I       \\
\lambda_i^*                           & \ge 0 \mbox{ für alle } i \in I         \\
\lambda_i^*c_i(x^*)               & = 0 \mbox{ für alle } i \in E\cup I
\end{align*}
\end{definition}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die Bedingungen werden auch \textit{Karush-Kuhn-Tucker (KKT)}
  Bedingungen genannt.
\item
  Für einen Beweis und Reguläritätsbedingungen, siehe Nocedal and Wright
  (2006) Section 12.4.
\item
  Die letzte Bedingung impliziert
  \(\lambda_i^* > 0 \Rightarrow c_i(x^*) = 0\).
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen-4}{}
\footnotesize
\begin{definition}[Duales Problem]
\justifying
Es sei
\begin{equation}
\min_{x \in \mathbb{R}^n} f(x) \mbox{ u.d.N. } c(x) \ge 0,
\end{equation}
ein Optimierungsproblem ohne Gleichungsnebenbedingungen, $c(x) := (c_1(x),c_2(x),...,c_m(x))^T$
sei die multivariate vektorwertige Funktion der Ungleichungsnebenbedingungen
und die zugehörige Lagrange Funktion und der Lagrange Multiplikatoren Vektoren $\lambda \in \mathbb{R}^m$
seien durch
\begin{equation}
L: \mathbb{R}^n \times \mathbb{R}^m \to \mathbb{R},
(x,\lambda) \mapsto L(x,\lambda) :=
f(x) - \lambda^T c(x).
\end{equation}
gegeben. Dann ist die \textit{duale Zielfunktion} (auch \textit{duale Lagrange Funktion genannt})
definiert als
\begin{equation}
q : \mathbb{R}^m \to \mathbb{R}, \lambda \mapsto q(\lambda) := \min_x L(x,\lambda),
\end{equation}
und das  \textit{duale Problem} ist definiert als
\begin{equation}
\max_{\lambda \in \mathbb{R}^m} q(\lambda) \mbox{ u.d.N. } \lambda \ge 0.
\end{equation}
\end{definition}

Bemerkung

\begin{itemize}
\tightlist
\item
  Duale Probleme sind manchmal einfacher zu lösen als die (primären)
  Ausgangsprobleme.
\item
  Duale Probleme sind für das Parameterlernen von Support Vektor
  Maschinen zentral.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen-5}{}
\footnotesize
\begin{theorem}[Schwache Dualität]
\justifying
\normalfont
Für jede Lösung $\bar{x}$ von
\begin{equation}
\min_{x \in \mathbb{R}^n} f(x) \mbox{ u.d.N. } c(x) \ge 0,
\end{equation}
und jedes $\bar{\lambda} \ge 0$ gilt, dass
\begin{equation}
q(\bar{\lambda}) \le f(\bar{x}).
\end{equation}
\end{theorem}

\footnotesize

\underline{Beweis}

Mit den Definitionen von \(q\), \(\bar{\lambda} \ge 0\), und
\(c(\bar{x}) \ge 0\), gilt, dass \begin{equation}
q(\bar{\lambda})
= \min_x f(x) - \bar{\lambda}^T c(x)
\le f(\bar{x}) - \bar{\lambda}^T c(\bar{x})
\le f(\bar{x}).
\end{equation}

\(\hfill \Box\)

Bemerkung

\begin{itemize}
\tightlist
\item
  \justifying Das Theorem besagt, dass der optimierte Wert des dualen
  Problems eine untere Grenze für den optimalen Wert der Zielfunktion
  des Ausgangsproblems ist.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen-6}{}
\footnotesize
\begin{theorem}[Starke Dualität]
\normalfont
\justifying
Gegeben seien das Optimierungsproblem
\begin{equation}
\min_{x \in \mathbb{R}^n} f(x) \mbox{ u.d.N. } c(x) \ge 0
\end{equation}
und seine zugehörigen notwendigen Bedingungen erster Ordnung
\begin{align}
\begin{split}
\nabla f(\bar{x}) - \nabla c(\bar{x})\bar{\lambda} & = 0, \\
c(\bar{x}) & \ge 0, \\
\bar{\lambda} & \ge 0, \\
\bar{\lambda}_i c_i(\bar{x}) & = 0, i = 1,2,...,m,
\end{split}
\end{align}
mit $\nabla c(x) = \left(\nabla c_1(x), \nabla c_2(x), ...,\nabla c_m(x)\right) \in \mathbb{R}^{n \times m}$.
$\bar{x}$ sei eine Lösung des Ausgangsproblems und $f$ sowie $-c_i, i = 1,2,...,m$
konvexe Funktionen auf  $\mathbb{R}^n$, die in $\bar{x}$ differenzierbar sind.
Dann ist jedes $\bar{\lambda}$, für das $(\bar{x},\bar{\lambda})$ die notwendigen
Bedingungen des Ausgangsproblem erfüllt, eine Lösung des dualen Problems
\end{theorem}

Bemerkungen

\begin{itemize}
\tightlist
\item
  Die optimalen Lagrange Multiplikatoren des Ausgangsproblems sind
  Lösungen des dualen Problems.
\item
  SVM Training als Quadratisches Programm benötigt das Konzept der
  starken Dualität.
\end{itemize}
\end{frame}

\begin{frame}{Grundlagen der Optimierung mit Nebenbedingungen}
\protect\hypertarget{grundlagen-der-optimierung-mit-nebenbedingungen-7}{}
\footnotesize

\underline{Beweis} \vspace{1mm}

Wir nehmen an, dass \((\bar{x}, \bar{\lambda})\) die notwendigen
Bedingungen erster Ordnung für ein Minimum des Ausgangsproblem erfüllen
und dass \(L(\cdot ,\bar{\lambda})\) konvex und differenzierbar ist.
Dann gilt für jedes \(x \in \mathbb{R}^n\), dass \begin{equation}
L(x,\bar{\lambda})
\ge L(\bar{x},\bar{\lambda}) + \nabla_x L(\bar{x},\bar{\lambda})(x - \bar{x})
= L(\bar{x},\bar{\lambda}),
\end{equation} weil \(\nabla_x L(\bar{x},\bar{\lambda}) = 0\). Also gilt
für die duale Zielfunktion \begin{equation}
q(\bar{\lambda}) = \inf_{x} L(x,\bar{\lambda}) = L(\bar{x},\bar{\lambda}).
\end{equation} Mit der letzten der notwendigen Bedingungen erster
Ordnung folgt weiterhin \begin{equation}
q(\bar{\lambda})
= L(\bar{x},\bar{\lambda})
= f(\bar{x}) - \bar{\lambda}^T c(\bar{x})
= f(\bar{x})
\end{equation} Schließlich gilt mit dem Theorem zur Schwachen Dualität,
dass \(q(\lambda) \le f(\bar{x})\) für alle \(\lambda \ge 0\). Also
folgt mit \(q(\bar{\lambda}) = f(\bar{x})\), dass \(\bar{\lambda}\) eine
Lösung des dualen Problems ist. \(\hfill \Box\)
\end{frame}

\begin{frame}{}
\protect\hypertarget{section-8}{}
\vfill
\setstretch{2}
\large

Prädiktive Modellierung

Differentialrechnung und Analytische Optimierung

Multivariate Differentialrechnung

Grundlagen der Optimierung

Gradientenverfahren

Grundlagen der Optimierung mit Nebenbedingungen

\textbf{Selbstkontrollfragen}

\vfill
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen}{}
\footnotesize
\begin{enumerate}
\item Erläutern Sie das allgemeine datenanalytische Vorgehen im Rahmen der Prädiktiven Modellierung.
\item Nennen Sie drei in der Prädiktiven Modellierung typischerweise vewendete Verfahren.
\item Erläutern Sie den Begriff der $k$-fachen Kreuzvalidierung.
\item Erläutern Sie Gemeinsamkeiten und Unterschiede explanatorischer und prädiktiver Modellierung.
\item Warum ist die Kenntnis von Optimierungsprinzipien im Rahmen der Prädiktiven Modellierung wichtig?
\item Definieren Sie die Begriffe der univariat-und multivariat-reellwertigen Funktion.
\item Definieren Sie Begriff der multivariaten vektorwertigen Funktion.
\item Definieren Sie den Begriff der Ableitung $f'(a)$ einer Funktion $f$ an einer Stelle $a$.
\item Definieren den Begriff der Ableitung $f'$ einer Funktion $f$.
\item Erläutern Sie die Symbole $f'(x), \dot{f}(x)$, $\frac{df(x)}{dx}$, und $\frac{d}{dx}f(x)$.
\item Definieren Sie den Begriff der zweiten Ableitung $f''$ einer Funktion $f$.
\item Geben Sie die Summenregel für Ableitungen wieder.
\item Geben Sie die Produktregel für Ableitungen wieder.
\item Geben Sie die Quotientenregel für Ableitungen wieder.
\item Geben Sie die Kettenregel für Ableitungen wieder.
\end{enumerate}
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen-1}{}
\footnotesize
\begin{enumerate}
\setcounter{enumi}{15}
\item Bestimmen Sie die Ableitung der Funktion $f(x) := 3x^2 + \exp\left(-x^2\right) - x \ln(x)$
\item Bestimmen Sie die Ableitung der Funktion $f(x) :=\frac{1}{2}\sum_{i=1}^n (x_i - \mu)^2$ für $\mu \in \mathbb{R}$.
\item Definieren Sie die Begriffe des globalen und lokalen Maximums/Minimums einer Funktion.
\item Geben Sie die notwendige Bedingung für ein Extremum einer Funktion wieder.
\item Geben Sie die hinreichende Bedingung für ein lokales Extremum einer Funktion wieder.
\item Geben Sie das Standardverfahren der analytischen Optimierung wieder.
\item Bestimmen Sie einen Extremwert von $f(x) := \exp\left(-\frac{1}{2}(x - \mu)^2\right)$ für $\mu \in \mathbb{R}$.
\item Berechnen Sie die (ersten) partiellen Ableitungen der Funktion 
\begin{equation}
f : \mathbb{R}^2 \to \mathbb{R}, x \mapsto f(x) := \exp\left(-\frac{1}{2}\left(x_1^2 + x_2^2\right)\right)
\end{equation}
\item Berechnen Sie die zweiten partiellen Ableitungen obiger Funktion $f$.
\item Geben Sie den Satz von Schwarz wieder.
\item Definieren Sie den Gradienten einer multivariaten reellwertigen Funktion.
\item Geben Sie den Gradienten obiger Funktion $f$ an und werten Sie ihn in $x = (1,2)^T$ aus.

\end{enumerate}
\end{frame}

\begin{frame}{Selbstkontrollfragen}
\protect\hypertarget{selbstkontrollfragen-2}{}
\footnotesize
\begin{enumerate}
\setcounter{enumi}{29}
\item Definieren Sie die Hesse-Matrix einer multivariaten reellwertigen Funktion.
\item Geben Sie die Hesse-Matrix obiger Funktion $f$ an und werten Sie sie in $x = (1,2)^T$ aus.
\item Definieren Sie die allgemeine Form eines Optimierungsproblems.
\item Was sind $x$ und $f$ eines Optimierungsproblems in der Prädiktiven Modellierung?
\item Warum betrachtet man in der Theorie der Optimierung nur die Minimierung?
\item Definieren Sie die Begriffe der globalen und lokalen Minimalstellen einer multivariaten reellwertigen Funktion.
\item Geben Sie die notwendige Bedingung erster Ordnung für ein Minimum von $f:\mathbb{R}^n \to \mathbb{R}$ an.
\item Geben Sie die notwendige Bedingung zweiter Ordnung für ein Minimum von $f:\mathbb{R}^n \to \mathbb{R}$ an.
\item Geben Sie die hinreichende Bedingung zweiter Ordnung für ein Minimum von $f:\mathbb{R}^n \to \mathbb{R}$ an.
\item Geben Sie das Theorem zu Minimalstellen konvexer Funktionen an.
\item Formulieren Sie den Algorithmus des Gradientenverfahrens.
\item Geben Sie das Theorem zum Gradientenverfahren wieder.
\item Erläutern Sie die Bedeutung der Lernrate $\alpha > 0$ und des Konvergenzkriteriums $\delta > 0$ im Gradientenverfahren.
\end{enumerate}
\end{frame}

\begin{frame}{References}
\protect\hypertarget{references}{}
\footnotesize

\hypertarget{refs}{}
\begin{CSLReferences}{1}{0}
\leavevmode\vadjust pre{\hypertarget{ref-dwyer_2018}{}}%
Dwyer, Dominic B., Peter Falkai, and Nikolaos Koutsouleris. 2018.
{``Machine {Learning Approaches} for {Clinical Psychology} and
{Psychiatry}.''} \emph{Annual Review of Clinical Psychology} 14 (1):
91--118. \url{https://doi.org/10.1146/annurev-clinpsy-032816-045037}.

\leavevmode\vadjust pre{\hypertarget{ref-nocedal_2006}{}}%
Nocedal, Jorge, and Stephen J. Wright. 2006. \emph{Numerical
Optimization}. 2nd ed. Springer Series in Operations Research. {New
York}: {Springer}.

\leavevmode\vadjust pre{\hypertarget{ref-ostwald_2016}{}}%
Ostwald, Dirk, and Ludger Starke. 2016. {``Probabilistic Delay
Differential Equation Modeling of Event-Related Potentials.''}
\emph{NeuroImage} 136 (August): 227--57.
\url{https://doi.org/10.1016/j.neuroimage.2016.04.025}.

\leavevmode\vadjust pre{\hypertarget{ref-shmueli_2010}{}}%
Shmueli, Galit. 2010. {``To {Explain} or to {Predict}?''}
\emph{Statistical Science} 25 (3).
\url{https://doi.org/10.1214/10-STS330}.

\leavevmode\vadjust pre{\hypertarget{ref-vapnik_2010}{}}%
Vapnik, Vladimir. 2010. \emph{The {Nature} of {Statistical Learning
Theory}}. 2., nd ed. Softcover version of original hardcover edition
2000. Information {Science} and {Statistics}. {New York, NY}: {Springer
New York}.

\end{CSLReferences}
\end{frame}

\end{document}
