Lagrange-Multiplikator

Das Verfahren der Lagrange-Multiplikatoren (nach Joseph-Louis Lagrange) ist in der mathematischen Optimierung eine Methode zur Lösung von Optimierungsproblemen mit Nebenbedingungen. Ein Optimierungsproblem mit Nebenbedingungen ist die Aufgabe, ein lokales Extremum einer Funktion in mehreren Veränderlichen mit einer oder mehreren Nebenbedingungen zu finden, wobei die Nebenbedingungen als Nullstellen von Funktionen definiert sind. Diese Methode führt eine neue unbekannte skalare Variable für jede Nebenbedingung ein, einen Lagrange-Multiplikator, und definiert eine Linearkombination, die die Multiplikatoren als Koeffizienten einbindet. Die Lösungen der ursprünglichen Optimierungsaufgabe können dann unter gewissen Voraussetzungen als kritische Punkte dieser sogenannten Lagrange-Funktion bestimmt werden.

Dasselbe Problem wie oben, wobei die Funktionswerte von $f$ auf der Höhenachse abgetragen sind, rot sind die Funktionswerte von $f$ an Punkten $(x,y)$ für die gilt $g(x,y)=c$

Beschreibung

Zunächst betrachten wir den zweidimensionalen Fall mit einer Nebenbedingung. Nehmen wir an, wir wollen eine Funktion $f(x,y)$ maximieren, wobei die Nebenbedingung $g(x,y)=0$ einzuhalten ist; manche Quellen verwenden stattdessen $g(x,y)=c$ mit einer Konstante $c$ . Die Nebenbedingung filtert bestimmte Punkte der $x$ - $y$ -Ebene heraus, die zusammengenommen Kurven bilden. Für unsere Betrachtung nehmen wir an, die Nebenbedingung sei so geartet, dass sie durch eine einzelne Kurve dargestellt werden kann (siehe nebenstehendes Bild, rote Kurve). Wenn wir uns auf dieser Kurve bewegen, berühren oder schneiden wir Höhenlinien von $f(x,y)$ . Wir sehen nun, dass wir immer nur dann ein Maximum $d$ der Funktion $f(x,y)$ erreichen, wenn unsere Bewegung auf der Kurve $g(x,y)=0$ tangential zur Höhenlinie $f(x,y)=d$ verläuft: Andernfalls könnten wir durch Vorwärts- oder Rückwärtsbewegung auf der Kurve $g(x,y)=0$ den Funktionswert von $f(x,y)$ noch weiter vergrößern, ohne die Nebenbedingung zu verletzen.

Ein bekanntes Beispiel kann den Wetterkarten mit ihren Höhenlinien für Temperaturen und Druck entnommen werden. Die Extrema unter der Nebenbedingung treten dort auf, wo sich beim Überlagern der Karten Linien berühren. Geometrisch übersetzen wir die Tangentenbedingung, indem wir sagen, dass die Gradienten von $f$ und $g$ beim Maximum parallele Vektoren sind, wobei der Gradient von $g$ nicht verschwinden darf.

Wir suchen also Punkte $(x,y)$ mit $g(x,y)=0$ , an denen $\nabla _{x,y}g\neq 0$ und

\nabla _{x,y}f=-\lambda \nabla _{x,y}g

.

Dabei wurden die folgenden Abkürzungen bzw. Definitionen für die zugehörigen Gradienten benutzt:

\nabla _{x,y}f:=\left({\frac {\partial f}{\partial x}},{\frac {\partial f}{\partial y}}\right)

und

\nabla _{x,y}g:=\left({\frac {\partial g}{\partial x}},{\frac {\partial g}{\partial y}}\right)

Der konstante Lagrange-Multiplikator $\lambda$ wird dabei benötigt, weil die beiden Gradienten zwar parallel sein sollen, aber als Vektoren unterschiedlich lang sein können. Um alle genannten Bedingungen zu einer Gleichung zusammenzufassen, ist es nützlich, die folgende Lagrange-Funktion zu verwenden:

\Lambda (x,y,\lambda ):=f(x,y)+\lambda \cdot g(x,y)

Die Lösung des oben beschriebenen Optimierungsproblems mit einer Nebenbedingung entspricht jetzt einem kritischen Punkt der Lagrange-Funktion, d. h.:

\nabla _{x,y,\lambda }\Lambda (x,y,\lambda )=0.

Die $x$ - und die $y$ -Komponente dieser Gleichung entsprechen dabei der Forderung nach Parallelität der zwei ursprünglichen Gradienten, die dritte Komponente $\nabla _{\lambda }\Lambda (x,y,\lambda )=0$ ist identisch mit $g(x,y)=0$ .

Punkte, bei denen der Gradient der Nebenbedingung $g$ verschwindet, müssen gesondert betrachtet werden, weil das Verfahren der Lagrange-Multiplikatoren über sie keine Aussage treffen kann.

Da im Allgemeinen nicht jeder kritische Punkt der Lagrange-Funktion das ursprüngliche Optimierungsproblem löst, liefert dieses Verfahren nur eine notwendige Bedingung für die Lösung des Optimierungsproblems.

Beispiele

Darstellung eines Optimierungsproblems mit einer Nebenbedingung

Beispiel mit Nebenbedingung ohne verschwindenden Gradienten

In diesem Beispiel soll die Funktion $f(x,y)=x+y$ unter der Nebenbedingung $x^{2}+y^{2}=1$ optimiert werden. Die Nebenbedingung entspricht also dem Einheitskreis. Mit Hilfe der Grafik kann das Maximum bei $({\sqrt {2}}/2,{\sqrt {2}}/2)$ bestimmt werden. Das Minimum des Optimierungsproblems liegt bei $(-{\sqrt {2}}/2,-{\sqrt {2}}/2)$ .

Zunächst überprüfen wir, an welchen Punkten des Einheitskreises der Gradient der Nebenbedingungsfunktion $g(x,y)=x^{2}+y^{2}-1$ verschwindet. Wir berechnen also

\nabla _{x,y}g=(2x,2y)

und sehen, dass dies nur im Ursprung gleich $(0,0)$ ist. Jedoch liegt dieser Punkt nicht auf dem Einheitskreis, erfüllt also nicht die Nebenbedingung und wird somit nicht in die Liste der kritischen Punkte aufgenommen.

Um die Methode der Lagrange-Multiplikatoren anwenden zu können, sei

\Lambda (x,y,\lambda )=f(x,y)+\lambda g(x,y)=x+y+\lambda x^{2}+\lambda y^{2}-\lambda

.

Die Bedingung $d\Lambda =0$ ergibt die folgenden drei Gleichungen:

{\begin{aligned}{\frac {\partial \Lambda }{\partial x}}&=1+2\lambda x&&=0,\qquad {\text{(i)}}\\{\frac {\partial \Lambda }{\partial y}}&=1+2\lambda y&&=0,\qquad {\text{(ii)}}\\{\frac {\partial \Lambda }{\partial \lambda }}&=x^{2}+y^{2}-1&&=0.\qquad {\text{(iii)}}\end{aligned}}

Die dritte Gleichung (iii) entspricht dabei wie immer der geforderten Nebenbedingung. Mit $\lambda \neq 0$ kann (i) nach $x$ aufgelöst werden. Dasselbe macht man für Gleichung (ii) und $y$ . Man erhält somit $x=-1/(2\lambda )=y$ . Wird das in (iii) eingesetzt, erhält man $2\lambda ^{2}=1$ , also $\lambda =\pm 1/{\sqrt {2}}=\pm {\sqrt {2}}/2$ . Die kritischen Punkte berechnen sich damit zu $({\sqrt {2}}/2,{\sqrt {2}}/2)$ und $(-{\sqrt {2}}/2,-{\sqrt {2}}/2)$ . Die zu optimierende Funktion $f$ hat an diesen zwei Punkten die Werte ${\sqrt {2}}$ , bzw. $-{\sqrt {2}}$ .

Beispiel mit Anwendungsbezug

Ein Grundstück soll die Form einer Ellipse mit Schwerpunkt im Ursprung und Haupt- und Nebenachse parallel zur $x$ - und $y$ -Achse aufweisen. Außerdem soll das Grundstück mit der Fläche

A=\pi ab

so klein wie möglich sein. Die Ellipse soll durch einen gegebenen Punkt $(x,y)$ gehen. Diese Nebenbedingung liegt in Form der Gleichung

{\frac {x^{2}}{a^{2}}}+{\frac {y^{2}}{b^{2}}}=1

vor, die eine Ellipse mit Zentrum im Ursprung, Hauptachse der Länge $2a$ und Nebenachse der Länge $2b$ beschreibt. Hauptachse und Nebenachse liegen parallel zur $x$ - und $y$ -Achse, weshalb die Ellipse durch die Punkte $(a,0)$ und $(0,b)$ verläuft.

Die allgemeine Lagrange-Funktion mit beliebigen Werten für $x$ und $y$ lautet

\Lambda (a,b,\lambda )=\pi ab+\lambda \left({\frac {x^{2}}{a^{2}}}+{\frac {y^{2}}{b^{2}}}-1\right)=\pi ab+x^{2}{\frac {\lambda }{a^{2}}}+y^{2}{\frac {\lambda }{b^{2}}}-\lambda

mit $\lambda \neq 0$ . Der Gradient hiervon wird auf Null gesetzt, um die kritischen Punkte zu bestimmen. Hierbei wird $a>x>0$ und $b>y>0$ vorausgesetzt. Denn für $a=0$ oder $b=0$ erhielte man eine leere Ellipse.

{\frac {\partial }{\partial a}}\Lambda (a,b,\lambda )=\pi b-2x^{2}{\frac {\lambda }{a^{3}}}=0\Leftrightarrow \pi a^{3}b-2x^{2}\lambda =0

{\frac {\partial }{\partial b}}\Lambda (a,b,\lambda )=\pi a-2y^{2}{\frac {\lambda }{b^{3}}}=0\Leftrightarrow \pi ab^{3}-2y^{2}\lambda =0

{\frac {\partial }{\partial \lambda }}\Lambda (a,b,\lambda )={\frac {x^{2}}{a^{2}}}+{\frac {y^{2}}{b^{2}}}-1=0\Leftrightarrow x^{2}b^{2}+y^{2}a^{2}=a^{2}b^{2}

Die erste Gleichung wird zu $\lambda ={\frac {\pi a^{3}b}{2x^{2}}}$ umgeformt und in die zweite Gleichung eingesetzt. $\pi ab^{3}-{\frac {\pi y^{2}a^{3}b}{x^{2}}}=0$ ergibt $x^{2}b^{2}=y^{2}a^{2}$ . Setzt man diesen Ausdruck in die dritte Gleichung ein, erhält man durch Rückeinsetzen die Lösungen

a={\sqrt {2}}x,\ b={\sqrt {2}}y\ {\text{und}}\ \lambda ={\pi ab}={2\pi xy}\neq 0

.

Der Gradient der Nebenbedingungsfunktion

\nabla g(a,b)=\left(-{\frac {2x^{2}}{a^{3}}},-{\frac {2y^{2}}{b^{3}}}\right)

verschwindet für $x=y=0$ . Da der Punkt $(0,0)$ nicht auf der Ellipse liegt, handelt es sich bei $(a,b)=({\sqrt {2}}x,{\sqrt {2}}y)$ um das gesuchte Minimum. Dies muss im Einzelfall grafisch überprüft werden, da die Lagrange-Multiplikatoren nur ein notwendiges Kriterium liefern.

Beispiel mit Nebenbedingung mit verschwindendem Gradienten

Wir betrachten die Funktion $f\colon \mathbb {R} _{0}^{+}\times \mathbb {R} _{0}^{+}\to \mathbb {R}$ mit $f(x,y)=e^{-(x+y)}$ . Untersucht man die Funktion nun auf Extrema, so kann man mithilfe des hinreichenden Kriteriums für lokale Extremstellen alle Extrema im Inneren des Definitionsbereiches bestimmen. Die Randextrema werden jedoch mithilfe des Lagrange-Multiplikator gefunden. Dabei bildet der Rand des Definitionsbereiches die Nebenbedingung. Hier sind es die beiden positiven Koordinatenachsen und der Ursprung. Wir finden also die Nebenbedingung $g\colon \mathbb {R} _{0}^{+}\times \mathbb {R} _{0}^{+}\to \mathbb {R}$ mit $g(x,y)=xy=0$ .

Wir stellen zunächst die Lagrange-Funktion auf:

\Lambda (x,y,\lambda )=f(x,y)+\lambda g(x,y)=e^{-(x+y)}+\lambda xy

Die Gleichung

\nabla _{x,y,\lambda }\Lambda =0

führt uns auf das Gleichungssystem

{\begin{aligned}{\frac {\partial \Lambda }{\partial x}}&=-e^{-(x+y)}+\lambda y&&=0,\qquad {\text{(i)}}\\{\frac {\partial \Lambda }{\partial y}}&=-e^{-(x+y)}+\lambda x&&=0,\qquad {\text{(ii)}}\\{\frac {\partial \Lambda }{\partial \lambda }}&=xy&&=0.\qquad {\text{(iii)}}\end{aligned}}

Die dritte Gleichung besagt, dass $x=0$ oder $y=0$ . Angenommen es wäre $x=0$ , dann führt dies – in die zweite Gleichung eingesetzt – auf einen Widerspruch, denn die Gleichung

-e^{-y}=0

hat keine Lösung, da die $e$ -Funktion keine Nullstellen besitzt. Analog führt man den Fall $y=0$ mit der ersten Gleichung auf einen Widerspruch. Der Lagrange-Multiplikator liefert also keine kritischen Punkte.

Jedoch haben wir nicht überprüft, an welchen Stellen der Gradient der Nebenbedingung verschwindet. Es gilt

\nabla _{x,y}g=(y,x)=(0,0)\Leftrightarrow (x,y)=(0,0)

Im Ursprung verschwindet also der Gradient der Nebenbedingung, und dieser liegt auch auf dem Rand des Definitionsbereiches von $f$ (er erfüllt die Nebenbedingung). Wie oben beschrieben, müssen diese Punkte auch als Kandidaten für Extrema in Betracht gezogen werden. Und in der Tat ist $f(0,0)=e^{0}=1$ und $f(x,y)=e^{-(x+y)}<1$ für alle $(x,y)\neq (0,0)$ . Der Ursprung ist also das globale Maximum der Funktion.

Das Vorhandensein von kritischen Punkten sagt jedoch nichts über das Vorhandensein von Extrema aus. Würde man in diesem Beispiel die Definitionsbereiche von $f$ und $g$ durch $\mathbb {R} \times \mathbb {R}$ ersetzen, so würde man zwar denselben einzigen kritischen Punkt erhalten, jedoch wäre der Ursprung kein globales (und auch kein lokales) Maximum von $f$ (z. B. divergiert die Funktion im 3. Quadranten). In der Tat besäße dieses $f$ keine lokalen Maxima oder Minima.

Mehrere Nebenbedingungen

Es sei $f$ eine in einer offenen Teilmenge $U\subseteq \mathbb {R} ^{n}$ definierte Funktion. Wir definieren $s$ voneinander unabhängige Nebenbedingungen $g_{k}(x)=0$ , $k=1,\ldots ,s$ . D. h. die Gradienten der Nebenbedingungen sind für jeden Punkt $x\in U$ , mit $g_{k}(x)=0$ für alle $k=1,\ldots ,s$ , linear unabhängig. Insbesondere bedeutet dies, dass keiner der Gradienten verschwindet. Sollten die Gradienten doch an einer Stelle linear abhängig sein, so wird dieser Punkt in die Liste der kritischen Punkte aufgenommen. Nun setzen wir

\Lambda (x,\lambda )=f(x)+\sum _{k=1}^{s}\lambda _{k}g_{k}(x),

wobei $x=(x_{1},\dots ,x_{n})$ und $\lambda =(\lambda _{1},\dots ,\lambda _{s})$ ist.

Wir schauen uns nun den kritischen Punkt von $\Lambda$ an

{\frac {\partial \Lambda }{\partial x_{i}}}=0,

was äquivalent ist zu

{\frac {\partial f}{\partial x_{i}}}=-\sum _{k=1}^{s}\lambda _{k}{\frac {\partial g_{k}}{\partial x_{i}}}.

Wir ermitteln die unbekannten Multiplikatoren $\lambda _{k}$ durch Multiplikation obiger Gleichung mit der Inversen der Matrix

\left({\frac {\partial g_{k}}{\partial x_{i}}}\right)\forall _{k},_{i}

und haben damit einen kritischen Punkt (d. h. ${\tfrac {\partial \Lambda }{\partial x_{i}}}=0$ ) von $\Lambda$ gefunden. Dies ist eine notwendige Bedingung dafür, dass $f$ ein Extremum auf der Menge der Punkte, welche die Nebenbedingungen erfüllen, hat. D. h. auch hier müssen die Extrema aus der Liste der kritischen Punkte mit anderen Mitteln herausgefiltert werden.

Man beachte, dass es deshalb insbesondere falsch ist, davon zu sprechen, die „Lagrange-Funktion zu maximieren“. Die Lagrange-Funktion ist unbeschränkt und besitzt deshalb keine globalen Extrema und kann somit nicht maximiert werden. Lediglich die kritischen Stellen der Lagrange-Funktion geben Punkte an, an denen die Zielfunktion bezüglich der Nebenbedingungen möglicherweise ein Maximum annimmt.

Hinreichende Bedingungen

Dieses Verfahren liefert nur eine notwendige Bedingung für Extremstellen. Um die Extremstellen nachzuweisen und ihre Art zu bestimmen, gibt es verschiedene Kriterien. Generell wird die geränderte Hesse-Matrix gebildet und deren Determinante bzw. bestimmte Unterdeterminanten berechnet. Dieser Ansatz führt aber nicht immer zu einer Aussage. Alternativ kann man auch auf eine Visualisierung bzw. geometrische Überlegungen zurückgreifen, um die Art der Extremstelle festzustellen.

Bedeutung der Lagrange-Multiplikatoren in der Physik

Die Bedeutung der Lagrange-Multiplikatoren in der Physik wird bei der Anwendung in der klassischen Mechanik sichtbar. Hierfür wurden sie von Lagrange um das Jahr 1777 auch eingeführt. Die Bewegungsgleichungen der klassischen Mechanik lassen sich im Lagrange-Formalismus mit Hilfe der Euler-Lagrange-Gleichung aus der Bedingung gewinnen, dass die Wirkung – bei Variation der Koordinaten und ihrer Zeitableitungen unabhängig voneinander – ein Extremum annimmt. Eine physikalische Zwangsbedingung, die die Bewegung einschränkt, erscheint als Nebenbedingung des Extremums. Der Lagrange-Multiplikator, mit dem die Zwangsbedingung in die Lagrange-Funktion eingefügt wird, steht im engen Zusammenhang zu der physikalischen Zwangskraft, mit der das durch die Bewegungsgleichung beschriebene Objekt zur Einhaltung der Zwangsbedingung gebracht wird. Das folgende Beispiel einer freien Punktmasse $m$ , die sich in zwei Dimensionen auf einer Bahn mit konstantem Radius $R$ bewegt, macht dieses klar:

Lagrange-Funktion (kinetische Energie in Polarkoordinaten):

L={\frac {1}{2}}m({\dot {r}}^{2}+r^{2}{\dot {\varphi }}^{2}),

Zwangsbedingung:

g=r-R=0,

neue Lagrange-Funktion:

L^{\prime }=L+\lambda g,

Euler-Lagrange-Gleichung (hier nur für die radiale Koordinate formuliert, da die Zwangsbedingung von dieser abhängt; die Winkelkoordinate ergibt die Drehimpulserhaltung für diese Bewegung):

{\frac {d}{dt}}{\frac {\partial L^{\prime }}{\partial {\dot {r}}}}-{\frac {\partial L^{\prime }}{\partial r}}=0

m{\ddot {r}}-mr{\dot {\varphi }}^{2}-\lambda =0;

mit ${\ddot {r}}=0$ und $r=R$ sowie ${\dot {\varphi }}=\omega$ (Winkelgeschwindigkeit) folgt

\lambda =-mR\omega ^{2}.

Das entspricht der in Polarkoordinaten formulierten Zentripetalkraft, die die Punktmasse zur Bewegung auf eine Kreisbahn zwingt.

Verallgemeinerungen

Die Karush-Kuhn-Tucker-Bedingungen und die Fritz-John-Bedingungen sind eine Verallgemeinerung der Lagrange-Multiplikatoren für Nebenbedingungen, die auch durch Ungleichungen beschrieben werden. Beide spielen eine wichtige Rolle in der nichtlinearen Optimierung. Für konvexe Optimierungsprobleme, bei denen die Funktionen nicht stetig differenzierbar sind, gibt es außerdem die Sattelpunktkriterien der Lagrange-Funktion.

Literatur

Otto Forster: Analysis 2. Vieweg+Teubner, Wiesbaden 2008, ISBN 978-3-8348-0575-1. S. 110ff
Michael Sauer: Operations Research kompakt 1. Auflage, Oldenbourg, München 2009, ISBN 978-3-486-59082-1.
Heinrich Rommelfanger: Mathematik für Wirtschaftswissenschaftler II Band 2 (2. Auflage, 1992), BI Wissenschaftsverlag, ISBN 9783860259818. S. 238ff

Weblinks

Konzeptuelle Einleitung (englisch)
Studienarbeit Lagrangeoptimierung (inklusive Beispielrechnung und Literaturverweisen; PDF; 474 kB)