Ein Gauß-Prozess oder Gaußscher Prozess (nach Carl Friedrich Gauß) ist in der Wahrscheinlichkeitstheorie ein stochastischer Prozess, dessen sämtliche endlichdimensionalen Verteilungen mehrdimensionale Normalverteilungen sind. Eine Besonderheit eines Gauß-Prozesses ist, dass seine Wahrscheinlichkeitsverteilung festliegt, wenn die Erwartungswerte, Varianzen und Kovarianzen für alle Zufallsvariablen, die den Gauß-Prozess bilden, festgelegt sind. Die Parameter eines Gauß-Prozesses sind daher seine Erwartungswertfunktion und seine Kovarianzfunktion.

Gauß-Prozesse

Bearbeiten

Definition

Bearbeiten

Ein (reellwertiger) Gauß-Prozess ist ein stochastischer Prozess   auf einer beliebigen Indexmenge  , wenn seine endlichdimensionalen Verteilungen mehrdimensionale Normalverteilungen, auch Gauß-Verteilungen genannt, sind. Es soll also für alle   und alle Indizes   die multivariate Verteilung von   durch eine  -dimensionale Normalverteilung gegeben sein.

Charakterisierung durch Erwartungswert und Kovarianz

Bearbeiten

Eine ein- oder mehrdimensionalen Normalverteilung ist durch die Angabe des Erwartungswertvektors und der Kovarianzmatrix vollständig bestimmt. Die Wahrscheinlichkeitsverteilung eines Gauß-Prozesses liegt durch die Angabe aller endlichdimensionalen Verteilungen fest. Daher ist ein Gaußprozess durch eine Erwartungswertfunktion

 

und eine Kovarianzfunktion

 

eindeutig bestimmt. Durch das Funktionenpaar   liegen die Parameter aller mehrdimensionalen Normalverteilungen fest und damit liegt die Wahrscheinlichkeitsverteilung des Gauß-Prozesses fest.

Falls   für alle   gilt, ist durch

 

die Korrelationsfunktion des Gauß-Prozesses gegeben.

Anmerkungen

Bearbeiten
  • Als mehrdimensionale Normalverteilungen sind nicht nur reguläre Verteilungen mit invertierbarer Kovarianzmatrix zugelassen, sondern auch singuläre Verteilungen, bei denen die Kovarianzmatrix positiv semidefinit, aber nicht positiv definit, und damit nicht invertierbar ist.
  • Bei vielen Anwendungen, aber nicht immer, ist   ein Zeitindex und   eine Menge von Zeitpunkten.
  • Die Varianzfunktion ist
 
Aus der Kovarianzfunktion können die Varianzfunktion und die Korrelationsfunktion gewonnen werden. Aus einer gegebenen Korrelationsfunktion und einer Varianzfunktion ergibt sich die Kovarianzfunktion.
Eine Charakterisierung des Gauß-Prozesses durch die drei Funktionen  ,   und   ist für Anwendungen deswegen interessant, weil die Erwartungswertfunktion und die Varianzfunktion vollständig die eindimensionalen Verteilungen beschreibt, da
 
gilt, während die Korrelationsfunktion vollständig die gesamte Abhängigkeitsstruktur der Zufallsvariablen erfasst und zugleich keine Parameter aus den Verteilungen der einzelnen Zufallsvariablen enthält. Für einen Gauß-Prozess ist also die Abhängigkeitsstruktur vollständig durch die Korrelationsstruktur bestimmt.

Eigenschaften

Bearbeiten
  • Eine Kovarianzfunktion ist positiv semidefinit. Eine Funktion   ist genau dann eine Kovarianzfunktion, falls sie positiv semidefinit ist.
  • Für einen Gauß-Prozess   folgt aus der paarweisen Unkorreliertheit aller  , d. h. aus
 
die stochastische Unabhängigkeit der Familie von Zufallsvariablen, d. h. für alle   und beliebige   voneinander verschiedene Indizes   gilt
 
  • Jeder Gauß-Prozess ist ein stochastischer Prozess zweiter Ordnung, er besitzt also endliche zweite Momente, d. h.   für  .

Multivariate Gauß-Prozesse

Bearbeiten

Gauß-Prozesse lassen sich auch mit Bildmenge   (oder  ) definieren. Ein  -variater Gauß-Prozess ist ein  -wertiger Gauß-Prozess[1]

 

Analog kann man jetzt die Erwartungswertvektor-Funktion und Kovarianz-Matrix-Funktion bilden. Notiere für die  -te und  -te Komponente

 

dann ist die Erwartungswertvektor-Funktion

 

und die Kovarianz-Matrix-Funktion

 

wobei die rechte Seite als Matrix zu verstehen ist.

Die Verteilung des Prozesses ist ein gaußsches Maß auf dem Raum  , dem Raum der  -wertigen Funktionen von  .

Spezialfälle und Interpretation

Bearbeiten

Univariate Gauß-Prozesse sind Familien reellwertiger Zufallsvariablen. Multivariate Gauß-Prozesse sind Familien vektorwertiger Zufallsvariablen.

Univariate Gauß-Prozesse

Bearbeiten

Allgemein ist ein univariater Gauß-Prozess eine Familie von reellwertigen Zufallsvariablen   mit beliebiger Indexmenge  , so dass jede endliche Teilfamilie normalverteilt ist. Dies ist ein sehr allgemeines Konzept und umfasst für verschiedene Arten der Indexmenge   beispielsweise die Konzepte einer Zufallsvariablen, einer zufälligen endlichen Folge, einer zufälligen Folge, einer zufälligen Funktion, einer zufälligen Matrix oder eines zufälligen Feldes.

Endliche Indexmenge

Bearbeiten

Auch wenn die Indexmenge   beliebig ist, spricht man typischerweise nur dann von einem stochastischen Prozess, wenn die Indexmenge unendlich ist, da sich für eine endliche Indexmenge wohlbekannte Spezialfälle ergeben.

Für eine einelementige Indexmenge   ist der Gauß-Prozess eine normalverteilte Zufallsvariable oder gaußsche Zufallsvariable   mit   und  . Die Realisierungen sind Zahlen in  .

Für eine endliche Indexmenge   ist der Gauß-Prozess   eine endliche Folge normalverteilter Zufallsvariablen, die eine gemeinsame  -dimensionale Normalverteilung

 

mit dem Erwartungswertvektor   und der ( )-Kovarianzmatrix   mit den Elementen   für   besitzen. Die Realisierungen der endlichen Folge sind Vektoren  .

Bei einer Interpretation von   als Zeitindex und von   als Menge aufeinanderfolgender Zeitpunkte sind die bedingten Verteilungen

 ,

die bedingten Erwartungswerte

 

und die bedingten Varianzen

 

von besonderem Interesse. Diese charakterisieren die Wahrscheinlichkeitsverteilung von  , wenn beobachtete Werte bis zum Zeitpunkt   vorliegen. Es ist eine Besonderheit der mehrdimensionalen Normalverteilung, dass die bedingten Verteilungen einer mehrdimensionalen Normalverteilung wieder mehrdimensionale Normalverteilungen sind, wobei die bedingten Erwartungswerte lineare Funktionen der Vergangenheitswerte   sind, während die bedingten Varianzen nicht von diesen abhängen.

Gaußsche zufällige Folge

Bearbeiten

Für die Indexmenge   ist der Gauß-Prozess   eine Folge   normalverteilter Zufallsvariablen mit der zusätzlichen Eigenschaft, dass jeder endliche Teilvektor eine mehrdimensionale Normalverteilung besitzt. Die Realisierungen sind Zahlenfolgen  . Dabei bezeichnet   die Menge aller reellwertigen Folgen, also der Funktionen  ,  . In diesem Fall kann der Gauß-Prozess als zufällige Folge interpretiert werden, dessen Realisierungen gewöhnliche Zahlenfolgen sind.

Gaußsche zufällige Funktion

Bearbeiten

Für die Indexmenge   ist der Gauß-Prozess   eine Familie normalverteilter Zufallsvariablen mit der Eigenschaft, dass jede endliche Teilfamilie eine mehrdimensionale Normalverteilung besitzt. Die Realisierungen, die auch Pfade oder Trajektorien heißen, sind Familien von reellen Zahlen   und damit gewöhnliche Funktionen   für  . In diesem Fall kann also der Gauß-Prozess als Modell einer zufälligen Funktion interpretiert werden, deren Realisierungen nicht-stochastische Funktionen sind. Analog ist die Interpretation, wenn die Indexmenge   ein Teilintervall von   ist.

Die Interpretation als Modell einer zufälligen Funktion ist eine häufige Anwendung von Gauß-Prozessen. Formal ist ein Gauß-Prozess eine Familie   von Zufallsvariablen mit einer bestimmten Struktur der Erwartungswerte, der Varianzen und der Korrelation. Bei einer Interpretation als zufälliger Funktion ist jede Realisierung eines Gauß-Prozesses eine gewöhnliche Funktion (ein so genannter Pfad). Die Verteilung der Realisierungen eines Gaußprozesses kann also als Wahrscheinlichkeitsverteilung von Funktionen verstanden werden.

Die Eigenschaften des Gauß-Prozesses bestimmen die Eigenschaften seiner Realisierungen. Liegen beobachtete Werte vor, die als Realisierung eines stochastischen Prozesses interpretiert werden können, so können durch geeignete Einstellung der Verteilungsparameter eines Gauß-Prozesses die beobachteten Eigenschaften der Realisierungen reproduziert werden. Man spricht dann auch von Kalibrierung oder „Fitten“ des Prozesses. Mit Methoden der statistischen Inferenz versucht man, aus den Eigenschaften eines beobachteten Pfades oder mehrerer beobachteter Pfade auf die Verteilungsparameter (Erwartungswertfunktion, Varianzfunktion und Korrelationsfunktion) des zugrundeliegenden Gauß-Prozesses zu schließen. Dabei ist es wegen der großen Parameterzahl des schätzenden Modells im Vergleich zur Anzahl der vorliegenden Beobachtungswerte regelmäßig erforderlich, das zu schätzende Modell stark einzuschränken, beispielsweise durch die Annahme der Stationarität.

Ein spezieller Gauß-Prozess mit der Indexmenge   ist die Brownsche Bewegung (oder Wienerprozess).

Eine Verallgemeinerung der Brownschen Bewegung mit der  -dimensionalen Indexmenge   ist ein eindimensionales,  -parametrisches Brownsches Blatt.

Ein spezieller Gauß-Prozess mit der Indexmenge   mit   und der Eigenschaft   ist die Brownsche Brücke.

Ein spezieller Gauß-Prozess mit der Indexmenge   ist der Ornstein-Uhlenbeck-Prozess.

Gaußsches Zufallsfeld

Bearbeiten

Für eine Indexmenge   mit   nennt man den Gauß-Prozess   gaußsches Zufallsfeld[2] oder gaußsches zufälliges Feld (engl. gaussian random field). Bei räumlichen Modellierungen ist in der Regel   oder  , zum Beispiel für Modelle der Geostatistik. Im Bereich der Technik, der Naturwissenschaften und der theoretischen Physik sind auch gaußsche Zufallsfelder mit   nicht selten.

Gaußsche zufällige Matrix

Bearbeiten

Für eine Indexmenge   ist der Gauß-Prozess   eine gaußsche zufällige Matrix der Dimension  , deren Elemente normalverteilte Zufallsvariablen sind, wobei jede Teilmatrix und jeder Teilvektor eine mehrdimensionale Normalverteilung besitzt. In diesem Fall kann der Gauß-Prozess als zufällige Matrix interpretiert werden, dessen Realisierungen gewöhnliche Matrizen von reellen Zahlen sind. Eine zufällige Matrix ist ein endlicher und diskreter Spezialfall eines Zufallsfeldes mit zweidimensionaler Indexmenge  .

Multivariate Gauß-Prozesse

Bearbeiten

Ein  -variater Gauß-Prozess ist eine Familie von  -dimensionalen normalverteilten Zufallsvektoren   mit beliebiger Indexmenge  , so dass jede endliche Teilfamilie normalverteilt ist. Dabei besitzen jeweils   verschiedene Zufallsvektoren   mit   eine gemeinsame  -dimensionale Normalverteilung.

Das Konzept eines  -variaten Gauß-Prozesses   mit der Interpretation von   als Zeitindex und   oder   wird in der multivariaten Zeitreihenanalyse genutzt, bei der die zeitgleich beobachteten Werte   von   Zeitreihen als endlicher Ausschnitt einer Realisierung eines  -dimensionalen stochastischen Prozesses interpretiert werden.

Ein spezieller  -variater Gaußprozess mit der Indexmenge   ist die  -dimensionale Brownsche Bewegung oder der  -dimensionale Wiener-Prozess. Eine Verallgemeinerung der  -dimensionale Brownsche Bewegung mit der  -dimensionalen Indexmenge   ist ein  -dimensionales,  -parametrisches Brownsches Blatt.

Kovarianzfunktion

Bearbeiten

Satz von Bochner

Bearbeiten

Eine große Klasse von Kovarianzfunktionen erhält man dadurch, wenn man die Fourier-Transformation eines symmetrischen Wahrscheinlichkeitsmaßes   auf   berechnet

 

und dann

 

setzt.[3]

Dies ist eine Folge des Satz von Bochner, der sagt, jede positiv-definite Funktion   ist die Fourier-Transformation eines positiven endlichen Borelmaß. Auch die Umkehrung gilt. Der Satz lässt sich durch Normalisierung auf Wahrscheinlichkeitsmaße übertragen.

Gaußsche Markow-Prozesse

Bearbeiten

Gaußsche Markow-Prozesse sind Gauß-Prozesse, welche auch Markow-Prozesse sind. Folgende zwei Resultate zur Kovarianzfunktion sind bekannt:

Ein reeller Gaußscher Prozess ist genau dann ein Markow-Prozess, wenn für alle   auch

 

gilt.[4]

Alle reellen gaußschen Markow-Prozesse besitzen eine Kovarianzfunktion der Form

 

wobei   reelle Funktionen sind. Beispiele:[5][6]

 
 
  • stationärer Ornstein-Uhlenbeck-Prozess:
 
  • nicht-stationärer Ornstein-Uhlenbeck-Prozess:
 

Bemerkung

Bearbeiten
  • Der stationäre Ornstein-Uhlenbeck-Prozess ist der einzige gaußsche Markow-Prozess, der zugleich stationär ist  .[7]

Beispiele

Bearbeiten
 
und die Kovarianzfunktion
 .
  • Ein wichtiges Beispiel eines Gauß-Prozesse ist der Wiener-Prozess (bzw. die Brownsche Bewegung). Der Wiener-Prozess hat die Erwartungswertfunktion
  für alle  
und die Kovarianzfunktion
  für alle  .
  • Ist   und sind   reellwertige Funktionen sowie   ein Wiener-Prozess, so ist der Itō-Prozess
 
ein Gauß-Prozess mit der Erwartungswertfunktion
 
und der Kovarianzfunktion
 .

Anwendungen

Bearbeiten
  • In der Zeitreihenanalyse werden zeitdiskrete Gauß-Prozesse mit typischerweise  ,   oder   zur Formulierung stochastischer Prozesse verwendet, so dass eine beobachtete Zeitreihe von Zahlenwerten   als endlicher Ausschnitt der Realisierung eines zeitdiskreten Gauß-Prozesses   interpretiert werden kann.
  • In der Finanzmarktstochastik werden typischerweise zeitstetige Gauß-Prozesse mit   zur Modellierung von Preisprozessen verwendet.
  • In der Geostatistik werden gaußsche Zufallsfelder, typischerweise mit einer Indexmenge   oder   als stochastisches Modell für Messdaten an verschiedenen Orten eingesetzt. Dabei bezeichnet   eine Menge unterschiedlicher Orte.
  • In der Physik werden zeitstetige Gauß-Prozesse zur Formulierung von Modellen realer physikalische Systeme verwendet, z. B. Brownsche Bewegung.
  • In technischen Anwendungen mit im Zeitablauf anfallenden Daten werden Gauß-Prozesse zur Modellierung von Messfehlern verwendet.
  • Im Bereich des maschinellen Lernens kommt es vielfach zur Anwendung von Gauß-Prozessen.[8]

Stationärer Gauß-Prozess

Bearbeiten

Es sei   und   ein Zeitindex. Ein Gauß-Prozess ist genau dann stationär im engeren Sinn, besitzt also zeitinvariante endlichdimensionale Verteilungen, wenn er stationär im weiteren Sinn ist, wenn also die Erwartungswerte und die Kovarianzen zeitinvariant sind. Deswegen kann man einen Gauß-Prozess einfach als stationär bezeichnen, da keine Missverständnisse möglich sind. Er ist genau dann stationär, wenn die Erwartungswertfunktion konstant ist, wenn also

 

gilt, und wenn die Kovarianzfunktion zeitinvariant ist, wenn also

 

gilt. Da in diesem Fall die Kovarianz nicht von der absoluten Lage der beiden Zeitindizes, sondern nur von der Zeitdifferenz abhängt, kann die Kovarianzfunktion eines stationären Gauß-Prozesses als univariate Funktion

 

definiert werden. Die univariate Funktion   und die bivariate Funktion   dürfen nicht verwechselt werden.

Die Stationarität eines Gauß-Prozesses reduziert die Anzahl der Parameter erheblich. Beispielsweise hat die Verteilung eines Gauß-Prozesses mit endlicher Indexmenge   als Parameter   Erwartungswerte und   Kovarianzen (unter Berücksichtigung der Symmetrie  ). Im Fall der Stationarität reduziert sich die Parameterzahl von   auf  , da die   Erwartungswerte identisch sind und es nur noch die Kovarianzen   für   gibt. Eine nicht zu große Anzahl von zu schätzenden Parametern (Parsimonie) ist die Voraussetzung für die Anwendung statistischer Inferenzmethoden im Rahmen der Zeitreihenanalyse.

Literatur

Bearbeiten

Einzelnachweise

Bearbeiten
  1. Z. Chen, J. Fan, K. Wang: Multivariate Gaussian processes: definitions, examples and applications. In: METRON. Band 81, 2023, S. 181–191, doi:10.1007/s40300-023-00238-3.
  2. P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 3-05-500608-9, Zufälliges Feld. S. 513–516.
  3. Daniel Revuz und Marc Yor: Continuous Martingales and Brownian Motion. In: Springer (Hrsg.): Grundlehren der mathematischen Wissenschaften. Band 293, 1999, S. 35 (englisch).
  4. I. S. Borisov: On a Criterion for Gaussian Random Processes to Be Markovian. In: Theory of Probability & Its Applications. Band 27, Nr. 4, 1983, S. 863–865, doi:10.1137/1127097.
  5. Michail Anatoljewitsch Lifschitz: Lectures on Gaussian Processes. Hrsg.: Springer (= SpringerBriefs in Mathematics). Berlin, Heidelberg 2012, S. 11, doi:10.1007/978-3-642-24939-6.
  6. I. S. Borisov: On a Criterion for Gaussian Random Processes to Be Markovian. In: Theory of Probability & Its Applications. Band 27, Nr. 4, 1983, S. 863–865, doi:10.1137/1127097.
  7. Olav Kallenberg: Foundations of Modern Probability. Hrsg.: Springer. 2021, S. 303, doi:10.1007/978-3-030-61871-1.
  8. Robert B. Gramacy: Surrogates – Gaussian Process Modeling, Design, and Optimization for the Applied Siences (= Texts in Statistical Science). CRC Press, Boca Raton / London / New York 2020, ISBN 978-1-03-224255-2 (gramacy.com [PDF]).