Gelman-Rubin-Statistik

Die Gelman-Rubin-Statistik erlaubt eine Aussage über die Konvergenz von iterativen Monte-Carlo-Simulationen.

Motivation

Das Problem, das die Gelman-Rubin-Statistik löst, ist die Unsicherheit darüber, ob und wann MCMC-Simulationen konvergiert sind. Konvergenz bedeutet in diesem Kontext, dass die von der MCMC-Simulation generierten Zufallszahlen die zugrunde liegende Wahrscheinlichkeitsverteilung repräsentieren. Wenn eine Kette nicht konvergiert, können die daraus resultierenden Schätzungen verzerrt und ungenau sein.

Die Gelman-Rubin-Statistik löst dieses Problem, indem sie die Varianz innerhalb der Ketten mit der Varianz zwischen den Ketten vergleicht. Wenn diese beiden Varianzen ähnlich sind, deutet dies darauf hin, dass die Kette konvergiert hat. Die Gelman-Rubin-Statistik wird als Verhältnis dieser beiden Varianzen berechnet, und ein Wert nahe 1 deutet auf Konvergenz hin.

Es ist wichtig zu beachten, dass die Gelman-Rubin-Statistik nur ein Diagnosewerkzeug ist und keine Garantie für die Konvergenz bietet.

Schätzung

Es werden $J$ Monte-Carlo Simulationen (Ketten) mit unterschiedlichen Startwerten gestartet. Die Stichproben aus den jeweiligen Burn-In Phasen werden verworfen.

Aus den Stichproben $x_{1}^{(j)},\dots ,x_{L}^{(j)}$ (der j-ten Simulation) wird die Varianz zwischen den Ketten und die Varianz in den Ketten geschätzt:

${\overline {x}}_{j}={\frac {1}{L}}\sum _{i=1}^{L}x_{i}^{(j)}$ Mittelwert der Kette j

${\overline {x}}_{*}={\frac {1}{J}}\sum _{j=1}^{J}{\overline {x}}_{j}$ Mittelwert der Mittelwerte aller Ketten

$B={\frac {L}{J-1}}\sum _{j=1}^{J}({\overline {x}}_{j}-{\overline {x}}_{*})^{2}$ Varianz der Mittelwerte der Ketten

$W={\frac {1}{J}}\sum _{j=1}^{J}\left({\frac {1}{L-1}}\sum _{i=1}^{L}(x_{i}^{(j)}-{\overline {x}}_{j})^{2}\right)$ Über alle Ketten gemittelte Varianzen der einzelnen Ketten

Ein Schätzwert der Gelman-Rubin-Statistik $R$ ergibt sich dann als

$R={\frac {{\frac {L-1}{L}}W+{\frac {1}{L}}B}{W}}$.

Wenn L gegen unendlich und B gegen null strebt, strebt R gegen 1.

Alternativen

Die Geweke Diagnostik vergleicht ob der Mittelwert der ersten x Prozent einer Kette und der Mittelwert der letzten y Prozent einer Kette übereinstimmen.

Literatur

• Vats, Dootika, and Christina Knudson. „Revisiting the gelman–rubin diagnostic.“ Statistical Science 36.4 (2021): 518–529. arxiv
• Gelman, Andrew, and Donald B. Rubin. „Inference from iterative simulation using multiple sequences.“ Statistical science 7.4 (1992): 457–472. pdf