Bayessche Inferenz

Bayessche Inferenz, bzw. Bayessches Lernen ist in der Bayesschen Statistik ein Ansatz zur statistischen Inferenz bzw. Maschinellem Lernen, der es ermöglicht, die Überzeugungen (prior) über eine Hypothese oder ein Modell durch die Integration neuer Daten (evidence) zu aktualisieren (posterior). Sie ist nach Thomas Bayes benannt.

Die Bayessche Inferenz beginnt mit einer Prior-Verteilung, die unsere anfängliche Überzeugung über die Hypothese oder das Modell darstellt. Wenn neue Beweise gesammelt werden, wird die Prior-Verteilung mithilfe des Satzes von Bayes aktualisiert, der eine Möglichkeit zur Berechnung der Posterior-Verteilung bietet. Die Posterior-Verteilung repräsentiert die aktualisierte Überzeugung über die Hypothese oder das Modell nach Berücksichtigung der neuen Beweise.

Einer der wichtigsten Vorteile der Bayesianischen Inferenz besteht darin, dass sie es ermöglicht, Vorwissen in die Analyse einzubeziehen. Wenn beispielsweise Vorinformationen über die Parameter eines Modells vorliegen, können diese Informationen genutzt werden, um möglicherweise genauere Schätzungen zu erhalten. Diese Vorgehensweise erfordert jedoch auch eine sorgfältige Wahl der Prior-Verteilung, welche einen erheblichen Einfluss auf die Posterior-Verteilung haben kann.

Die Bayesianische Inferenz kann in einer Vielzahl von Anwendungen eingesetzt werden, einschließlich Hypothesentests, Modellselektion und Parameterschätzung.

Die Möglichkeiten, Vorwissen einzubeziehen, kleine Stichprobengrößen und rauschhafte Daten zu verarbeiten sowie Unsicherheitsschätzungen zu liefern, macht sie zu einem leistungsstarken Werkzeug.

Algorithmen zur Approximation der Posterior-Verteilung

Zur Approximation der Posterior-Verteilung gibt es verschiedene Methoden in der Bayesianischen Inferenz. Eine davon ist das Markov Chain Monte Carlo (MCMC) Sampling. Diese Methode hat den Vorteil, dass sie sehr flexibel ist und auch bei komplexen Modellen eingesetzt werden kann.

Eine weitere Methode ist die Variational Inference (VI), die darauf abzielt, die Posterior-Verteilung durch eine einfachere Verteilung (z. B. einer Normalverteilung) zu approximieren. Das Ziel von VI ist es, eine einfache Approximation der Posterior-Verteilung zu finden, die möglichst nahe an der wahren Posterior-Verteilung liegt. Dies wird durch Minimierung einer Verlustfunktion erreicht, welche die Ähnlichkeit zwischen der approximierenden und der wahren Posterior-Verteilung misst.

Markov-Chain Monte Carlo

→ Hauptartikel: Metropolis-Algorithmus

Ablauf des Metropolis-Hastings (M-H) Algorithmus für die Parameterschätzung mithilfe des Markov Chain Monte Carlo (MCMC) Ansatzes.

Zum Ziehen von Stichproben (engl. Sample) aus der Posterior-Verteilung wird folgende Akzeptanzwahrscheinlichkeit verwendet um von einem Zustand $\theta _{i}$ zu einem vorgeschlagenen Zustand $\theta ^{*}$ überzugehen: $P_{acc}(\theta _{i}\to \theta ^{*})=\min \left(1,{\frac {{\mathcal {L}}(y|\theta ^{*})P(\theta ^{*})}{{\mathcal {L}}(y|\theta _{i})P(\theta _{i})}}{\frac {Q(\theta _{i}|\theta ^{*})}{Q(\theta ^{*}|\theta _{i})}}\right),$ wobei ${\mathcal {L}}$ die Likelihood der Parameter ist, $P(\theta )$ die Prior-Wahrscheinlichkeitsdichte und $Q$ die (bedingte) Vorschlagsdichte.

Anwendungen

Anwendung findet Bayessches Lernen z. B. in Bayesschen Netzen.

Siehe auch

• Posterior predictive distribution
• Evidence lower bound
• Satz von Bernstein-von-Mises
• Hybrid-Monte-Carlo-Algorithmus
• Approximate Bayesian Computation
• Probabilistische Graphische Modelle

Literatur

• Approximate Bayesian Inference, Pierre Alquier, 2020, https://doi.org/10.3390/e22111272