Wishart-Verteilung

Die Wishart-Verteilung ist eine Wahrscheinlichkeitsverteilung und zwar die matrixvariate Entsprechung der χ²-Verteilung. Sie wurde nach dem schottischen Statistiker John Wishart benannt.

Gesicht ab Schulterblatt von vorn in schwarzweiß. — Namensgeber der Wishart-Verteilung - John Wishart (1898-1856)

Die Wishart-Verteilung spielt eine zentrale Rolle in der Theorie der Zufallsmatrizen und in der multivariaten Statistik.

Wishart Ensemble

In der Theorie der Zufallsmatrizen bezeichnet das Wishart Ensemble den Raum der Wishart-Matrizen. Analog zu Dysons $\beta$ -Gaußschem Ensemble spricht man auch vom $\beta$ -Wishart Ensemble für (reell) Wishart, komplex Wishart und Quaternion Wishart. Häufig verwendet man aber auch die technische Bezeichnung Laguerre, somit erhält man die $\beta$ -Ensembles LOE, LUE und LSE, benannt nach der Invarianz des Maßes unter der entsprechenden kompakten Lie-Gruppen-Konjugation.

Definition

Formale Definition

Sei $M$ eine $m\times m$ -Zufallsmatrix. Das Wahrscheinlichkeitsmaß^[1]

W_{m}(n,\Sigma ):={\frac {1}{{\mathcal {W}}_{n,m,\Sigma }}}(\det M)^{(n-m-1)/2}e^{-{\frac {1}{2}}\operatorname {tr} (\Sigma ^{-1}M)}\mathrm {d} M,

wobei

{\mathcal {W}}_{n,m,\Sigma }:=2^{nm/2}\Gamma _{m}(n/2)(\det \Sigma )^{n/2},

definiert die zentrierte Wishart-Verteilung mit $n\geq m$ Freiheitsgraden auf dem Raum der symmetrischen positiv definiten Matrizen ( $x^{T}Mx>0$ ).

Mit $\Gamma _{m}(n/2)$ bezeichnet man die multivariate Gammafunktion:

\Gamma _{m}\left({\frac {n}{2}}\right)=\pi ^{m(m-1)/4}\prod _{j=1}^{m}\Gamma \left({\frac {n}{2}}-{\frac {j-1}{2}}\right).

Eine Zufallsmatrix $M\sim W_{m}(n,\Sigma )$ nennt man zentrierte Wishart-Matrix.

Im Fall $n<m$ erhält man singuläre Wishart-Matrizen.^[2]

Einleitung

Sei $X$ eine $m\times n$ -dimensionale Zufallsmatrix, die der zentrierten matrixvariaten Normalverteilung ${\mathcal {N}}_{n,m}(0,\Sigma ,\operatorname {Id} )$ folgt. Dann ist

W=XX'

Wishart-verteilt. Das heißt, eine $m\times m$ -Wishart-Matrix besteht aus ${\tfrac {1}{2}}m(m+1)$ sich nicht wiederholenden Elementen. Falls $\mathbb {E} [X]=0_{n,m},$ spricht man von einer zentrierten Wishart-Matrix.

Wenn allerdings $X$ nicht zentriert ist, d. h. $X\sim {\mathcal {N}}_{n,m}(\mu ,\Sigma ,\operatorname {Id} )$ , dann spricht man von einer nicht-zentrierten Wishart-Matrix, geschrieben $M\sim W_{m}(n,\Sigma ,M)$ (siehe Abschnitt Nicht-zentrierte Wishart-Verteilung). Explizite Formeln sind für diese Matrix in hoher Dimension äußerst kompliziert. Man kann jedoch die charakteristische Funktion angeben.^[3]

Falls $X$ einer komplexen matrixvariaten Normalverteilung folgt, dann ist $W$ komplex Wishart-verteilt.

Eigenwertdichte

Sei $M\sim W_{m}(n,\Sigma )$ und $\lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{m}$ die geordneten Eigenwerte. Weiter sei $\mathrm {d} Q$ das normalisierte Haarsche Maß über der orthogonalen Gruppe $\mathbb {O} _{m}$ und $\Lambda =\operatorname {diag} (\lambda _{1},\dots ,\lambda _{m})$ , dann ist die Eigenwertdichte^[4]

\mathbb {P} _{m,n}(\lambda _{1},\dots ,\lambda _{m})=C_{m,n}{\frac {1}{(\operatorname {det} \Sigma )^{n/2}}}\prod \limits _{i}\lambda _{i}^{\frac {n-m-1}{2}}\prod \limits _{i<j}(\lambda _{i}-\lambda _{j})\int _{\mathbb {O} _{m}}e^{-{\frac {1}{2}}\operatorname {tr} (\Sigma ^{-1}Q\Lambda Q^{t})}\mathrm {d} Q

,

wobei $C_{m,n}:={\frac {\pi ^{m^{2}/2}}{2^{mn/2}\Gamma _{m}(m/2)\Gamma _{m}(n/2)}}$ .

Für das Integral über der orthogonalen Gruppe gibt es keine bekannte geschlossene Formel. Allerdings kann man mit Hilfe der Theorie der zonalen Polynome eine unendliche Reihenentwicklung für das Integral finden.

Für komplexe Wishart-Matrizen geht das Integral über die unitäre Gruppe $\mathbb {U} _{m}$ , welches man mittels dem Harish-Chandra-Itzykson-Zuber-Integral berechnen kann.

$\operatorname {det} (\Sigma )$ wird auch als verallgemeinerte Varianz bezeichnet.

Nicht-zentrierte Wishart-Verteilung

Eine symmetrische positive $p\times p$ -Zufallsmatrix $M$ folgt der nicht-zentrierten Wishart-Verteilung, geschrieben $M\sim W_{p}(n,\Sigma ,\Xi )$ , falls sie folgende Wahrscheinlichkeitsdichte besitzt:^[5]

Für $M>0,\ n\geq p$ gilt

f(M)={\bigg \{}2^{{\frac {1}{2}}np}\Gamma _{p}\left({\frac {1}{2}}n\right)\det(\Sigma )^{{\frac {1}{2}}n}{\bigg \}}^{-1}\exp \left(\operatorname {tr} (-{\frac {1}{2}}\Xi )\right)\exp \left(\operatorname {tr} (-{\frac {1}{2}}\Sigma ^{-1}M)\right)\det(M)^{{\frac {1}{2}}(n-p-1)}{}_{0}F_{1}\left({\frac {1}{2}}n;{\frac {1}{4}}\Xi \Sigma ^{-1}M\right),

wobei ${}_{0}F_{1}$ die verallgemeinerte hypergeometrische Funktion mit Matrizen-Argument ist.

Wishart-Prozess

Der Wishart-Prozess bzw. dessen Eigenwertprozess ist das Analogon zu Dysons brownscher Bewegung für Kovarianzmatrizen. Sei $S_{n}^{+}$ der Raum der semidefiniten reellen $n\times n$ -Matrizen, $S_{0}\in S_{n}^{+}$ und $B_{t}$ eine $n\times n$ -Matrix-Brownsche-Bewegung. Weiter sei $Q\in \operatorname {GL} _{n}(\mathbb {R} )$ und $M\in \operatorname {Mat} _{n}(\mathbb {R} )$ sowie $\alpha >n-1$ ein Parameter. Der Wishart-Prozess ist die starke Lösung folgender stochastischen Differentialgleichung:^[6]

\mathrm {d} S_{t}={\sqrt {S_{t}}}\mathrm {d} B_{t}Q+Q^{T}\mathrm {d} B_{t}^{T}{\sqrt {S}}_{t}+\left(MS_{t}+S_{t}M^{T}+\alpha QQ^{T}\right)\mathrm {d} t,\quad t\geq 0

Betrachtet man das Wishartsche unitäre Ensemble, so wird der Prozess auch häufig Laguerre-Prozess genannt.

Finanzmodelle mit multivariater wishartschen stochastischen Volatilität haben mehr Flexibilität als das klassische Black-Scholes-Modell.

Asymptotisches Spektralmaß

Für unendlich große Standard-Wishart-Matrizen (sowie auch für allgemeinere Formen) gilt für die Eigenwerte das Marchenko-Pastur-Gesetz.

Marchenko-Pastur-Gesetz

Sei $M_{m}\sim W_{m}(n,\operatorname {Id} _{m}),\ M=M_{m}/n$ und $m,n\to \infty ,$ so dass $m/n\to \alpha \in (0,\infty )$ , dann konvergiert das empirische Spektralmaß von $M$ auf $[\lambda _{-},\lambda _{+}]:=[(1-{\sqrt {\alpha }})^{2},(1+{\sqrt {\alpha }})^{2}]$ schwach nach^[7]

\operatorname {mp} _{\alpha }(\mathrm {d} x,\omega ):=\left(1-{\frac {1}{\alpha }}\right)^{+}\delta _{0}+{\frac {\sqrt {(x-\lambda _{-})(\lambda _{+}-x)}}{2\pi x\alpha }}1_{x\in [\lambda _{-},\lambda _{+}]}\mathrm {d} x\quad {\text{fast sicher.}}

Tracy-Widom-Gesetz

Der größte Eigenwert einer normalisierten Wishart-Matrix folgt dem Tracy-Widom-Gesetz.

Eigenschaften

Die Wishart-Verteilung hat folgende Eigenschaften:^[8]

Sei $M\sim W_{m}(n,\Sigma )$ und $C$ eine $q\times m$ -Matrix mit Rang $q$ , dann gilt $CMC^{t}\sim W_{m}(n,C\Sigma C^{t})$ .
Aus (1.) folgt somit $\Sigma ^{-{\frac {1}{2}}}M\Sigma ^{-{\frac {1}{2}}}\sim W_{m}(n,\operatorname {Id_{m}} )$ .
Seien $(M_{i})\sim W_{m}(n_{i},\Sigma )$ $k$ unabhängige Wishart-Matrizen. Dann ist $M=\sum \limits _{i=1}^{k}M_{i}\sim W_{m}(n_{1}+\dotsb +n_{k},\Sigma )$ (Reproduktivität).
Sei $M\sim W_{m}(n,\Sigma )$ , dann $\mathbb {E} [W_{m}]=n\Sigma .$

Für nicht-zentralisierte Wishart-Matrizen gilt

Seien $M_{i}\sim W_{m}(n_{i},\Sigma ,\Xi _{i})$ und $i=1,\dots ,k$ und unabhängig, dann ist $M=\sum \limits _{i=1}^{k}M_{i}\sim W_{m}\left(\sum \limits _{i=1}^{k}n_{i},\Sigma ,\sum \limits _{i=1}^{k}\Xi _{i}\right)$ (Reproduktivität).

Herleitung

Seien $X_{1},\dots ,X_{m}\sim {\mathcal {N}}(0,1)$ (standardnormalverteilte Zufallsvariablen). Summiert man die Quadrate der $X_{i},$ erhält man eine Chi-Quadrat-verteilte Zufallsvariable mit $m$ Freiheitsgraden:

Y=\sum _{i=1}^{m}X_{i}^{2}\sim \chi ^{2}(m)

Diese Summe lässt sich aber auch als das Produkt eines $m$ -variaten Zufallsvektors mit seiner Transponierten auffassen:

Y=ZZ',

wobei $Z=(X_{1},\dots ,X_{m})\sim {\mathcal {N}}_{m}(0,\Sigma )$ .

Hat man nun $n$ unabhängige Zufallsvektoren $Z_{1},\dots ,Z_{n}\sim {\mathcal {N}}_{m}(0,\Sigma )$ , fasst man diese in einer $m\times n$ -Zufallsmatrix zusammen:

\mathbf {X} ={\begin{pmatrix}\vline &\vline &\vline &\vline \\Z_{1}'&Z_{2}'&\dots &Z_{n}'\\\vline &\vline &\vline &\vline \end{pmatrix}}={\begin{pmatrix}Z_{1}^{(1)}&Z_{1}^{(2)}&\cdots &Z_{1}^{(n)}\\Z_{2}^{(1)}&Z_{2}^{(2)}&\cdots &Z_{2}^{(n)}\\\vdots &\vdots &\cdots &\vdots \\Z_{m}^{(1)}&Z_{m}^{(2)}&\cdots &Z_{m}^{(n)}\\\end{pmatrix}}

.

Multipliziert man $\mathbf {X}$ mit ihrer Transponierten, erhält man eine (symmetrische) $m\times m$ -Zufallsmatrix, die der Wishart-Verteilung mit $n$ Freiheitsgraden folgt:

{\textbf {W}}=\mathbf {X} \mathbf {X} '=\sum _{i=1}^{n}Z_{i}'Z_{i}

mit ${\textbf {W}}\sim W_{m}(n,\Sigma )$ .

Erläuterungen

Betrachte $n=10$ Observationen mit $2$ Parametern $Z_{1},Z_{2},\dots ,Z_{10}\sim {\mathcal {N}}_{2}(0,\Sigma )$ . Sei $Z_{1}=(z_{1}^{(1)},z_{2}^{(1)}),Z_{2}=(z_{1}^{(2)},z_{2}^{(2)}),\dots ,Z_{10}=(z_{1}^{(10)},z_{2}^{(10)})$ , dann ist

{\begin{aligned}{\textbf {W}}=\sum _{i=1}^{10}Z_{i}'Z_{i}&={\begin{pmatrix}\left(z_{1}^{(1)}\right)^{2}&z_{1}^{(1)}z_{2}^{(1)}\\z_{1}^{(1)}z_{2}^{(1)}&\left(z_{2}^{(1)}\right)^{2}\end{pmatrix}}+{\begin{pmatrix}\left(z_{1}^{(2)}\right)^{2}&z_{1}^{(2)}z_{2}^{(2)}\\z_{1}^{(2)}z_{2}^{(2)}&\left(z_{2}^{(2)}\right)^{2}\end{pmatrix}}+\cdots +{\begin{pmatrix}\left(z_{1}^{(10)}\right)^{2}&z_{1}^{(10)}z_{2}^{(10)}\\z_{1}^{(10)}z_{2}^{(10)}&\left(z_{2}^{(10)}\right)^{2}\end{pmatrix}}\\&={\begin{pmatrix}\left(z_{1}^{(1)}\right)^{2}+\left(z_{1}^{(2)}\right)^{2}+\cdots +\left(z_{1}^{(10)}\right)^{2}&z_{1}^{(1)}z_{2}^{(1)}+z_{1}^{(2)}z_{2}^{(2)}+\cdots +z_{1}^{(10)}z_{2}^{(10)}\\z_{1}^{(1)}z_{2}^{(1)}+z_{1}^{(2)}z_{2}^{(2)}+\cdots +z_{1}^{(10)}z_{2}^{(10)}&\left(z_{2}^{(1)}\right)^{2}+\left(z_{2}^{(2)}\right)^{2}+\cdots +\left(z_{2}^{(10)}\right)^{2}\end{pmatrix}}\end{aligned}}

.

Das heißt, die Wishart-Matrix ist in diesem Beispiel die Summe aus zehn verschiedenen Matrizen.

Statistisches Beispiel

Seien $X_{1},\dotsc ,X_{n}$ i.i.d. $p$ -dimensionale Zufallsvektoren mit Verteilung ${\mathcal {N}}_{p}(\mu ,\Sigma )$ . Definiere die Schätzfunktionen für den Erwartungswert und die Varianz

{\overline {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}

S={\frac {1}{n-1}}\sum \limits _{i=1}^{n}(X_{i}-{\overline {X}})(X_{i}-{\overline {X}})^{t}

Dann gilt

(n-1)S\sim W_{p}(n-1,\Sigma ).

Erläuterung

Das heißt, die unnormalisierte Kovarianzmatrix der Zufallsstichprobe aus einer multivariaten Normalverteilung folgt der Wishart-Verteilung. Für den Maximum-Likelihood-Schätzer für die Kovarianzmatrix gilt:

{\widehat {\Sigma }}_{ML}={\frac {(n-1)}{n}}S

Weblinks

A.V. Prokhorov: Wishart distribution. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 1-55608-010-7 (englisch, encyclopediaofmath.org).

Eric W. Weisstein: Wishart Distribution. In: MathWorld (englisch).

Literatur

Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin/Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.

Einzelnachweise

↑ Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 63.
↑ Harald Uhlig: On Singular Wishart and Singular Multivariate Beta Distributions. In: The Annals of Statistics, Ann. Statist. Nr. 22, 1994, doi:10.1214/aos/1176325375.
↑ T. W. Anderson: The Non-Central Wishart Distribution and Certain Problems of Multivariate Statistics. In: The Annals of Statistics, Ann. Statist. Nr. 17, 1946, doi:10.1214/aoms/1177730882.
↑ Alan T. James: Distributions of Matrix Variates and Latent Roots Derived from Normal Samples. In: The Annals of Mathematical Statistics, Ann. Statist. Nr. 35, 1964, doi:10.1214/aoms/1177703550.
↑ A.K. Gupta, D.K. Nagar: Matrix Variate Distributions. Chapman & Hall/CRC, ISBN 1-58488-046-5, S. 113–114.
↑ Marie-France Bru: Wishart Processes. In: Journal of Theoretical Probability, Vol 4. Nr. 4, 1991, S. 725–751, doi:10.1007/bf01259552.
↑ Pavel Yaskov: A short proof of the Marchenko-Pastur theorem. In: arXiv. Abgerufen am 30. Mai 2021.
↑ Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 64.

[1] Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 63.

[2] Harald Uhlig: On Singular Wishart and Singular Multivariate Beta Distributions. In: The Annals of Statistics, Ann. Statist. Nr. 22, 1994, doi:10.1214/aos/1176325375.

[3] T. W. Anderson: The Non-Central Wishart Distribution and Certain Problems of Multivariate Statistics. In: The Annals of Statistics, Ann. Statist. Nr. 17, 1946, doi:10.1214/aoms/1177730882.

[4] Alan T. James: Distributions of Matrix Variates and Latent Roots Derived from Normal Samples. In: The Annals of Mathematical Statistics, Ann. Statist. Nr. 35, 1964, doi:10.1214/aoms/1177703550.

[5] A.K. Gupta, D.K. Nagar: Matrix Variate Distributions. Chapman & Hall/CRC, ISBN 1-58488-046-5, S. 113–114.

[6] Marie-France Bru: Wishart Processes. In: Journal of Theoretical Probability, Vol 4. Nr. 4, 1991, S. 725–751, doi:10.1007/bf01259552.

[7] Pavel Yaskov: A short proof of the Marchenko-Pastur theorem. In: arXiv. Abgerufen am 30. Mai 2021.

[8] Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 64.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]