Defizit (Statistik)

Das Defizit (französisch déficience, englisch deficiency) ist in der Statistik eine Norm zur Beurteilung eines statistischen Modells ${\mathcal {E}}$ in Relation zu einem anderen statistischen Modell ${\mathcal {F}}$. Der Begriff wurde in den 1960er von dem französischen Mathematiker Lucien Le Cam eingeführt, um den Satz von Blackwell-Sherman-Stein neu zu formulieren. Eng verwandt ist die Le-Cam-Distanz, eine Pseudometrik, welche das maximale Defizit zweier statistischen Modelle misst. Wenn das Defizit des Modells ${\mathcal {E}}$ zu ${\mathcal {F}}$ Null ist, dann nennt man ${\mathcal {E}}$ besser oder informativer oder stärker als ${\mathcal {F}}$.

Einführung in die Problemstellung

David Blackwell definierte das statistische Modell als einen Wahrscheinlichkeitsraum ${\mathcal {E}}:=(\Omega _{1},{\mathcal {A}}_{1},(P_{\theta })_{\theta \in \Theta })$ mit einer Familie von Wahrscheinlichkeitsmaßen $(P_{\theta })_{\theta \in \Theta }$. Eine natürliche Frage ist nun, wann ${\mathcal {E}}$ besser oder informativer als ein anderes statistisches Modell ${\mathcal {F}}:=(\Omega _{2},{\mathcal {A}}_{2},(Q_{\theta })_{\theta \in \Theta })$ ist, welches dasselbe Experiment modelliert.

Mathematiker versuchten das Problem zu lösen, darunter Frederic Bohnenblust, Lloyd S. Shapley, Seymour Sherman sowie David Blackwell und Elias Stein. Aus deren Arbeiten resultierte der Satz von Blackwell-Sherman-Stein, welcher mit Hilfe von Markow-Kernen formuliert werden kann. Kurzgesagt, sagt der Satz, dass ${\mathcal {E}}$ besser als ${\mathcal {F}}$ ist, wenn ${\mathcal {F}}$ durch eine Randomisierung von ${\mathcal {E}}$ über den Markow-Kern entstehen kann. Das Problem an dem Satz war, dass viele Modelle nicht miteinander vergleichbar waren. Le Cam führte den Begriff des Defizits ein, notiert als $\delta ({\mathcal {E}},{\mathcal {F}})$, und formulierte eine neue, approximative Variante des Satzes von Blackwell-Sherman-Stein. Die Existenz einer Randomisierung wird durch die Aussage $\delta ({\mathcal {E}},{\mathcal {F}})=0$ ersetzt. Modellen, welche nicht miteinander vergleichbar sind, kann somit über das Defizit trotzdem eine Zahl zugeordnet werden.

Le-Cam-Theorie

Le Cam definierte das statistische Modell abstrakter als Blackwell, das heißt nicht in Form eines Wahrscheinlichkeitsraumes mit einer Familie von Wahrscheinlichkeitsmaßen, sondern über Banachverbände. Le Cam verwendete auch den Begriff des Experiments statt des Modells.

In seiner 1964 veröffentlichten Arbeit definierte er das statistische Modell als Tripel $(X,E,(P_{\theta })_{\theta \in \Theta })$ mit Indexmenge $\Theta$, bestehend aus Menge $X$, einem Vektor-Verband $E$ mit Einheit $I$ und einer Familie von positiven normierten Funktionalen $(P_{\theta })_{\theta \in \Theta }$ auf $E$. Die $(P_{\theta })_{\theta \in \Theta }$ ersetzen somit die Wahrscheinlichkeitsmaße. In seinem 1986 veröffentlichten Buch verzichtete er dann ganz auf $E$ und $X$. Im Artikel wird die Definition und Terminologie seines 1986 veröffentlichten Buch verwendet, das heißt wir verwenden den Begriff des Experiments.

Defizit

Wir folgen dem Vokabular aus der Einleitung und werden zuerst ein paar weitere Grundbegriffe definieren.

Abstrakte L₁-Räume, Experimente, M-Räume und Übergänge

Zuerst definieren wir den abstrakten L₁-Raum.

• Einen Banachverband $(L,\|\cdot \|)$ nennt man einen abstrakten L₁-Raum oder kurz L-Raum, falls für alle positiven Elemente $x,y\geq 0$ auch $\|x+y\|=\|x\|+\|y\|$ gilt.

Für einen L-Raum definieren wir nun den Begriff des Experiments.

• Sei $\Theta$ eine Indexmenge und $(L,\|\cdot \|)$ ein L-Raum bestehend aus positiven linearen Funktionalen $\{P_{\theta }:\theta \in \Theta \}$. Ein Experiment ${\mathcal {E}}$ ist eine Abbildung ${\mathcal {E}}:\Theta \to L$ der Form $\theta \mapsto P_{\theta }$, so dass $\|P_{\theta }\|=1$. Der Raum $L$ ist das durch $\{P_{\theta }:\theta \in \Theta \}$ erzeugte Band und wird auch L-Raum von ${\mathcal {E}}$ genannt, deshalb notieren wir ihn mit $L({\mathcal {E}})$. Für ein $\mu \in L({\mathcal {E}})$ definiert man außerdem den nicht-negativen Teil als $\mu ^{+}=\mu \vee 0=\max(\mu ,0)$.

Für einen L-Raum definieren wir seinen abstrakten M-Raum.

• Den topologischen Dualraum $M$ eines L-Raumes $(L,\|\cdot \|_{L})$, ausgestattet mit der konjugierten Norm $\|u\|_{M}=\sup\{|\langle u,\mu \rangle |;\|\mu \|_{L}\leq 1\}$, nennt man abstrakten M-Raum oder M-Raum. Der M-Raum ist ein Vektorverband und besitzt eine Einheit $I$ definiert durch $I\mu =\|\mu ^{+}\|_{L}-\|\mu ^{-}\|_{L}$ für $\mu \in L$.

Für zwei L-Räume $L(A)$ und $L(B)$ zu zwei Experimenten $A$ und $B$ definieren wir den Übergang, das ist eine positive, normerhaltende, lineare Abbildung zwischen den L-Räumen.

• Eine Übergang $T:L(A)\to L(B)$ ist eine lineare Abbildung, so dass $\|T\mu ^{+}\|=\|\mu ^{+}\|$ für jedes $\mu \in L(A)$ gilt.

Die Adjungierte des Übergangs ist eine positive lineare Abbildung vom Dualraum $M_{B}$ von $L(B)$ in den Dualraum $M_{A}$ von $L(A)$, so dass die Einheit von $M_{A}$ das Bild von der Einheit von $M_{B}$ ist. Ein Markow-Kern $T$ induziert einen Übergang $\mu \mapsto T\mu$, jedoch muss nicht jeder Übergang ein Markow-Kern sein.

Definition

Seien $\Theta$ eine Indexmenge und ${\mathcal {E}}:\theta \mapsto P_{\theta }$ und ${\mathcal {F}}:\theta \mapsto Q_{\theta }$ zwei Experimente, welche durch $\Theta$ indiziert werden. Seien $L({\mathcal {E}})$ und $L({\mathcal {F}})$ die dazugehörigen L-Räume und ${\mathcal {T}}$ die Menge aller Übergänge von $L({\mathcal {E}})$ zu $L({\mathcal {F}})$.

Das Defizit $\delta ({\mathcal {E}},{\mathcal {F}})$ von ${\mathcal {E}}$ zu ${\mathcal {F}}$ ist die Zahl

$\delta ({\mathcal {E}},{\mathcal {F}}):=\inf \limits _{T\in {\mathcal {T}}}\sup \limits _{\theta \in \Theta }{\tfrac {1}{2}}\|Q_{\theta }-TP_{\theta }\|_{\text{TV}},$

wobei $\|\cdot \|_{\text{TV}}$ die Totalvariationsnorm $\|\mu \|_{\text{TV}}=\mu ^{+}+\mu ^{-}$ bezeichnet. Der Faktor ${\tfrac {1}{2}}$ hat nur rechnerische Gründe und wird manchmal auch weggelassen.

Erläuterungen

• $\delta ({\mathcal {E}},{\mathcal {F}})=0$ bedeutet, es existiert ein Übergang $T$, so dass $TP_{\theta }=Q_{\theta }$ für alle $\theta \in \Theta$ gilt.
• Das Defizit misst, wie gut $Q_{\theta }$ von $P_{\theta }$ durch $T$ im Sinne der totalen Variation approximiert werden kann.
• Das Defizit ist eine Norm für $Q_{\theta }-TP_{\theta }$.

Le-Cam-Distanz

Die Le-Cam-Distanz ist folgende Pseudometrik

$\Delta ({\mathcal {E}},{\mathcal {F}})=\delta ({\mathcal {E}},{\mathcal {F}})\vee \delta ({\mathcal {F}},{\mathcal {E}})=\operatorname {max} \left(\delta ({\mathcal {E}},{\mathcal {F}}),\delta ({\mathcal {F}},{\mathcal {E}})\right)$.

Dies induziert eine Äquivalenzrelation und wenn $\Delta ({\mathcal {E}},{\mathcal {F}})=0$ ist, dann sagt man ${\mathcal {E}}$ und ${\mathcal {F}}$ sind äquivalent. Die Äquivalenzklasse $C_{\mathcal {E}}$ von ${\mathcal {E}}$ nennt man auch Typ von ${\mathcal {E}}$.

Seien $\Theta$ eine Indexmenge und $E(\Theta )$ die Menge aller Typen aller Experimente, welche durch $\Theta$ indiziert sind, dann ist die Le-Cam-Distanz $\Delta$ vollständig bezüglich $E(\Theta )$. Die Defizit-Bedingung $\delta ({\mathcal {E}},{\mathcal {F}})=0$ definiert eine Ordnungsrelation auf $E(\Theta )$, man sagt ${\mathcal {E}}$ ist besser oder informativer oder stärker als ${\mathcal {F}}$. Dies kann nun verwendet werden, um statistische Modelle zu vergleichen.

Häufig interessiert man sich für Familien von Experimenten $({\mathcal {E}}_{n})_{n}$ mit $\{P_{n,\theta }\colon \theta \in \Theta _{n}\}$ und $({\mathcal {F}}_{n})_{n}$ mit $\{Q_{n,\theta }\colon \theta \in \Theta _{n}\}$. Falls $\Delta ({\mathcal {E}}_{n},{\mathcal {F}}_{n})=0$ wenn $n\to \infty$, dann sagt man $({\mathcal {E}}_{n})_{n}$ und $({\mathcal {F}}_{n})_{n}$ sind asymptotisch äquivalent.

Literatur

• Lucien Le Cam: Asymptotic methods in statistical decision theory. Hrsg.: Springer, New York (= Springer Series in Statistics). 1986, doi:10.1007/978-1-4612-4946-7. 
• Lucien Le Cam: Sufficiency and Approximate Sufficiency. In: Institute of Mathematical Statistics (Hrsg.): The Annals of Mathematical Statistics. Band 35, Nr. 4, 1964, S. 1419 - 1455, doi:10.1214/aoms/1177700372. 
• Erik Torgersen: Comparison of Statistical Experiments. Hrsg.: Cambridge University Press, Vereinigtes Königreich. 1991, doi:10.1017/CBO9780511666353.