Strassen-Algorithmus

Der Strassen-Algorithmus (erfunden vom deutschen Mathematiker Volker Strassen) ist ein Algorithmus aus der Linearen Algebra und wird zur Matrizenmultiplikation verwendet. Der Strassen-Algorithmus realisiert die Matrizenmultiplikation asymptotisch effizienter als das Standardverfahren und ist in der Praxis schneller für große Matrizen (solche mit einem Rang größer als 1000).

Der Algorithmus

Vereinfachend wird der Spezialfall quadratischer Matrizen mit $2^{k}$ Zeilen bzw. Spalten betrachtet.

Seien also $A,B\in R^{2^{k}\times 2^{k}}$ Matrizen über einem Ring $R$ und ferner ihr Produkt $C=A\cdot B\in R^{2^{k}\times 2^{k}}$. Diese lassen sich auch als Blockmatrizen

$A={\begin{pmatrix}A_{1,1}&A_{1,2}\\A_{2,1}&A_{2,2}\end{pmatrix}},\qquad B={\begin{pmatrix}B_{1,1}&B_{1,2}\\B_{2,1}&B_{2,2}\end{pmatrix}},\qquad C={\begin{pmatrix}C_{1,1}&C_{1,2}\\C_{2,1}&C_{2,2}\end{pmatrix}}$

betrachten, wobei $A_{i,j},B_{i,j},C_{i,j}\in R^{2^{k-1}\times 2^{k-1}}$ sind.

Für die Multiplikation von Blockmatrizen gilt:

$C_{1,1}=A_{1,1}\cdot B_{1,1}+A_{1,2}\cdot B_{2,1}$

$C_{1,2}=A_{1,1}\cdot B_{1,2}+A_{1,2}\cdot B_{2,2}$

$C_{2,1}=A_{2,1}\cdot B_{1,1}+A_{2,2}\cdot B_{2,1}$

$C_{2,2}=A_{2,1}\cdot B_{1,2}+A_{2,2}\cdot B_{2,2}$

Die direkte Berechnung der $C_{i,j}$ benötigt also $8$ (aufwändige) Matrizenmultiplikationen. Um diese Anzahl zu reduzieren, berechnet der Algorithmus von Strassen folgende Hilfsmatrizen:

$M_{1}:=(A_{1,1}+A_{2,2})\cdot (B_{1,1}+B_{2,2})$

$M_{2}:=(A_{2,1}+A_{2,2})\cdot B_{1,1}$

$M_{3}:=A_{1,1}\cdot (B_{1,2}-B_{2,2})$

$M_{4}:=A_{2,2}\cdot (B_{2,1}-B_{1,1})$

$M_{5}:=(A_{1,1}+A_{1,2})\cdot B_{2,2}$

$M_{6}:=(A_{2,1}-A_{1,1})\cdot (B_{1,1}+B_{1,2})$

$M_{7}:=(A_{1,2}-A_{2,2})\cdot (B_{2,1}+B_{2,2})$

Zur Berechnung der $M_{i}$ sind lediglich $7$ Multiplikationen nötig, die $C_{ij}$ lassen sich nun durch Additionen (und Subtraktionen) ermitteln:

$C_{1,1}=M_{1}+M_{4}-M_{5}+M_{7}$

$C_{1,2}=M_{3}+M_{5}$

$C_{2,1}=M_{2}+M_{4}$

$C_{2,2}=M_{1}-M_{2}+M_{3}+M_{6}$

Für die Multiplikationen in der Berechnung der $M_{i}$ wird obiges Verfahren rekursiv ausgeführt, bis das Problem auf die Multiplikation von Skalaren reduziert ist.

In der Praxis kann die gewöhnliche Multiplikation für kleine Matrizen durchaus schneller sein. Daher bietet sich ein Wechsel zur gewöhnlichen Multiplikation anstelle eines rekursiven Aufrufs an, sobald die Matrizendimensionen klein genug sind (Cut-Off).

Die linke Spalte repräsentiert eine $2\times 2$-Matrizenmultiplikation. Jede andere Spalte repräsentiert eine der $7$ Multiplikationen des Strassen-Algorithmus.

Aufwand

Der Standardalgorithmus zur Matrizenmultiplikation benötigt

$n^{\log _{2}8}=n^{3}$

Multiplikationen der Elemente des Ringes $R$. Die benötigten Additionen sind hierbei nicht in die Komplexitätsberechnung eingeflossen, Sie können, abhängig von $R$, in Computerimplementationen viel schneller sein als die Multiplikationen. (Insbesondere bei gewöhnlichen ganzen oder Fließkommazahlen ist das oft der Fall.) Mit dem Strassen-Algorithmus wird die Anzahl der Multiplikationen auf

$n^{\log _{2}7}\approx n^{2,807}$

reduziert. Die Reduktion der Anzahl der Multiplikationen führt allerdings zu einer Verringerung der numerischen Stabilität.

Eine saubere Analyse einschließlich der Additionen ist mit dem Master-Theorem möglich: Die gewöhnliche Matrizenmultiplikation benötigt $2n^{3}-n^{2}\in {\mathcal {O}}(n^{3})$ Schritte (Multiplikationen und Additionen gleich gewichtet und zusammenaddiert). Dies gilt auch für den ganz oben erklärten naiven rekursiven Algorithmus, denn er erzeugt 8 Teilprobleme der Größe ${\frac {n}{2}}$und zudem sind 4 quadratische Matrizen der Seitenlänge ${\frac {n}{2}}$ zu addieren, was einen zusätzlichen Aufwand von $4\cdot \left({\frac {n}{2}}\right)^{2}=n^{2}$ nach sich zieht, also gilt für seine Laufzeit die Rekursion

$T(n)=8\cdot T\left({\frac {n}{2}}\right)+n^{2}$

was nach dem Master-Theorem $T(n)\in \Theta (n^{\log _{2}8})=\Theta (n^{3})$ nach sich zieht.

Der Strassen-Algorithmus erzeugt hingegen jeweils nur sieben solche Teilprobleme, auch wenn dafür nun 18 Additionen oder Subtraktionen von Matrizen mit halber Seitenlänge, also $18\cdot \left({\frac {n}{2}}\right)^{2}={\frac {9}{2}}\cdot n^{2}$ Additionen/Subtraktionen einzelner Matrixeinträge in $R$, erforderlich sind:

$T(n)=7\cdot T\left({\frac {n}{2}}\right)+{\frac {9}{2}}\cdot n^{2}$

Mit dem Master-Theorem folgt $T(n)\in \Theta \left(n^{\log _{2}7}\right)$ (mit $\log _{2}7\approx 2{,}807$).

Literatur

• Volker Strassen: Gaussian Elimination is not Optimal. In: Numerische Mathematik, Band 13, 1969, S. 354–356, ISSN 0029-599X, doi:10.1007/BF02165411.

Weblinks

• Eric W. Weisstein: Strassen Formulas. In: MathWorld (englisch).