Fletcher’s Checksum

Fletcher’s Checksum (übersetzt „Fletchers Prüfsumme“, auch Fletcher checksum oder Fletcher algorithm) ist ein 1982 von John G. Fletcher (1934–2012) vorgestelltes Fehlererkennungsverfahren in Form einer Prüfsumme. Mit dem Verfahren können Fehler, beispielsweise in einer digitalen Datenübertragung, entdeckt werden. Es basiert darauf, dass die einzelnen Bits der Nachricht nicht nur aufsummiert, sondern zusätzlich abhängig von ihrer Position gewichtet werden. Damit stellt der Algorithmus einen Kompromiss zwischen der langsameren, aber sensitiveren zyklischen Redundanzprüfung (CRC) und fehleranfälligen Verfahren wie einer einfachen Prüfsumme oder vertikaler Redundanzprüfung dar. Fletcher’s Checksum wird unter anderem in verschiedenen Netzwerkprotokollen und Dateisystemen verwendet.

Der Algorithmus

Die binär übertragene Nachricht wird in Abschnitte der Länge $K$ unterteilt, jeweils $K$ Bit bilden somit einen Block. Der letzte Block wird gegebenenfalls für die Dauer des Algorithmus aufgefüllt und jeder Block als vorzeichenloser Integer interpretiert. Die Anzahl der Blöcke sei ${\text{length}}$. Der Prüfwert besteht aus zwei verschiedenen Summen: Die erste (${\text{sum}}_{1}$) summiert schrittweise sämtliche Blöcke auf, die zweite (${\text{sum}}_{2}$) ist die Summe aller Zwischenergebnisse der ersten Summe. Der erste Block geht also ${\text{length}}$-mal in ${\text{sum}}_{2}$ ein, der letzte dagegen nur einmal. Werden durch eine Störung beim Übertragen Bits invertiert oder zwei Blöcke unterschiedlichen Wertes vertauscht, verändert sich im Normalfall der Prüfwert: Der Fehler fällt auf.

Da der Prüfwert unabhängig von der Länge der Nachricht in einer festen Anzahl von Bits (im Allgemeinen $2\cdot K$) übertragen werden können soll, werden beide Summen zuletzt modulo $M$ gerechnet und anschließend in die Nachricht integriert. Normalerweise wird $M=2^{K}$ oder $M=2^{K}-1$ gewählt. Letzteres ist trotz leicht aufwändigerer Berechnung zu bevorzugen, weil $2^{K}-1$ vergleichbar groß ist, im Gegensatz zu $2^{K}$ jedoch nicht durch 2 – die Basis des Binärsystems – teilbar. Für das Ergebnis ist unerheblich, ob die Modulo-Operation nach jeder Addition oder am Ende angewandt wird. Um Überlauf zu vermeiden, erfolgt sie in einer Implementierung schon im Laufe der Berechnung.

Die Anzahl an möglichen Prüfwerten von Fletcher’s Checksum beträgt $M^{2}$. Eine genügend lange Nachricht vorausgesetzt, verringert sich also mit größerem $K$ die Wahrscheinlichkeit, dass eine verfälschte Nachricht denselben Prüfwert aufweist. Grundsätzlich kann für $K$ eine beliebige natürliche Zahl gewählt werden, der Algorithmus würde entsprechend als Fletcher-$2\cdot K$ bezeichnet werden. Verbreitet sind Fletcher-16 und Fletcher-32, teilweise auch Fletcher-8.

Beispielrechnung

Wird die Nachricht „Wikipedia“ in ASCII binär übermittelt, findet für Fletcher-16 mit $M=255$ die in der Tabelle ausgeführte Rechnung statt. Ist ein Zwischenergebnis einer Summe größergleich 255, wird modulo angewendet, hier dargestellt als $\equiv$.

Nachricht	W	i	k	i	p	e	d	i	a	Ergebnis
binäre Darstellung	01010111	01101001	01101011	01101001	01110000	01100101	01100100	01101001	01100001
dezimaler Wert	87	105	107	105	112	101	100	105	97
${\text{sum}}_{1}$	87	192	299 $\equiv$ 44	149	261 $\equiv$ 6	107	207	312 $\equiv$ 57	154	154
${\text{sum}}_{2}$	87	279 $\equiv$ 24	68	217	223	330 $\equiv$ 75	282 $\equiv$ 27	84	238	238

Pseudocode

Nachfolgend ein Pseudocode für Fletcher-16 mit $M=255$ ohne jegliche Optimierung. Als Prüfwert werden beide Summen aufeinanderfolgend zurückgegeben.

Fletcher_16 (data)
Input: Array data von 8-Bit-Integern
Output: 16-Bit-Prüfsumme zu data

sum1 := 0
sum2 := 0
for i := 0 to length (data) do
    sum1 := (sum1 + data[i]) modulo 255
    sum2 := (sum2 + sum1) modulo 255
endfor
checksum := sum1 gefolgt von sum2
return checksum

Varianten

In einer Variante, die Fletchers ursprünglichem Algorithmus näher liegt, werden zwei Prüfblöcke der Länge $K$ an das Ende der Nachricht angehängt, die derart gewählt werden, dass beide Summen des Prüfwerts über die neue, verlängerte Nachricht null betragen. Dazu werden die beiden Summen ${\text{sum}}_{1}$ und ${\text{sum}}_{2}$ zunächst wie gehabt berechnet. Dem ersten Prüfblock wird dann der Wert $-{\text{sum}}_{1}-{\text{sum}}_{2}{\pmod {M}}$ zugewiesen, dem zweiten ${\text{sum}}_{2}$. Betty Salzberg zeigte kurz nach Fletchers Veröffentlichung, dass die Lage der beiden aufeinanderfolgenden Prüfblöcke beliebig innerhalb der Nachricht gewählt werden kann, ohne dass dabei die Prüfeigenschaften verschlechtert werden. Sollen die Blöcke an die Stelle $n$ bzw. $n+1$, ist ihr Wert als $({\text{length}}-n)\cdot {\text{sum}}_{1}-{\text{sum}}_{2}$ und $({\text{length}}-(n-1))\cdot (-{\text{sum}}_{1})+{\text{sum}}_{2}$, jeweils modulo $M$, zu wählen. Dabei entspricht ${\text{length}}$ der Anzahl an Blöcken der ursprünglichen Nachricht. Tatsächlich können die beiden Blöcke an frei wählbaren Stellen $i$ und $j$ stehen, solange der Betrag $|i-j|$ und $M$ teilerfremd sind.

Keith Sklower entwickelte eine Rekursion, die zwei Blöcke auf einmal verarbeitet und am Ende denselben Prüfwert wie Fletcher’s Checksum erzeugt. Des Weiteren kann es in bestimmten Fehlermodellen von Vorteil sein, den Prüfwert im Trailer statt wie in den meisten Netzwerkprotokollen im Header unterzubringen.

Optimierung

Werden die Summen in jeweils mehr als $K$ Bit gespeichert, muss die Modulo-Operation nicht nach jeder Addition erfolgen, sondern erst, wenn die Variable überzulaufen droht. Man nimmt den Worst Case an, also eine Nachricht, bei der jeder Block den größtmöglichen Wert aufweist, um eine obere Grenze (upper bound) $B_{u}$ für die Anzahl an Additionen ohne Überlauf zu ermitteln. Besitzen beide Summen denselben Datentyp, erfolgt dieser zuerst auf ${\text{sum}}_{2}$. Bei einer Umsetzung von Fletcher-16 mit $K=8$ und $M=255$ sowie unter Verwendung von vorzeichenlosen 16-Bit-Integers beträgt $B_{u}=21$.

Zusätzlich kann die Modulo-Operation durch bitweise Operatoren ersetzt werden. Ist $M=2^{K}$, genügt x & (M-1) statt x % M (notiert in der Programmiersprache C), für $M=2^{K}-1$ könnte die Einerkomplement-Arithmetik verwendet werden, bei der sich durch das in dieser Arithmetik erforderliche Addieren des Übertrags (end-around carry) das passende Resultat ergibt. Allerdings verwendet heutige Hardware nahezu ausschließlich eine Zweierkomplement-Arithmetik, das Addieren des Übertrags kann in diesem Fall durch (x & (M-1)) + (x >> K) imitiert werden, unter der Voraussetzung, dass der verwendete Datentyp mehr als $K$ Bits aufnehmen kann. In der Literatur zu Prüfsummen allgemein und auch bei Fletcher wird dementsprechend $M=2^{K}-1$ häufig als Einer- und $M=2^{K}$ als Zweierkomplementversion bezeichnet.

Fletcher’s Checksum kann sowohl parallelisiert als auch vektorisiert werden. Der Algorithmus kann zusätzlich durch generelle Optimierungsmethoden, insbesondere Loop unrolling, beschleunigt werden.

Geschichte

John Fletcher entwickelte den Algorithmus Ende der 1970er Jahre im Lawrence Livermore National Laboratory. Im Januar 1982 veröffentlichte die IEEE Communications Society Fletchers Artikel über die Prüfsumme und ihre Eigenschaften in IEEE Transactions on Communications. Darin begründet er seine Entwicklung einer arithmetischen Prüfsumme damit, dass Computer eher für arithmetische Operationen als für Polynomdivision, wie sie die zyklische Redundanzprüfung benötigt, ausgelegt seien. Fletcher beschrieb den Prüfwert nicht als Zusammensetzung von zwei, sondern von beliebig vielen Summen, wobei die erste wie ${\text{sum}}_{1}$ berechnet wird und jede weitere die Zwischenergebnisse der vorhergehenden aufsummiert. Die Verwendung von mehr als zwei Summen verbessert den Algorithmus jedoch nicht genügend, um die Verlangsamung zu rechtfertigen.

Angepasste Varianten von Fletchers Algorithmus werden unter anderem in der vierten Schicht (Transport) des ISO-Netzwerkprotokollstandards und im IS-IS-Protokoll eingesetzt. J. Zweig und C. Partridge schlugen 1990 vor, das TCP dahingehend zu erweitern, dass Fletcher’s Checksum verwendet werden kann. Diese Erweiterung besitzt seit 2011 den Status „Historic“. Sowohl im 2006 eingeführten Dateisystem ZFS als auch im 2016 vorgestellten Apple File System wird die Prüfsumme genutzt.

1995 stellte Mark Adler mit Adler-32 eine Variation von Fletcher-32 vor, bei der modulo 65.521 (die größte Primzahl kleiner 2¹⁶) gerechnet wird.

Eigenschaften und Vergleich mit anderen Verfahren

Bei gleicher Byteanzahl des Prüfwerts ist Fletcher’s Checksum einer gut implementierten zyklischen Redundanzprüfung (CRC) in der Fehlererkennung unterlegen. Dafür kann die Berechnung schon beginnen, bevor die Nachricht vollendet wurde, da es keine direkten Abhängigkeiten zu ${\text{length}}$ gibt. Werden einzelne Blöcke verändert, nachdem die Prüfsumme bereits ausgerechnet wurde, kann diese aktualisiert werden, ohne auf die unveränderten Blöcke zuzugreifen.

Nachfolgende Eigenschaften beziehen sich stets auf den Algorithmus mit $M=2^{K}-1$. Fletcher’s Checksum entdeckt alle Bündelfehler bis zur Länge $K$, anfällig ist es gegen solche Burstfehler, die einen Block aus nur Einsen zu einem aus nur Nullen invertieren oder umgekehrt, denn modulo $2^{K}-1$ sind diese beiden Blöcke äquivalent. Lässt man diese spezielle Art von Fehler aus der Betrachtung heraus, werden alle Bündelfehler bis zur Länge $2\cdot K$ erkannt. Für Nachrichten bis zu einer Länge von $K\cdot M=K\cdot (2^{K}-1)$ Bit besitzt das Verfahren eine Hamming-Distanz von $h=3$, für längere Nachrichten ist $h=2$. Fletcher-16 erkennt also ab Nachrichtenlänge von 2.056 Bit nicht mehr alle Zwei-Bit-Fehler, während für eine geeignete CRC mit einem gleich langen Prüfwert ein Abstand zwischen den beiden Fehlern von bis zu 65.535 Bit noch zum Erkennen reicht. Hier offenbart sich eine Schwäche der Umsetzung von Fletcher-16 mit $M=256$, da hier der Abstand kleinergleich 16 Bit sein muss.

Fletcher’s Checksum erkennt keine fälschlich an eine Nachricht angehängten Nullen, da sich dadurch die Summen nicht mehr verändern. Dies kann verhindert werden, indem der Empfänger entweder die Länge der Nachricht im Voraus kennt oder sie ihm innerhalb dieser mitgeteilt wird.

Obwohl bei Adler-32 die Besetzung von $M$ durch eine Primzahl die möglichen Prüfwerte besser verteilt, gibt es doch insgesamt weniger von ihnen, sodass die aufwändigere Berechnung trotzdem fast immer schlechter prüft als Fletcher-32.

Damit ist Fletcher’s Checksum bei gleicher Bitanzahl des Prüfwerts sowohl einfachen Algorithmen wie der vertikalen Redundanzprüfung, einer simplen Summe oder der XOR-Prüfsumme als auch der Adler-Prüfsumme überlegen. Ist eine CRC umsetzbar, sollte diese jedoch bevorzugt werden.

Literatur

• John G. Fletcher: An Arithmetic Checksum for Serial Transmissions. In: IEEE Transactions on Communications, Jahrgang 30, Heft 1, 1982, doi:10.1109/TCOM.1982.1095369, S. 247–252.
• Anastase Nakassis: Fletcher’s Error Detection Algorithm: How to implement it efficiently and how to avoid the most common pitfalls. In: Computer Communication Review, Jahrgang 18, Heft 5, 1988, doi:10.1145/53644.53648, S. 63–88.
• John Kodis: Fletcher’s Checksum: Error correction at a fraction of the cost. In: Dr. Dobb’s Journal, Jahrgang 17, Heft 5, 1992, S. 32.
• Theresa C. Maxino, Philip J. Koopman: The Effectiveness of Checksums for Embedded Control Networks. (PDF; 676 kB) In: IEEE Transactions on Dependable and Secure Computing, Jahrgang 6, Heft 1, 2009, doi:10.1109/TDSC.2007.70216, insbesondere Kapitel 3.4.

Weblinks

• J. Zweig, C. Partridge: RFC: 1146 – TCP Alternate Checksum Options. 1990 (englisch).
• Implementierung von Fletcher-16 in verschiedenen Programmiersprachen. reddit.com (englisch).
• Peter Kankowski: Hash functions: An empirical comparison. 2009.