Induktive Verzerrung

Unter einer induktiven Verzerrung versteht man die Annahmen, die ein Lernalgorithmus machen muss, um aus Trainingsbeispielen oder Beobachtungen verallgemeinern zu können.

Hintergrund

Eine typische Aufgabe des maschinellen Lernens ist es, aus beobachteten oder zugeführten Daten auf eine dahinterstehende Regelmäßigkeit zu schließen. Diese Art des Lernens durch Verallgemeinerung wird Induktion genannt. Die Maschine lernt, in welchem Zusammenhang die Daten miteinander stehen und kann zukünftige Daten vorhersagen, selbst in Situationen, die sie vorher noch nicht beobachtet hat.

Dazu muss die Maschine jedoch weitere Annahmen machen, denn sonst könnten die Daten tatsächlich in jedem beliebigen Zusammenhang stehen, und die Maschine wäre nur in der Lage, das wiederzugeben, was sie früher schon einmal beobachtet hat. Die Wahl, welches Vorwissen der Maschine mitgegeben wird, ist die induktive Verzerrung, denn die Maschine kann nur lernen, was sich mit dem Vorwissen sinnvoll erklären lässt. Der Erbauer der Maschine schränkt somit schon im Voraus ein, was die Maschine überhaupt zu lernen imstande ist.

Beispiele

• Ockhams Rasiermesser: Die Annahme, die einfachste Erklärung für ein Phänomen sei auch die beste Erklärung, ist ein klassisches Beispiel für eine induktive Verzerrung. Ungewöhnlich komplizierte Modelle werden ignoriert oder nicht weiter verfolgt, solange es einfachere Erklärungen gibt. Dabei gibt es dafür keinen Grund außer der Erfahrung (der Verzerrung), dass mehr Aufwand meistens nicht sinnvoll ist.

• Die Zahlenreihe 11, 2, 6, 7, 20 kann je nach Verzerrung unterschiedlich fortgesetzt werden. Eine Maschine (oder auch ein Mensch) mit mathematischer Verzerrung würde versuchen, eine Zahlbeziehung zwischen den Zahlen herzustellen und die nächste zu errechnen. Eine andere Machine könnte aber durchaus auch eine andere Verzerrung haben und versuchen, die Reihe mit einer Zahl mit 8 Buchstaben fortzusetzen (3, 4, 5, 6, 7 Buchstaben).

• Die Wahl des Hypothesenraums ist die Verzerrung, denn ein Konzept kann nur gelernt werden, wenn die Zielfunktion im Hypothesenraum enthalten ist.