Fine-Tuning (Künstliche Intelligenz)

Fine-Tuning (deutsch: Feinabstimmung) ist ein Begriff, welcher u. a. in bestimmten Naturwissenschaften und der Musik verwendet wird. Bei der künstlichen Intelligenz, insbesondere bei Deep Learning, versteht man darunter eine Methode des Lerntransfers eines vortrainierten künstlichen neuronalen Netzwerks. Ein Beispiel ist die Entwicklung von GPT-3 durch OpenAI. Foundation Models (Basismodelle) sind maschinelle Lernmodelle, welche auf einer großen Menge von Daten vortrainiert werden. Sie ermöglichen es, durch Feinabstimmung solche Modelle auf spezifische Aufgaben oder Anwendungsfälle anzupassen und zu optimieren. Mehrfach dienten Large Language Models (LLM) als textbasierte Basismodelle, welche insbesondere für die Sprach- und Bildverarbeitung multimodal weiterentwickelt wurden. Auch können Unternehmen eine Lizenz für ein geeignetes Model erwerben und durch Feinabstimmung mittels firmeneigener Daten für spezifische Aufgaben optimierte Lösungen erarbeiten.

Anpassungstechniken

Beim Lerntransfer werden die Parameter eines vortrainierten Modells auf neue Daten trainiert und entsprechend angepasst. In der Regel werden dazu diskriminative, statistische Methoden verwendet. Dies kann für das gesamte neuronale Netz oder nur für einen Teil der Schichten erfolgen. Um den Aufwand für Rechenzeit und Speicherbedarf tief zu halten, gibt es unterschiedliche Techniken:

Low-rank Adaptation (LoRA)

Low-Rank Adaptation (LoRA) ist eine Methode zur effizienten Feinabstimmung von Modellen. Sie wurde ursprünglich von einem Team von Microsoft-Forschern im Jahr 2021 eingeführt. Dabei wird das vortrainierte Model mit seinen bestehenden Parametern eingefroren. Dann werden kleinere, trainierbare Rangzerlegungs-Matrizen zu niederrangigen, nachgelagerten Schichten (neben den ursprünglichen Matrizen) der neuronalen Struktur zugefügt, um die Zahl der zusätzlich für die Abstimmung trainierbaren Parameter in den nachfolgenden Schichten tief zu halten. Seitdem hat die LoRA-Methode sich zu einem beliebten Ansatz für die Abstimmung von LLMs (großer Sprachmodelle), Diffusionsmodelle (z. B. für die Bildgenerierung) und anderer Arten von KI-Modellen entwickelt. Weiterentwicklungen erfolgen z. B. durch den Einsatz der Fourier-Transformation.

Representation Fine-Tuning (ReFT)

Representation Fine-Tuning (ReFT) ist eine Technik, die von Forschern der Stanford University entwickelt wurde, um große Sprachmodelle durch die Modifikation von weniger als 1 % ihrer Repräsentationen feinabzustimmen. Im Gegensatz zu traditionellen, parameter-effizienten Feinabstimmungsmethoden wie Low-rank Adaptation, die sich hauptsächlich auf die Aktualisierung von Gewichten konzentrieren, zielt ReFT auf spezifische Teile des Modells ab, die für die Aufgabe der Feinabstimmung relevant sind. Dieser Ansatz basiert auf der Erkenntnis, dass Deep-Learning-Modelle reichhaltige semantische Informationen in ihren Repräsentationen kodieren. Modifikation von Repräsentationen sind möglicherweise eine effektivere Strategie als die Aktualisierung von Gewichtsparametern. ReFT-Methoden arbeiten mit einem eingefrorenen Basismodell und lernen auf verdeckten Repräsentationen aufbauenden, aufgabenbezogenen Eingriffen. Diese Eingriffe manipulieren einen kleinen Teil der Modellrepräsentationen, um das Verhalten des Modells bei der Lösung nachgelagerter Aufgaben zu steuern.

Supervised Fine-Tuning

Beim Supervised Fine-Tuning wird zu einer bestimmten Anfrage (Prompt) die gewünschte Antwort vorgegeben und mit dem Resultat des Modells vergleichen. Abweichungen werden ins Modell zur Korrektur eingespeist.

Weitere Techniken

Um festgestellte Nachteile bestimmter Fine-Tuning-Methoden zu vermeiden, werden Verbesserungen erforscht.

Siehe auch

• Bestärkendes Lernen
• Multimodale künstliche Intelligenz