Multimodale künstliche Intelligenz

Multimodale künstliche Intelligenz ist eine spezielle Art von Modalität, welche Ähnlichkeit mit der entsprechenden Definition bei Medienwissenschaften hat. Dort wird bei Multimedialität mehr als eine Sinnesmodalität zur Interaktion benutzt (Multimodale Interaktion). Bei multimodaler künstlicher Intelligenz wird jedoch anstelle einer traditionellen Verarbeitung / Umwandlung der Eingaben ein durch maschinelles Lernen vortrainiertes Basismodel für den Verarbeitungsprozess verwendet, welches für zusätzliche Modalitäten erweitert wurde oder durch Lerntransfer mittels Fine-Tuning noch weiter angepasst werden kann. Auch die Nutzung weicht oft von früheren Medienanwendungen ab.

Geschichte

Vorläufer waren monomodale Anwendungen mittels KI-Mustererkennung wie Lesen von handgeschriebenem Text inklusive Zahlen mit standardisiertem Text als Ausgabe oder Sprachassistenten mit Spracherkennung als Eingabe und Antworten in synthetischer Sprache wie beispielsweise Siri von Apple, welcher erstmals 2011 im iPhone4s eingeführt wurde. Auch Übersetzungen eines Texts in den Text einer Fremdsprache gehörten dazu, wobei dafür in den 1990er-Jahren statistische Maschinenübersetzungssoftware eingesetzt wurde.

Ab etwa 2010 wurden durch künstliche neuronale Netze leistungsfähigere Modelle entwickelt, welche später die Grundlage für multimodale KI-Anwendungen bildeten. Als Basismodelle dienen insbesondere sprachbasierte Deep-Learning-Modelle mit der Bezeichnung Large-Language-Models (LLMs) und bildgenerierende Modelle (Diffusionsmodelle wie DALL-E von OpenAI) die Grundlage. Die spezifische Art eines LLMs mit der Bezeichnung Generativer vortrainierter Transformer (englisch: Generative pre-trained transformer, GPT) wurde erst 2017 von Google-LLC-Mitarbeitern geschaffen. Solche generative, transformerbasierte Systeme können auf Aufgaben ausgerichtet sein, die Modalitäten jenseits von Text umfassen. Microsofts Visual ChatGPT zum Beispiel kombiniert ChatGPT mit visuellen Grundlagenmodellen, um sowohl Bilder als auch Text als Eingabe oder Ausgabe zu ermöglichen. Darüber hinaus bieten Fortschritte in der Text-to-Speech-Technologie leistungsstarke Werkzeuge für die Erstellung von Audioinhalten, wenn sie in Verbindung mit grundlegenden GPT-Sprachmodellen verwendet werden.

Anwendungen (Auswahl)

• Multimediale Chatbots mit Text-, Sprach- und Bildeingabe sowie Ausgabe
• in der Medizin: Text- und Bildeingaben zur Diagnosestellung; Fernsteuerung von chirurgischen Eingriffen durch Ärzte
• in der Pharmaforschung: Proteinstrukturmodifikationen und deren voraussichtliche Auswirkungen
• in der Robotik: Erfassung von Sensordaten und Sprachbefehlen zur Steuerung von Robotern