Ein Bildungsunternehmen entwickelt eine App, mit der Benutzer eine Frage eingeben oder ein Bild einer Frage hochladen können. Die App soll eine schriftliche Antwort und eine Erklärung zurückgeben. Welcher Modelltyp passt am besten zu diesem Anwendungsfall?

Ein großes multimodales Sprachmodell (Large Multimodal Model, LMM) ist die beste Wahl, da es sowohl Texteingaben (die eingegebene Frage) als auch Bildeingaben (das Bild der Frage) verarbeiten kann. Multimodale Modelle sind darauf ausgelegt, Informationen aus verschiedenen Modalitäten zu integrieren und zu verstehen. Darüber hinaus können LMMs nicht nur die Frage interpretieren, sondern auch eine schriftliche Antwort und eine Erklärung generieren, was ihre Fähigkeiten in der Sprachgenerierung unterstreicht. Ein reines Computer-Vision-Modell könnte zwar das Bild verarbeiten, aber keine Textantwort generieren. Ein Diffusionsmodell ist primär für die Generierung von Bildern aus Rauschen bekannt und nicht für das Verstehen von Fragen. Ein Text-to-Speech-Modell wandelt Text in Sprache um und ist für diesen Anwendungsfall ungeeignet, da es keine Fragen beantworten kann.