Bayern will nicht nur bei Mobilität und Raumfahrt an der Weltspitze mitspielen, sondern zukünftig auch bei Künstlicher Intelligenz. Daher soll im Freistaat nun ein ChatGPT-Konkurrent entstehen. Dessen Entwicklung könnte durchaus teuer werden.
Von Michael Förtsch
Die Hoffnung auf Künstliche Intelligenz als transformative Zukunftstechnologie hat auch Bayern erfasst. Bereits im vergangenen Jahr kündigte Ministerpräsident Markus Söder an, dass der Freistaat nicht nur in der Luft- und Raumfahrt, sondern auch bei KI eine treibende Kraft werden soll. Mehrere Millionen sollen dafür in die bayerische Forschung und Bildung fließen. Und nun hat die Staatsregierung auch noch beschlossen, dass ein eigener Konkurrent zu den dominierenden Sprachmodellen – den sogenannten Large Language Models, die hinter Diensten wie ChatGPT, Bard und Claude stehen – entstehen soll.
„Wir sind ambitioniert“, sagte Wissenschaftsminister Markus Blume bei der Vorstellung der Pläne. „Wir möchten, dass wir nicht nur Modelle und Verfahren verwenden, die in anderen Teilen der Welt entwickelt worden sind, sondern wir möchten auch, dass wir eine KI haben […] die unseren Wertvorstellungen folgt." Was die bayerische Staatsregierung fordert und jetzt auch fördert, ist ein sogenanntes Foundation Model – oder Basismodell. So nennt man KI-Modelle, die mit riesigen Mengen an Daten trainiert werden und dadurch Wissen und Fähigkeiten wie Textgenerierung oder auch Bilderkennung akkumulieren. Durch Weiterentwicklungen und Tuning können darauf aufbauend Tools für spezielle Aufgaben und Nutzungsmöglichkeiten entwickelt werden werden, zum Beispiel Chatbots, Steuerungs- oder Verwaltungssysteme.
Die GPT-Modelle von OpenAI, die LLaMA-Modelle von Meta, PALM und Gemini von Google, Mistral vom gleichnamigen französischen Start-up, Luminous vom deutschen Start-up Aleph Alpha oder ERNIE von Baidu sind solche Basismodelle. Laut Blume brauche es eine Art „BayernGPT“ als Gegengewicht dazu. Entsprechende Bemühungen und Ansätze sollen bereits an mehreren Universitäten im Freistaat vorhanden sein, etwa an der Friedrich-Alexander-Universität Erlangen-Nürnberg. „Wir möchten diese Aktivitäten verstärken“, so Blume. Ein solches Modell solle jedoch nur ein Teil einer größeren KI-Offensive Bayerns darstellen.
Modelle sind teuer
Die Entwicklung von Foundation-Modellen ist ein aufwendiger, rechen- und somit ebenso kostenintensiver Prozess. Das Training von GPT-3 soll – je nach Quelle - zwischen 1,4 und 4,6 Millionen US-Dollar gekostet haben. Die Kosten für das LLaMA-Modell von Meta werden von Experten auf bis zu fünf Millionen US-Dollar geschätzt. Die Rechenkosten für den Nachfolger könnten doppelt so hoch gewesen sein. GPT-4, das derzeit fähigste LLM, soll 100 Millionen US-Dollar in Rechenkosten verschlungen haben. Denn für die nötigen Rechenprozesse werden Tausende von spezialisierten Grafikchips benötigt.
Die Gesamtkosten für ein KI-Modell können ungleich höher liegen als die Trainingskosten. Denn es können durchaus mehrere Trainingsversuche nötig sein. Außerdem kosten auch das Zusammenstellen und das Anpassen des Datensatzes Zeit und Geld, genau wie die Prüfungs- und Anpassungsprozesse und die Bereitstellung und der Betrieb der Modelle. Dennoch soll das bayerische Basismodell, ähnlich den LLaMA-Modellen, als Open-Source-Projekt freigegeben werden, so dass es frei genutzt und modifiziert werden kann.
Ein BayernGPT, wie es sich die bayerische Staatsregierung wünscht, wäre also eine nicht unerhebliche Investition. Bislang existieren daher nur wenige Basismodelle, die von öffentlichen oder staatlich getragenen Einrichtungen entwickelt wurden. Darunter beispielsweise Falcon vom Technology Innovation Institute in Abu Dhabi oder BLOOM, das im Rahmen der Forschungsinitiative BigScience von über 250 Forschungs- und Bildungseinrichtungen entstanden ist. Sprachmodelle wie Alpaca der Universität Stanford wurden basierend auf bestehenden offenen Modellen wie LLaMA ohne große Kosten trainiert.
Werde Mitglied von 1E9!
Hier geht’s um Technologien und Ideen, mit denen wir die Welt besser machen können. Du unterstützt konstruktiven Journalismus statt Streit und Probleme! Als 1E9-Mitglied bekommst du frühen Zugriff auf unsere Inhalte, exklusive Newsletter, Workshops und Events. Vor allem aber wirst du Teil einer Community von Zukunftsoptimisten, die viel voneinander lernen.
Jetzt Mitglied werden!
Bayern, eine KI-Macht?
Vertreter der bayerischen Regierung sehen trotz der Kosten große Chancen in einem eigenen großen KI-Projekt. Ein eigenes Foundation Model und Künstliche-Intelligenz-Lösungen aus Bayern könnten in zahlreichen Bereichen angewendet werden. „Mobilität wird sicherer, Krankheiten werden heilbar, das Leben im hohen Alter ist vielleicht länger selbstbestimmt möglich“, so Blume. „Wir wollen als Freistaat Bayern bei dieser Entwicklung dabei sein. […] Das größte Risiko ist, bei Künstlicher Intelligenz nicht dabei zu sein.“
Ministerpräsident Markus Söder hatte bereits angekündigt, dass die 2021 gegründete Technische Universität Nürnberg in den kommenden Jahren zu einer „KI-Universität“ werden soll. Im ganzen Bundesland sollen zudem mehr als 130 neuen KI-Professuren entstehen. Zusätzlich wolle sich der Freistaat beim Aufbau und Ausbau von Recheninfrastrukturen wie Data Centers engagieren. Unter anderem sollen das Leibniz-Rechenzentrum in Garching und das Regionale Rechenzentrum Erlangen mit dedizierten KI-Clustern modernisiert werden.
Hat dir der Artikel gefallen? Dann freuen wir uns über deine Unterstützung! Werde Mitglied bei 1E9 oder folge uns bei Twitter, Facebook, Instagram oder LinkedIn und verbreite unsere Inhalte weiter. Danke!
Sprich mit Job, dem Bot!
War der Artikel hilfreich für dich? Hast du noch Fragen oder Anmerkungen? Ich freue mich, wenn du mir Feedback gibst!