Europäische Länder haben begonnen, die Entwicklung lokaler Large Language Models (LLM) zu fördern. Die wachsende Sorge um Datensouveränität und Abhängigkeit von US-amerikanischen Anbietern dieser Form Künstlicher Intelligenz (KI) verstärkt die Dringlichkeit noch. Japan ist da schon deutlich weiter.

In den vergangenen Jahren wurden rund ein Dutzend lokale KI-Modelle entwickelt, die meisten von japanischen Konzernen. Denn die Regierung und Wirtschaft versuchen schon länger, die Abhängigkeit von den USA zu senken und die digitale Denkleistung in Japan zu fördern.

Das jüngste Beispiel ist das wachsende Engagement des japanischen Technologieinvestors Softbank im Heimatland. Bisher hat Gründer Masayoshi Son hunderte von Milliarden US-Dollar vor allem im Ausland investiert. Jetzt, da KI kurz davorsteht, in den Firmenalltag Einzug zu halten, entwickelt er mit seinem Partner OpenAI nicht nur gemeinsam KI-Agenten für Japan, sondern baut auch Datenzentren auf. Andere Konzerne investieren ebenfalls, wie vier lokale LLM-Projekte zeigen.

Wie das Engagement von Son verdeutlicht, sieht Softbank KI als Kernstück der zukünftigen digitalen Infrastruktur Japans. Neben seiner Partnerschaft mit OpenAI, die gerade durch eine erneute Investition Softbanks von 30 Milliarden US-Dollar ausgebaut wurde, entwickelt Softbank selbst ein LLM.

Zuständig ist die Tochtergesellschaft SB Intuitions. Deren Chef Hironobu Tamba erklärt, dass Modelle mit verschiedenen Größen entwickelt werden. Seiner Meinung nach ist es wegen der besonderen Struktur der japanischen Sprache notwendig, das Modell zu 80 bis 90 Prozent auf japanischen Quellen zu trainieren, damit die KI den japanischen Kontext voll und ganz verstehen kann.

Für viele Anwendungen seien ausländische KI-Modelle ausreichend, meint Tamba. „Wenn es sich um etwas handelt, das spezieller oder stärker in der japanischen Kultur verwurzelt ist, ist es am besten, ein japanisches Modell zu verwenden.“

Darüber hinaus baut das Unternehmen zwei leistungsstarke GPU-Cluster. Damit will Softbank nicht nur die Datensouveränität sichern, sondern auch die sogenannte Latenzzeit verkürzen. Diese Reaktionsgeschwindigkeit der KI sei ein Problem, meint Tamba. „Aber Daten und KI-Modelle, die wir in Japan kontrollieren und aufbewahren, werden schneller sein als solche, die im Ausland sind.“ Auch einen wichtigen Anwender hat das eigene LLM: Softbank Corp., das japanische Mobilnetz von Softbank.

Softbank ist nicht der einzige Konzern mit Telekommunikationserbe, der ein LLM entwickelt. Der ehemals staatliche Riese NTT geht mit seinem LLM „Tsuzumi“ einen anderen Weg und setzt auf Effizienz statt schierer Größe.

Das Modell ist in zwei Varianten erhältlich: eine ultra-leichtgewichtige Version mit nur 600 Millionen Parametern und eine leichtgewichtige Version mit 7 Milliarden Parametern. Zum Vergleich: Claude 3.5 von OpenAI-Rivalen Anthropic hat 174 Milliarden Parameter.

Damit will NTT nicht nur die Trainings- und Betriebskosten auf einen Bruchteil der globalen Spitzenmodelle senken. Sie sollen auch flexibler eingesetzt werden können, um sie für Unternehmen attraktiver zu machen. So können die Modelle wahlweise in einer öffentlichen Cloud oder vor Ort im Unternehmen eingerichtet werden.

Die Zielgruppe sind unter anderem Banken und lokale Behörden, die besonders hohen Wert auf Datensicherheit legen. Darüber hinaus entwickelt NTT auch Anwendungen wie einen KI-Moderator für Teamsitzungen, um die Gespräche effizienter zu leiten und die Generierung neuer Ideen zu fördern.

Yutaka Matsuo von der Universität Tokio ist der führende KI-Professor in Japan und beschäftigt sich bereits seit 2019 mit der Entwicklung von LLMs. Neben seinem Labor leitet er auch den KI-Rat der Regierung und ist Verwaltungsratsmitglied bei Softbank. Sein Labor ist auch bei der Entwicklung von LLMs beteiligt, kommerziell in der Form des Startups Elyza.

Nach der Entwicklung von zwei kleineren Modellen verfolgt das Unternehmen nun einen hybriden Ansatz für sein 70-Milliarden-Parameter-Modell. Anstatt ein vollständig eigenständiges Modell zu entwickeln, bauen die Japaner auf Metas Llama-2-Architektur auf und optimieren diese speziell für die japanische Sprache.

Nach einer strategischen Investition des Telekommunikationskonzern KDDI in Höhe von über zehn Milliarden Yen (ca. 60 Millionen Euro) im März 2024 hat Elyza nun auch Zugang zu erheblichen Rechenressourcen.

Das Elyza-Modell zeichnet sich durch seine Fähigkeit zur präzisen morphologischen Analyse der japanischen Sprache aus, einschließlich der korrekten Handhabung von Keigo (Höflichkeitssprache).

Das neueste Projekt im japanischen KI-Arsenal ist das im Mai 2024 vorgestellte Fugaku-LLM. Entwickelt von einem Forschungsteam des Tokyo Institute of Technology, dem Technikkonzern Fujitsu und weiteren Partnern, nutzt es den mächtigsten Supercomputer Japans: Fugaku von Fujitsu.

Auch dieses Modell nutzt einen Datensatz, der zu 60 Prozent aus japanischen Texten besteht. Anders als bei vielen anderen Modellen handelt es sich um sorgfältig ausgewähltes Lehrmaterial für die KI, um die Ergebnisse zu verbessern.

Bemerkenswerter ist aber ein anderer Ansatz: Andere LLMs nutzen Grafikprozessoren zum Rechnen, das Fugaku-LLM kommt ohne sie aus und setzt auf die Prozessoren des Supercomputers.

In Zeiten globaler GPU-Knappheit aufgrund des KI-Wettrüstens könnte dies einen alternativen Entwicklungspfad aufzeigen. Fujitsu hat sogar einen speziellen KI-Chip namens Monaka entwickelt, der Chips mit zwei-Nanometern kleinen Knoten nutzt. Diese neueste Chiptechnik gilt als Meilenstein für die KI-Entwicklung, sei es bei Computer- oder Grafikprozessoren. Denn sie verspricht mehr Rechenleistung und deutlich geringeren Strombedarf.

Allein diese vier Projekte verdeutlichen, dass Japan sich als eigenständiger Akteur in der globalen KI-Landschaft positioniert. Ob das Land damit auch seine Abhängigkeit von den US-Anbietern reduzieren oder gar Weltmarktanteile im Ausland gewinnen kann, muss sich noch zeigen.