Digitale Souveränität bei LLMs
Große Sprachmodelle (LLMs) versprechen umfangreiche Arbeitsentlastung insbesondere im administrativen Kontext und kommen auch in der Bundesverwaltung zunehmend zum Einsatz. Gleichzeitig erfordert ihr Training immense Daten- und Rechenkapazitäten, die nur wenigen Unternehmen zur Verfügung stehen. Zeichnet sich hier eine drohende technologische Abhängigkeit des Staates ab? Basierend auf der Analyse von 33 LLM-Projekten der Bundesverwaltung diskutieren Dorian Wachsmann und Nicole Opiela, wie digitale Souveränität gestärkt werden kann und welche Maßnahmen bereits umgesetzt werden.
Top Keywords
- auch 0.047
- dann 0.024
- haben 0.022
- dass 0.018
- nicht 0.018
- wenn 0.017
- diese 0.017
- sind 0.016
- werden 0.015
- noch 0.015
- eine 0.015
- kann 0.014
Transcript
Mal Hand aufs Herz, wer von euch nutzt regelmäßig KI Tools wie ChatGPT, sich die Arbeit son bisschen zu erleichtern? Also ich beinah täglich. Als Rechercheassistenz sind Chatbots für mich gar nicht mehr wegzudenken. Damit bin ich auch in guter Gesellschaft. 800000000 Menschen weltweit nutzen allein ChatGPT jede Woche. Die Grundlage dieser Tools sind große Sprachmodelle, auch Large Language Model oder LLM genannt. Diese KI Modelle, mit denen man chatten und sich austauschen kann, sind nicht nur eine Alternative zum Google. Sie unterstützen auch Mitarbeitende in der öffentlichen Verwaltung. Große Sprachmodelle werten Dokumente aus, sortieren Anfragen von Bürger*innen und unterstützen bei Analyseaufgaben. Was genau LLMs können, welche Zukunft sie in der öffentlichen Verwaltung haben und warum man mit ihnen schnell in gefährliche Abhängigkeiten gerät, das besprechen wir heute in diesem Podcast. Herzlich willkommen beim öFIT Podcast restart digital, eine Produktion des Fraunhofer Instituts für offene Kommunikationssysteme. Ich bin Philipp 1 und ich freue mich auf meine beiden Co Hosts. Das ist zum einen Nicole Opiala. Sie ist stellvertretende Leiterin des Kompetenzzentrums Öffentliche IT und forscht zu soziotechnischen Trends an der Schnittstelle zwischen Gesellschaft, Verwaltung und Politik. Nicole ist ja Stammgast bei uns und auch wieder heute online zugeschaltet aus Oldenburg. Schön, dass Du da bist. Hallo Philipp. Und hier vor Ort im Studio in Berlin, Dorian Wachsmann. Er ist wissenschaftlicher Mitarbeiter im Kompetenzzentrum öffentliche IT am Fraunhofer Institut Focus. Seine Themenschwerpunkte sind nachhaltige Digitalisierung und künstliche Intelligenz. Außerdem arbeitet er im Bereich der Web- und Softwareentwicklung.
Schönen guten Tag. Hallo Philipp, schön, dass ich da sein darf.
Ja, steigen wir direkt mal ein. Der Beamtenbund schätzt, dass in Deutschland rund 570000 Stellen fehlen im öffentlichen Dienst. Nicole, können KI Tools diese Lücke füllen, diese enorme Lücke an Fachkräften?
Also es geht nicht so sehr darum, eine Lücke zu füllen und quasi Mitarbeitende zu ersetzen, sondern eher darum, die Mitarbeitenden, die da sind, ein bisschen zu, ja, ihnen die Arbeit ein bisschen zu erleichtern, sie zu unterstützen, sie in ihrer Arbeit effizienter zu machen. Indem, Du hast ja schon paar Beispiele im Intro genannt, zum Beispiel Informationen schneller aufgefunden, schneller aufbereitet werden können. Es ist ja teilweise eine sehr textlastige Arbeit. Da gibt's sehr umfangreiche Dokumente, die erstellt werden, die aber auch gesichtet werden müssen, Verträge, irgendwelche Vorlagen et cetera und da kann KI eben sehr gut unterstützen und den Mitarbeitenden,
die da sind, die Arbeit ein bisschen erleichtern. Für eure Studie habt ihr euch große Sprachmodelle in der Bundesverwaltung angeschaut, 33 Projekte insgesamt. Warum eigentlich dieser Fokus auf digitale Souveränität? Ihr hattet ja auch 'n anderen wählen können.
Ja, also digitale Souveränität ist, denk ich, spätestens seit diesem Jahr angekommen. Auf der großen politischen Bühne wird viel diskutiert. Tatsächlich ist das Konzept selbst ja auch schon älter und wird in unterschiedlichen Kontexten unterschiedlich verwendet. Wir haben jetzt aktuell, wenn über digitale Souveränität gesprochen wird, häufig den Open Source Gedanken primär im Kopf. Aber es geht halt darüber hinaus, wir müssen, wenn wir digitale Souveränität betrachten wollen, die Kompetenzen in der Verwaltung stärken. Wir müssen Anbieter Unabhängigkeit sichern. Und wir von We Firmenkompetenzzentrum öffentlicher IT haben digitale Souveränität eigentlich über 3 zentrale Eigenschaften definiert und das ist eigenständig, selbstbestimmt und sicher. Und hinter jedem dieser 3 Eigenschaften stehen verschiedene Anforderungen, die erfüllt sein müssen. Also wenn wir uns vorstellen, ich will mich selbstbestimmt in der digitalen Welt bewegen, dann bedeutet das halt, ich darf nicht abhängig von einem Unternehmen sein. Wenn ich mich eigenständig bewegen möchte, brauch ich die entsprechenden Kompetenzen dazu, das zu tun. Und eben, mich sicher zu bewegen, brauch ich ebenfalls die entsprechenden technischen Grundlagen, aber auch Kompetenzen. Und das haben wir als Grundlage genommen für unsere Studie. Uns die Projekte, die aktuell in der Bundesverwaltung
sich mit in künstlicher Intelligenz und genaue Sprachmodellen beschäftigen, halt einmal vorzunehmen. Bleiben wir noch mal direkt dabei und schauen uns mal 'n bisschen genauer an, was ihr da beobachtet habt. Das eine ist, ihr habt gesehen, dass die Bundesverwaltung ihre technischen Systeme mit den großen Sprachmodellen selbst entwickelt und eben dadurch nicht abhängig ist von etablierten Systemen aus den USA. Warum ist das wichtig? Genau, ich möchte ganz kurz einschieben und ich glaub, das ist für das Verständnis relativ wichtig,
die Unterscheidung zwischen den Anwendungen zu machen, die entwickelt werden und den Sprachmodellen. Und ich also am am einfachsten lässt sich das wahrscheinlich auch wieder an ChatGPT nachvollziehen. Es gibt zum einen die Softwareanwendung ChatGPT. Das ist die, wenn Nutzende auf die Website klicken, kriegen sie dieses Feld, also eine einfache Website präsentiert, wo sie Text eingeben können. Das ist eine reine Softwareanwendung, ne. Es gibt 'n Frontend und 'n Backend, die miteinander kommunizieren. Und das hat erst mal noch nichts mit dem Element der Sprachmodelle zu tun. Die Sprachmodelle bei ChatGPT sind die GPT Modelle, die vielleicht werden das einige von Ihnen, die den Podcast hören, ja auch wissen, vor innerhalb des Frontends ausgewählt werden können. Dann können Sie zwischen GPT mini wählen, GPT v o und so weiter. Das sind die Sprachmodelle. Und diese Sprachmodelle sind, wenn's darum geht, diese Sprachmodelle zu entwickeln, da da stecken die riesigen Kosten dahinter. Da steckt dieses das Training dahinter. Und diese großen Sprachmodelle werden bisher nur von einigen relativ wenigen Akteuren bereitgestellt, vorrangig amerikanischen Unternehmen. Aber es gibt inzwischen auch europäische und Alternativen beziehungsweise auch in in China gibt's einige einige Angebote. Und was die Bundesverwaltung bisher ausschließlich tut, ist, Anwendungen zu entwickeln. Also keine Sprachmodelle selbst zu entwickeln, sondern die Anwendungen, die dann diese Sprachmodelle verwenden. Und wir haben uns die Projekte in der Bundesverwaltung angeschaut, die eben mithilfe von den Sprachmodellen auf Basis dieser Sprachmodelle Anwendung entwickeln, dann eben diese Vorteile für die Bundesverwaltung zu schaffen, von denen wir am Anfang geredet haben, eben chatten, Textzusammenfassung,
Recherche und so weiter. Denn da stellt sich daher die Frage, grade wenn ich denn auf sozusagen Hintergrundsysteme zurückgreife aus den USA, warum ist das wichtig, die Anwendung dann hier
selbst zu entwickeln? Genau, weil es darauf ankommt, wie auf diese Sprachmodelle zugegriffen wird. Es gibt beispielsweise OpenAI, die Sprachmodelle werden über verschiedene Cloud Funktionen bereitgestellt. Eine der bekanntesten ist sicherlich die Azure Cloud. Und diese Sprachmodelle sind weder Open Source. Dadurch, dass sie nicht Open Source sind, können sie beispielsweise nicht auf eigene Hardware gehostet werden. Und es gibt Angebote, sowohl amerikanischer als auch europäischer Art, wo die Modelle eben mindestens die Modellparameter Open Source gestellt sind, sodass die Bundesverwaltung, wenn sie denn möchte, diese Modelle nehmen kann und auf ihre eigenen Hardware laufen lassen kann. Und das ist mindestens aus der Perspektive digitaler Souveränität ja durchaus notwendig auch, wenn beispielsweise Daten verarbeitet werden sollen, die 'n gewissen Sicherheitssicherheitsstandard erfüllen müssen, weil dann eben keine Datenübertragung nach Amerika beispielsweise stattfindet. Das heißt, wenn jetzt beispielsweise Bürger*innenanfragen
kommen, die irgendwo auf 'nem Server zwischengespeichert werden müssen, der in den USA steht, hat man nicht so richtig die Kontrolle, was passiert mit diesen Anfragen, was passiert mit den Daten, die dahinter liegen, wenn ich's auf meine eigene Hardware speicher, also auf meinem eigenen Server beispielsweise, der in der Bundesverwaltung steht, da bin ich einfach unabhängiger und sicherer, hab ich so richtig verstanden? Genau und Nicole korrigier mich gerne, aber da gibt's ja auch klare Regularien, was erlaubt und was verboten ist. Also eine Datenübertragung nach Amerika ist ja nicht so ohne Weiteres möglich. Und da ist wirklich
auch,
nach Amerika ist ja nicht so ohne Weiteres möglich. Und da ist wirklich auch 'n sehr hohes Bewusstsein innerhalb der Projekte vorhanden. Also von allen Projekten, diesen 33, die Du ja schon erwähnt hast, gibt es kein einziges, was angegeben hat, dass die Server außerhalb der EU stehen würden. Also grade in dem Bezug gibt es 'n sehr hohes Bewusstsein für digitale Souveränität. Wir haben uns das ja auf verschiedenen oder aus verschiedenen Perspektiven angeguckt oder wie wir's definiert haben. Da geht's bei digitaler Souveränität einerseits die Gestaltungsfähigkeit. Also verstehe ich überhaupt die Anwendung? Habe ich genug Kompetenzen, das auch beurteilen zu können, auch umsetzen zu können? Dann die Wechselmöglichkeit, also hab ich überhaupt verschiedene Alternativen oder gibt es eigentlich nur einen Anbieter, auf den ich zurückgreifen kann? Dann geborene ich mich natürlich sehr schnell in eine Abhängigkeit, die natürlich sehr unterschiedliche negative Konsequenzen haben kann. Also zum einen beispielsweise sehr hohe Lizenzgebühren, aber andererseits kann es natürlich auch als geopolitisches Druckmittel gegebenenfalls genutzt werden, wie wir das ja in letzter Zeit immer häufiger gesehen haben. Und grade deshalb ist das Thema digitale Souveränität, Doria hat's schon gesagt, ist eigentlich spielt schon länger eine Rolle, aber ist jetzt noch mal ganz besonders ins Bewusstsein getreten. Und der 3. Punkt ist der Einfluss auf Anbieter. Also habe ich genug Marktmacht beispielsweise, in Vertragsverhandlungen gewisse Dinge durchzusetzen, gerade auch in Bezug auf Informationssicherheit und Datenschutz und kann ich auch steuern, beispielsweise wie die Anwendung weiterentwickelt werden? Wenn ich natürlich sehr hohe eigene Kompetenzen habe und die Anwendung beispielsweise selbst entwickel und das bei mir auch selbst hoste, dann ist dieser Einfluss auf Anbieter natürlich nicht so relevant, wie wenn ich tatsächlich
da auf Fremdleistungen setze insgesamt. Genau und diese 3 Ziele, die Nicole gerade erwähnt hat, die haben wir uns nicht ausgedacht, sondern die stammt tatsächlich vom IT Planungsrat aus einem Strategiepapier von 20 21. Und diese Ziele, um's noch mal zu wiederholen, das sind Wechselmöglichkeit, Gestaltungsfähigkeit und Einfluss auf Anbieter. Und das diese 3 Ziele ziehen sich auch durch unser unsere gesamte Studie. Und wir haben dann auf dieser Basis uns gefragt, wir haben diese Ziele? Wie können wir sie erreichen? Und sind dann von da gestartet.
Blicken wir noch mal etwas genauer auf die Studie selbst. Wie seid ihr vorgegangen? Wie habt ihr auch methodisch gearbeitet, Dloven? Wir haben diese die Studie dieses Jahr gestartet Anfang diesen Jahres und das ist letztendlich 1 1 1 1 recht großes Projekt geworden.
Zentral in dieser Studie war, dass wir eine empirische Analyse durchgeführt haben. Du hattest gesagt. Wir haben insgesamt 33 Projekte betrachtet. Eigentlich waren's ursprünglich viel mehr. Es waren 180 Projekte, die wir vom Marktplatz der KI Möglichkeiten. Das ist eine Plattform, die das Innenministerium letztes Jahr bereitgestellt hat, wo alle KI Projekte der Bundesverwaltung gelistet werden. Von der sind wir ausgegangen und haben diese Projekte gefiltert nach Projekten, wo eben große Sprachmodelle verwendet werden. Und sind dann auf diese Projekte, das waren dann 80, wo die wir identifiziert sind zugegangen und haben eben Daten erhoben. Und zwar Daten zur digitalen Souveränität nach unserem Verständnis. Und für unser Verständnis ausgehend von den 3 Zielen zu präzisieren, haben wir 'n Indikator Katalog entwickelt. Und diese Indikatoren waren folgendermaßen, dass wir jeder Indikator hat quasi einen Wert, den er annehmen kann von 0 bis 4, wobei 4 der Maximalwert, also der die Wunschausprägung ist und 0 quasi keine Ausprägung, also die negativste. Und diese Indikatoren haben wir in einen Erhebungsbogen umformuliert und dann sind dann die Projekte herangetreten mit dem Wunsch, die auszufüllen. Und mit den Resultaten, mit den Ergebnissen sind wir dann, die haben wir dann verarbeitet und in dieser Studie aufbereitet. Das ist der Kern der Studie. Wir sind aber noch darüber hinausgegangen und haben eine Marktbetrachtung durchgeführt. Wir haben uns die aktuellen Strategien sowohl im Inland als auch im Ausland zur digitalen Souveränität mit immer mit Bezug auf große Sprachmodelle. Mit Bezug immer mit Bezug auf große Sprachmodelle angeschaut. Und sind dann zum Schluss haben alles zusammengeführt zu einigen weiterführenden Handlungsempfehlungen.
Ja, eine Beobachtung, die haben wir grad schon ein wenig auseinandergenommen, nämlich die Bundesverwaltung entwickelt Anwendungen selbst auch auf eigener Hardware, auf eigenen Server. Und da habt ihr auch gesagt, das findet ihr eigentlich so ganz gut und das kann man auch so unterstützen. 'N anderes Thema, das ihr beobachtet habt, das ist grad schon gefallen, der Begriff Open Source. Auch Open Source Systeme stammen häufig aus den USA oder aus Asien und ihr sagt aber, na ja, wir würden plädieren für Lösungen, die auf europäische Normen und Werte, Zitat, ausgerichtet sind. Was steckt hinter der Idee?
Da müssen wir vielleicht ganz kleines bisschen ausholen und diesen Open Source Begriff im Kontext von großen Sprachmodellen noch mal definieren. Ja, gerne. Genau. Und zwar in bei herkömmlicher Software ist Open Source relativ klar. Also Code, eine Software besteht aus Code. Und wenn diese dieser Code offengelegt ist, dann können wir von Open Source reden. Bei der Entwicklung und Bereitstellung von großen Sprachmodellen ist das nicht ganz so leicht. Wir haben zum einen, und das ist das Zentrale, wenn ich 'n Sprachmodell offenstelle, dann stell ich eigentlich die Parameter und die Struktur der des Sprachmodells auf. Und diese Parameter, das sind letztendlich einfach nur Zahlen in in Matrixform. Und diese Zahlen kann ich mir hernehmen und in in mein Modell stecken und dann kann ich das betreiben. Aber ein großes zentrales Ziel von Open Source ist Nachvollziehbarkeit. Und Nachvollziehbarkeit ist allein dadurch bei Sprachmodellen nicht gegeben. Ich brauch eben viel mehr Information diese Parameter herum und zwar vor allem, was den Trainingsprozess angeht. Das heißt, es müssen muss offengelegt werden, welche Daten verwendet wurden. Also Sprachmodelle werden ja immer auf einem großen Datensatz trainiert. Und dieser Datensatz ist eigentlich zentral dafür, nachvollziehen zu können, wie das Sprachmodell funktioniert. Genau. Und und dieses Verständnis von Open Source hat sich in den letzten Jahren nun mal verändert. Und grade die nicht europäischen Anbieter verstehen unter Open Source eben einen recht recht begrenzten Blick eben. Sie sie öffnen lediglich die Modellparameter und sagen dann, sie haben 'n Open Source Modell. Und wir, 'n europäisches Verständnis ist 'n bisschen weiterführen, ne. Wir warten halt oder mit, etwas vollständig Open Source haben eben das, was ich grade erklärt hatte, die Informationen das ganze das Sprachmodell herum ebenfalls.
Und das wünscht ihr euch eben auch, was jetzt die Entwicklung angeht, die Sprachmodelle herum, dass die öffentliche Verwaltung auch aus dem Sinne der Transparenz, der Autonomie
selbst solche europäischen Lösungen entwickelt? Ob sie die selber entwickeln muss, so weit würden wir nicht gehen. Also auf Sprachmodellebene, wir haben durchaus Also wir haben eine Empfehlung drin, wo wir sagen, es sollte evaluiert werden, ob es sinnvoll wäre, ein eigenes Sprachmodell zu entwickeln. Aber wir sehen auch die Risiken dabei. Und die Risiken sind vor allem die enorm hohen Kosten bei gleichzeitig hoher dynamischer Marktentwicklung. Also wenn wenn wir uns die Modelle an von OpenAI noch mal anschauen und da die Modelle, die vor 2 Jahren rauskommen, sind heute komplett veraltet und niemand würde sie mehr nutzen, eben weil der weil die Entwicklung so rasant fortschreitet. Wir haben jetzt in der in der Schweiz ist ein Sprachmodell entwickelt worden nach diesen Standards, die ich eben beschrieben hatte. Das ist jetzt im September rausgekommen. Das ist vollständig Open Source. Und bevor Deutschland jetzt sagt, wir brauchen so was auch, sollte zuerst mal evaluiert werden von den Modellen, die's denn jetzt bereits in Europa gibt, sind vielleicht einige davon besser nutzbar und sollten wir vielleicht auf uns auf die Folge fokussieren. Genau, die Krux wäre ja dabei. Also
wenn ich tatsächlich sage, es wir machen einen einen europäischen Effort daraus und versuchen jetzt auch, ein Sprachmodell zu entwickeln, was tatsächlich mit den mit den großen etablierten Anbietern, einige haben wir jetzt genannt, mithalten kann. Dann müsste es tatsächlich mithalten können, was die Leistung angeht und sollte darüber hinaus dann eben noch weitere Kriterien erfüllen? Also beispielsweise einem strengeren Datenschutz- und Persönlichkeitsrechte, Urheberrechtsverständnisfolgen, wie es hier in Europa vielleicht schon ein bisschen anders ist als in anderen Ländern, die führend in der Entwicklung sind, die den USA oder China beispielsweise und genau, solche solche Werte eben auch präsentieren. Und dann ist schon die Frage, ist das realistisch als Ziel sicherlich wünschenswert, aber man muss da einfach gut abwägen, weil es natürlich auch ja enorme Ressourcen braucht, so etwas erst einmal zu entwickeln. Aber 'n bisschen niedrigschwelliger ansetzen kann man auf jeden Fall, also wenn die öffentliche Verwaltung auch in so hohem Maße, wie wir's ja festgestellt haben, auch auf Open Source setzt, selbst setzt, dann wäre es ja vielleicht wünschenswert, wenn sich die Verwaltung auch stärker engagiert. Also beispielsweise in Open Source Allianzen und Konsortien und auch an Open Source ja Open Source stärker unterstützt, nicht nur finanziell, sondern tatsächlich auch daran mitarbeitet, organisatorisch, gegebenenfalls auch technisch, sich stärker mit dieser Community vernetzt, ein Teil davon wird. Und dadurch natürlich, wenn die öffentliche Verwaltung auch direkt an solchen Entwicklungen partizipiert und mitarbeitet, dann natürlich auch ihre eigenen Bedarfe sehr viel einfacher und schneller einbringen kann und dadurch die Entwicklung natürlich auch 'n bisschen steuern kann, dass das dann auch tatsächlich für die Verwaltung selbst am Ende wieder sehr gut nutzbar ist. Weil das fehlt teilweise noch ein bisschen. Also dass tatsächlich, dass es tatsächlich relativ wenig gibt, was explizit jetzt auf die Verwaltung zugeschnitten ist, was vielleicht ja auch ein Grund dafür ist, dass vieles einfach aktuell, was in der Bundesverwaltung auf jeden Fall passiert, dann auch Eigenentwicklungen
sind. Nicole, das bringen wir gleich zum nächsten Punkt, was wir diskutieren. Wir reden jetzt ja immer von der Verwaltung, aber natürlich gibt's ja sowohl in Deutschland als auch auf europäischer Ebene zig verschiedene Behörden. Wenn die jetzt anfangen, alle ihre eigene Softwarelösung zu stricken, dann ist das natürlich teuer und auch sehr umständlich. Wie kann man denn ein einheitliches und auch behördenübergreifendes System etablieren? Also wie kann man da mehr in sonen Art Zusammenarbeiten kommen? Da gibt's verschiedene Möglichkeiten.
Also wir haben schon festgestellt, dass sich die Mehrheit der Projekte, die wir jetzt befragt haben, auch austauschen mit mit externen mit anderen KI Projekten und das ist natürlich eine Möglichkeit, wenn man weiß, was in anderen Behörden schon entwickelt wird, dann vielleicht zu sagen, na gut, dann brauchen wir da vielleicht jetzt nicht noch mal was Eigenes zu entwickeln. Wir können das ja erst mal 'n bisschen begleiten, vielleicht machen wir's auch zusammen und können es dann hinterher nachnutzen. Da kommen wir dann gleich schon zu zu 1 Krux, weil Open Source wird genutzt, aber was man selbst entwickelt hat, dann auch wieder als Open Source oder zur Nachnutzung bereitzustellen, da hapert es noch ein bisschen. Also das war 1 der Schwachpunkte, der sich noch herausgestellt hat in der Studie. Was gegebenenfalls auch vielfach daran liegt, dass in den Teams, die dafür zuständig sind, die entsprechenden rechtlichen Kompetenzen nicht so stark vorhanden sind, wie beispielsweise fachliche oder technische Kompetenzen zur Entwicklung der entsprechenden Anwendungen. Also da könnte man definitiv noch was verbessern, dass ich dann sage, okay, wenn hier schon was entwickelt wird, dann können es andere sollten das andere auch leichter nachnutzen können und dann sollte ich auch versuchen, es vielleicht als Open Source sogar zur Verfügung zu stellen, da den Kreis der Nachnutzenden noch größer zu halten. Genau, das wäre das eine und sehr stark vereinfachen würde es das natürlich auch, wenn man eine gemeinsame Infrastruktur hätte. Also das war auch ein Wunsch, der vielfach geäußert wurde. Daran wird in Teilen auch schon ein bisschen gearbeitet, recht von Keepads. Dorian, vielleicht kannst Du dazu gleich noch 'n bisschen was sagen, aber das, weil auch da macht jeder noch son bisschen sein eigenes Süppchen und ja, dadurch hat man natürlich, wenn man dann nur für sich selbst beschafft, eine geringere Markt macht. Wir haben Insellösungen, wir haben ganz verschiedene Dinge, die da die da beschafft werden und es wäre schon einfacher, wenn man sagt, wir haben da eine gemeinsame KI Infrastruktur, entsprechende GPU Kapazitäten, die wir alle nutzen können. Dadurch können wir das insgesamt vielleicht auch besser ausnutzen, dadurch können wir besser zusammenarbeiten, Dinge, die entwickelt sind, auch teilen und haben vielleicht auch gegenüber den Anbietern noch mal eine stärkere Marktmacht, wenn wir uns da einfach als Nachfrageseite zusammentun
auf Seiten der Verwaltung. Also sone gemeinsame Infrastruktur auf deutscher, vielleicht sogar europäischer Ebene, Dorianne. Wie kann das aussehen? Ah, ich möchte gern noch 2 Punkte zu dem ergänzen, was Nicole gesagt hat. Ich denke, genau dieser Infrastrukturgedanke ist bei KI entscheidend, und zwar diese Trennung zu machen, die wir am Anfang aufgemacht haben zwischen Sprachmodell und Anwendung. Wenn die Sprachmodelle zentral auf spezialisierter KI Hardware bereitgestellt werden könnten, idealerweise noch an unterschiedlichen Schutzbedarfen, dann könnten unterschiedliche Behörden auf diese zentral bereitgestellten K-Ressourcen zugreifen und könnten eventuell, falls sinnvoll, ihre eigenen Anwendungen darauf entwickeln. Dann hätten wir auch diese Trennung zwischen Kompetenzen, weil Kompetenzen in der Softwareentwicklung sind eigentlich inzwischen in fast jeder Behörde vorhanden. Und eine spezialisierte Anwendung für den spezialisierten Anwendungsfall in 1 Behörde zu entwickeln, das sollte kein Problem sein. Wenn die KI Kompetenz von anderer Seite kommt, Daran hapert das ja häufiger. Und diese KI Kompetenz könnte dann eben an dieser zentralen Stelle aufgebaut werden, wo dann die KI Ressourcen bereitgestellt sind. Und die nachnutzenden Behörden würden einfach auf diese Ressourcen zugreifen und würden mittels dieser dann ihre Anwendung entwickeln. Und wir haben uns Projekte angeschaut, die so was in die Richtung tatsächlich auch tun. Also wir haben in eine von den 33 Projekten auf Bundesverwaltung haben wir eine grundsätzliche Unterscheidung gemacht in jene, welche Behörden spezifisch für sich selbst etwas entwickeln und welche, die den Behördenübergreifenden Fokus anstreben. Und vor allem dieser Behördenübergreifende Aspekt war für uns sehr interessant. Und ein Projekt, Nicole hat es grade genannt, ist KeePids. KeePids ist vom ITZ Bund aufgebaut und verfolgt eben diesen Ansatz, dass im ITZ Bund ja viel technische und KI Kompetenz vorhanden ist. Und die Idee bei KeepIDS ist, dass Behörden auf des ITZ Bund zukommen können und mit der Bitte oder der die vielleicht den Bedarf haben, eine Karrierenanwendung zu entwickeln. Und das ITZ Bund hostet also hostet dann auf Ihren Ressourcen sicher und halt sicher die Modelle und können gegebenenfalls auch bei der Anwendungsentwicklung unterstützen.
Genau. Also zumindest eine zentrale Behörde, die Ansprechpartner ist und auch entwickeln kann. Genau. Mhm. Schauen wir uns noch 'n weiteren Punkt an, den ihr beschrieben habt. Diese M-Systeme, die sollten die Handlungsfähigkeit der Verwaltung nicht einschränken, wenn sie ausfallen. Finde ich auch sehr plausibel und sehr nachvollziehbar. Erst haben wir schon gesagt, eingangs, na ja, diese Systeme sollen ja nicht Mitarbeitende ersetzen, sie sollen sie unterstützen. Dennoch, wenn ich solche Systeme in der Hand hab, dann bin ich ja sehr viel produktiver. Und wenn die ausfallen, kann's ja dennoch, ne, einfach schwerwiegende Folgen haben, ist das einfach riskant, ne, dass man einem sagt, wir haben immer weniger Mitarbeitende, die immer effektiver arbeiten mit solchen Systemen und wenn sie ausfallen, haben wir halt 'n Problem?
Zukünftig kann das Risiko steigen. Und je höher das Risiko, desto wichtiger ist es, sicherzustellen, dass wir diese Systeme nicht ausfallen, dass wir nicht in irgendwelchen Abhängigkeiten uns bewegen, wo externe Akteure dann sagen können, wir wollen der deutschland öffentlichen Verwaltung schaden. Wir stellen diese Systeme jetzt ab und unsere gesamte Handlungsfähigkeit ist dadurch bedroht. Das sollte nicht passieren. Und das ist eigentlich auch 1 der zentralen Gedanken bei digitaler Souveränität, diese Schmerzpunkte nicht entstehen zu lassen. Wir haben ja nur den aktuell den den den Stand den aktuellen Stand betrachtet und kommen eben zu dem Schluss, dass das derzeit nicht der Fall ist, dass selbst wenn diese Systeme, was nicht passieren wird, alle ausfallen sollten, würde die öffentliche Verwaltung mindestens derzeit noch handlungsfähig bleiben. Mhm.
Ja und Nicole, ich dachte jetzt auch auf der anderen Seite, die Verwaltung ist ja im Fall 1 Grippewelle oder wir erinnern uns an Corona in eine Pandemie auch eingeschränkt, ne. Insofern, solche Gefahren gibt's wahrscheinlich immer oder?
Solche Gefahren können genau natürlich durch durch verschiedene Dinge bedingt sein. Allerdings, wir haben es ja jetzt gesehen beispielsweise mit der AWS Cloud und entsprechenden Ausfällen, je nachdem, ob man dann eben genau vielleicht eine Wechselmöglichkeit hat, ein 1 redundant ausgelegtes System oder nicht, kann man davon natürlich stärker oder weniger stark betroffen sein. Dorian hat schon gesagt, aktuell ist das Risiko eher gering. Das liegt daran, dass die meisten Anwendungen sich eher auf, also eher noch nicht die komplette Verwaltung betreffen, sondern für spezifische Fachreferate oder für einzelne Ministerien konzipiert sind und auch für relativ spezialisierte Aufgaben gedacht sind. Also beispielsweise 'n Rechercheassistent eben. Mhm. Und wenn er dann ausfällt, dann ist das 'n bisschen nervig und ich brauche ein bisschen länger, aber also man kann jetzt nicht davon sprechen, dass die Handlungsfähigkeit bedroht ist. Aber wenn ich natürlich Systeme habe, die für vielfältige Aufgaben genutzt werden und die vielleicht auch auf die komplette Verwaltung skaliert werden, dann werden solche Probleme natürlich virulenter und dann muss ich natürlich noch stärker Sicherungsmaßnahmen treffen und da gibt's ja verschiedene, die wir untersuchen oder die wir auch vorschlagen. Also es gibt zum Beispiel auch doch einige Projekte, bei denen ich zum Beispiel zwischen verschiedenen Sprachmodellen auch unterschiedlicher Anbieter wählen und wechseln kann. Und wenn dann natürlich ein Sprachmodell beispielsweise nicht mehr verfügbar wäre, wär's ja nicht tragisch, weil ich ja immer noch weitere zur Auswahl hätte und trotzdem ja die Anwendung weiter nutzen kann und die Aufgaben weiter erfüllen kann.
Und da gibt's natürlich noch andere Maßnahmen, die man dann entsprechend ergreifen kann. Es gibt noch 'n paar so abschließend weitere Herausforderungen, die ihr seht, rechtliche Unsicherheiten beim Einsatz von KI Modellen, die KI Kompetenz in einigen Teams, die habt ihr schon angesprochen, aber auch organisatorische Hürden, die Entwicklungsprozesse erschweren können. Wo drückt der Schuh am meisten? Genau, also wir haben neben der quantitativen
Datenerhebung Ende auch noch Interviews geführt mit den Projektverantwortlichen der Projekte, die wir als als relevant erachtet haben. Und eigentlich durchgängig bemängelt wurde die schwierig rechtlichen Unsicherheiten, die aktuell vorherrschen. Das ist die, also das ist vor allem das Zusammenspiel aus der KI Verordnung der der EU, aber auch in der DSGVO, welche rechtlichen Regeln wann wie greifen, wie das auch mit Open Source zusammenspielt. Das war ein Punkt, Nicole hatte das ja vorhin auch erwähnt, dass viele zwar auf Open Source zugreifen, ihre eigenen entwickelten Anwendungen werden aber nicht Open Source stellen. Das ist teilweise eben aus aus Unsicherheiten heraus so, hat sich so entwickelt. Und dann der andere Punkt ist, dass die die Kompetenzen innerhalb der Entwicklungsteams eigentlich durchgängig jetzt relativ hoch angesehen werden, der die das Risiko eher bei deren auf auf Ebene der Nutzenden angesehen wird. Also da wird stark da dafür plädiert, deutlich mehr in den Kompetenzaufbau zu investieren, weil das Risiko letztendlich ja bei Also eine Anwendung kann nur so gut sein wie der Nutzende am Ende, der diese Anwendung dann verwendet. Und wir sehen jetzt schon auch aus anderen Studien, dass teilweise selbst wenn theoretisch Eigenentwicklungen bereitstünden, die Verwaltungsmitarbeiten zu teilen, trotzdem eher auf ChatGPT zugreifen. Kann man jetzt sehen, wie man möchte, aber da liegen auf jeden Fall Risiken, die die nicht ja, die die betrachtet werden müssen. Genau, was wir noch hatten. Also zum einen war es ja dieses, es wäre wünschenswert, wenn es irgendwie eine gemeinsame
KI Cloud Infrastruktur gäbe, die man nutzen könnte. Und was also wir haben uns ja auch die Daten angeguckt, die genutzt werden. Da gab es, glaube ich, kein einziges Projekt, was auf proprietäre Daten zurückgegriffen hat. Das heißt, die Daten, die genutzt wurden, die waren entweder öffentlich oder eben eigene Daten der jeweiligen Behörde. Aber grade da hat haben tatsächlich auch Probleme geschlummert, dass diese Daten in so heterogenen Formaten nicht standardisiert vorliegen und deshalb halt auch zum Teil nicht auf jeden Fall nicht optimal nutzbar sind für die jeweiligen Anwendungen. Also das ist tatsächlich aktuell auch noch ein Hemmschuh, was solche Systeme in der Verwaltung betrifft. Einfach ja, es sind viele Daten da, aber teilweise sind sie halt so heterogen oder oder unstrukturiert und unstandardisiert, dass sie sich nicht bestmöglich nutzen lassen. Und da wird ja auch schon einiges getan, deswegen ist es zu vermuten, dass sich die Datenqualität in der Zukunft erhöhen wird, aber alle Daten, die schon vorliegen, auch noch mal deren Qualität zu verbessern, ist natürlich ein riesiges Unterfangen, deswegen wird das wahrscheinlich eher nicht angegangen werden Und damit bleibt dieses Problem dann in Teilen auch bestehen.
So unterm Strich, wenn ihr jetzt an diese auf diese Studie blickt, was nehmt ihr für euch mit? Also was hat euch vielleicht überrascht und was wird euch auch weiter beschäftigen?
Die größte Erkenntnis für mich ist gewesen, und zwar die ist positiv, dass fast durchgängig eigentlich Kriterien digitaler Souveränität zumindest in Teilen schon beachtet werden, dass viel auf Open Source gesetzt wird, unabhängig jetzt, ob amerikanisch oder europäisch, aber Open Source wird eingesetzt. Und insbesondere bei den Behördenübergreifenden Projekten, die also entsprechend auch 'n höheren Einfluss auf die auf mögliche Risiken zur digitalen Souveränität haben könnten, eben weil mehr Menschen dieses System am Ende nutzen werden, werden wird wird digitale Souveränität zentral betrachtet und beachtet in den Projekten. Das ist eigentlich und das ist 'n positives Fazit, was wir hier ziehen und was wir gerne auch unterstreichen würden und dann eben auch mit den Handlungsempfehlungen in die Richtung denken, dass das eben bewahrt bleibt und in Zukunft noch stärker unterstützt werden werden kann. Nicole, was nimmst Du mit? Genau, das hätte ich auch so gesagt. Also das
dass tatsächlich innerhalb der Projekte ein 1 sehr hohes Bewusstsein für diese Problematik besteht, auch schon diverse Maßnahmen ergriffen werden, zu verhindern, dass man in Abhängigkeiten überhaupt einmal geraten kann. Ich find's auch positiv, dass es schon ja, dass es schon viele Projekte gibt, die sich auch untereinander austauschen. Auch da ist der Wunsch, da das eigentlich noch zu intensivieren. Das scheitert dann teilweise tatsächlich eher an, ja, an geringer Zeit für solchen Austausch und dass ja auch schon versucht wird, das noch weiter zu verstärken, also die Zusammenarbeit noch stärker zu ermöglichen, Nachnutzung zu ermöglichen, Austausch, dass da eben nicht Parallelentwicklungen stattfinden, beispielsweise über den Marktplatz der KI Möglichkeiten, dass auch tatsächlich zentral ja Beratungs- und Kompetenzstellen geschaffen werden, zum Beispiel das BEKI, die dann auch über entsprechende Kompetenzen verfügen und beraten können in der kompletten Bundesverwaltung. Also da ist 'n hohes Bewusstsein und da wird einfach auch schon schon einiges getan und auch das Fazit, dass wir sagen können, aktuell sehen wir eigentlich da noch keinen Bereich im im roten Bereich, wo wir sagen, da ist jetzt aber eine 1 sehr starke Abhängigkeit, was bei ja den Es gibt ja schon andere Studien, die sich mit digitaler Souveränität in der Bundesverwaltung beschäftigen, beispielsweise im Kontext Datenbanken oder Bürosoftware. Da war das Fazit größtenteils sehr anders. Da war aber eigentlich bestanden die Abhängigkeiten auch immer schon sehr lange und es ging in den Studien wahrscheinlich eher darum zu schauen, wie kann man das vielleicht abmildern oder irgendwie da rauskommen? Aber jetzt im Bereich der großen Sprachmodelle ist diese Betrachtung einfach schon sehr frühzeitig angestoßen worden, bevor solche Abhängigkeiten sich tatsächlich schon tatsächlich schon entstehen oder sich verfestigen konnten. Und auch da würde ich sagen, das ist sehr, sehr positiv, dass einfach mit dieser Betrachtung möglicher Abhängigkeiten im Kontext KI und grade großer Sprachmodelle jetzt schon so frühzeitig in der Entwicklung begonnen wurde und es ist natürlich auch eine Empfehlung, das das fortzuführen und jetzt nicht zu sagen, okay, die Abhängigkeiten, die sind jetzt noch nicht da oder auf jeden Fall nicht groß, sondern es ist halt 'n sehr hochdynamisches Feld. Man muss natürlich auch weiter betrachten, wie sich das entwickelt, auch mit mit neuen Entwicklungen, die dazu beobachten, sind KI Agentensysteme und weitere, die wir in der Studie auch schon ansprechen. Und natürlich kann es auch Abhängigkeiten geben in Bezug auf andere Ebenen, die aber mit großen Sprachmodellen zusammenhängen, beispielsweise Hardware oder Cloud. Das war jetzt außerhalb des Scopes dieser Studie, aber auch da ist es natürlich möglich, dass sich die Bundesverwaltung in Abhängigkeiten begeben könnte.
Und wie sie das eben nicht machen kann und wie souveräne Chatbots auch eine souveräne Verwaltung stützen, darüber haben wir heute gesprochen in. Digital, dem Podcast des Kompetenzzentrums öffentlicher IT. Ganz herzlichen Dank an Nicole Opiala und Dorian Wachsmann. Schön, dass ihr hier wart. Dankeschön. Danke dir. Falls euch der Podcast gefallen hat, folgt uns kostenfrei auf Spotify, Apple Podcast und vielen weiteren Apps und schreibt uns auch gern eine Bewertung, wenn ihr mögt. Tschüs und bis bald, ich bin Philipp 1.
