Nachnutzung von LLMs
Generative KI und Sprachmodelle finden zunehmend Einsatz in der öffentlichen Verwaltung. Um unnötige Parallelentwicklung von GenKI-Anwendungen für die Verwaltung zu reduzieren, hat ÖFIT für den IT-Planungsrat in einer Vorstudie die Nachnutzungspotenziale ausgewählter Systeme untersucht. In der Podcast-Folge diskutieren Jens Tiemann und Dr. Mike Weber mit Philipp Eins, warum Behörden eigene KI-Lösungen wie LLMoin, AIGude oder F13 entwickeln, welche Gründe dafür sprechen und warum Parallelentwicklung fast unausweichlich sind. <br><br>Um unterschiedliche Anforderungen zu erfüllen und gleichzeitig die Nachnutzung zu fördern, empfiehlt die ÖFIT-Vorstudie den Aufbau eines gemeinsamen KI-Ökosystems. Standardisierte Schnittstellen und eine gemeinsame Referenzarchitektur können dafür sorgen, dass auf technischer Ebene Microservices austauschbar werden. Der derzeit entstehende Deutschland-Stack kann diesen Prozess unterstützen. Ein weiterer Schlüssel liegt in der Unterstützung von Verwaltungen bei Compliance-Fragen wie Datenschutz, IT-Sicherheit und der Einhaltung der KI-Verordnung.<br><br>Mehr Informationen finden sie in der Vorstudie »Nachnutzung generativer KI-Systeme« unter https://www.oeffentliche-it.de/publikationen/
Top Keywords
- auch 0.034
- dann 0.033
- kann 0.029
- dass 0.025
- eine 0.022
- oder 0.018
- jetzt 0.018
- aber 0.017
- noch 0.014
- rlich 0.014
- wenn 0.014
- beispiel 0.012
Transcript
In Berlin heißen sie BRGPT, in Hamburg LL Moin und in Hessen Ai GUDE. Die öffentliche Verwaltung setzt zunehmend auf KI Tools. Chat Bots können zum Beispiel Anfragen von Bürger*innen rund die Uhr beantworten. Das entlastet einerseits die Serviceställen und verkürzt die Wartezeiten. Auf der anderen Seite aber unterstützt die KI Mitarbeitende in der Verwaltung ganz direkt. Sie kann zum Beispiel große Mengen unstrukturierter Daten wie Textdokumente, Gesetze und Berichte effizient verarbeiten. Was allerdings 'n bisschen weniger effizient ist, viele Behörden basteln an ihre eigenen KI Lösung. Ist das wirklich nötig? Wie kann die Verwaltung zusammenarbeiten, Anwendungen miteinander zu teilen? Dazu hat das Kompetenzzentrum öffentliche IT kürzlich eine Vorstudie vorgestellt. Die Ergebnisse wollen wir uns in dieser Podcastfolge anschauen. Herzlich willkommen beim öFIT Podcast restart digital, eine Produktion des Fraunhofer Instituts für offene Kommunikationssysteme. Ich bin Philipp 1 und ich begrüße meine beiden Co Hosts. Das ist zum einen Jens Tiemann. Er befasst sich mit den technischen Grundlagen der Digitalisierung. Schwerpunkte seiner Arbeit liegen im Bereich Internet, Vernetzung und neue Technologien. Herzlich willkommen Jens. Ja hallo. Und mit dabei Doktor Mike Weber. Er ist Trendforscher und stellvertretender Leiter des Üft, auch unser Stammgast hier im Studio. Hallo Mike. Hallo Philipp. Ja, schauen wir zunächst mal, was KI Bots in den Behörden so können. L l Moin, der Name klingt vielleicht 'n bisschen albern, aber die Anwendung der Hamburger Verwaltung, die hat's in sich. Ja, was kann die jetzt?
Ja, so typischerweise, also wir reden ja, wie Du eben schon erzählt hast, wir reden über die Anwendung von Sprachmodellen in der öffentlichen Verwaltung. Und Verwaltung arbeiten natürlich viel mit Sprache, dass dort Texte verarbeitet werden, dass das auf Texten basiert, zum Beispiel meinetwegen Koalitionsverträgen, aber auch Anträge, die reinkommen. Und solche Sprachmodelle oder solche Anwendungen können dann Texte zusammenfassen, Texte umformulieren, zum Beispiel auch in einfacher Sprache oder man kann eben
aus Stichworten Texte formulieren lassen. Was sind da so ganz konkrete Anwendungsfelder jetzt in der Hamburger Verwaltung?
Oh, in der Hamburger Verwaltung. Also welche Texte müssen die zusammen was machen lassen? Also in Hamburg weiß ich das jetzt gerade nicht. In eine typische Anwendung ist, dass der Grundstock an Veröffentlichung, Pressemeldungen und so weiter, Regierungserklärung und so was ist dort verfügbar, kann recherchiert werden und kann dementsprechend, wenn zum Beispiel Anfragen kommen oder so was, kann das effizient verarbeitet werden und dann kann man muss man also nicht selber in diesem Wust an Daten suchen, sondern kann sagen, okay, ich möchte zu dieser Frage etwas beantworten. Eine kleine Anfrage beispielsweise im Parlament und dann sagt man, okay, welche Grundlagen gibt's dafür? Was stand in der Regierungserklärung? Und dann wird das
zusammengefasst. Ja, also Texte auswerten, Texte neu zusammenfassen auch wieder aus den ausgewerteten, das klingt auch so, als wär das einfach wirklich effizienter, ne? Als das, was die Verwaltungsmitarbeitenden
vorher sonst händisch machen mussten. Ja, es ist einfach ein sehr potentes Werkzeug, ne? Die Idee muss man natürlich selber mitbringen und das Denken kommt natürlich weiter von den Verwaltungsmitarbeitenden, aber dann das auszuformulieren oder nochmal umzuformulieren, weil zum Beispiel Texte aus der Verwaltung typischerweise in 'nem gewissen Stil Bürgerinnen und Bürger erwarten. Da hilft das natürlich sehr weiter. Das heißt, da Das geht dort nicht automatische Entscheidungen oder so was, sondern es geht wirklich Textarbeit, Formulierungen, in Dokumenten suchen, recherchieren, übersetzen,
solche Fragen. Nun kann genau das natürlich auch Also Texte zusammenfassen, Inhalte generieren, ne, recherchieren. Das können ja auch alles gängige Tools wie ChatGPT, Gemini, Perplexity, wie sie alle heißen. Mike, warum brauchen Behörden eigene Tools dafür?
Das kommt immer ganz auf den Anwendungsfall an. Also es gibt sicherlich auch Anwendungsfälle, für die Weihnachtskarte zum Beispiel kann ich auch problemlos Chat GPT benutzen und da gibt's keine keine Beschränkung. Schwierig wird es dann, wenn ich sensible Daten verwende natürlich. Also da gibt es ja auch unterschiedliche Abschubungen, aber spätestens, wenn es in in auch nur die in den Verdacht geriert, dass es personenbezogenen Daten geht. In dem Moment brauch ich natürlich 'n geschützten Raum und kann diese Daten nicht irgendwo in die Welt hinauspusten. Sicherheitsaspekte betroffen sind, natürlich noch viel, viel mehr. 'N weiterer Aspekt ist natürlich auch, dass je intensiver man diese Tools nutzt und das Spektrum ist daher auch enorm, selbst beim bei bei der Ideenfindung gibt es ja mittlerweile Ansätze, Chatbots dazu zu benutzen, mit denen gemeinsam zu brainstormen und dann weiterzukommen. Je intensiver ich die nutze und je mehr Funktionen sie erfüllen, desto abhängiger bin ich natürlich auch davon und desto wichtiger ist es, dass ich die wesentlichen Komponenten selbst in der Hand habe und selbst bestimmen kann. Stichwort digitale Souveränität, aber das Thema hatten wir ja schon.
Also Datenschutz spielt da eine Rolle, Jens?
Ja und noch mal auf deine Frage zurückzukommen. Wenn ich da jetzt mal technischer reingehen darf, dahinter steckt denn tatsächlich eventuell, was wir als ChatGPT kennen, dass ich jetzt also sozusagen 'n bisschen technisch reingucke, dann sind da 2 große Blöcke drin. Und das eine ist eine normale IT Anwendung in weiten Sinne, also zum Beispiel auch eine Datenbankabfrage, eine grafische Oberfläche, diese ganzen Fragen aus 'ner Verwaltungs IT, wo natürlich das, was Mike sagte, eine Rolle spielt. Ist das sicher, ist das zuverlässig und so weiter. Und der andere Block, der wird im Moment noch, wie man aus den Diskussionen Sprache und Sprachmodelle und KI in Europa kennt, der andere Block sind halt größtenteils amerikanische Sprachmodelle. Man hofft jetzt, dass man Misstrauen europäisches Modell hat. Es gibt chinesische Modelle. Das heißt, dieser Block der Sprachmodelle, der ist eigentlich immer der gleiche oder es kommt 'n kleiner Es gibt einen kleinen Stamm von diesen Sprachmodellen, die immer wieder benutzt werden. Und den möchte man dann natürlich wieder, wie Mike gesagt hatte, nicht jetzt übers Internet und offen und völlig egal, wo das läuft, sondern den möchte man natürlich auch unter Kontrolle haben, Zusicherungen haben, dass das vertraulich behandelt wird, die Daten, die man rüber gibt und so weiter. Also das noch mal so klarzuziehen, es gibt ja einmal die Anwendung, l l 9 ist eine, ne? Genau. Und dann gibt's aber noch dahinterliegende
Sprachmodell, das eben sowas wie GPT-4 von OpenAI, das kennen viele von ChatGPT.
So, das heißt, die spielen aber hier auch zusammen. Richtig, genau. Also die die Anwendung selber ist grafische Oberfläche, handelt die Anmeldung, dass man sich das nur befugter auf diese Anwendung zugreifen können, speichern vielleicht was auch zum Beispiel für die Dokumentation und so weiter. Und das unterscheidet sich jetzt nicht von 1 Standardverwaltungssoftware oder anderen Software. Der große Funktionsblock, der jetzt hier neu ist und was das sozusagen spannend macht, weil das eine Kombination ist, ist halt ein großer Funktionsblock ist dieses Sprachmodell, was also dann angesprochen wird, was Ergebnisse zurückliefert. Und da ist dann die Frage, wo läuft es? Welches Modell ist es? Was kann ich davon erwarten? Was kostet das? Und so weiter. Mhm. Nun sagt ja aber Maike gerade, ob Datenschutz spielt auch eine Rolle, also es geht ja auch sensible Daten von Bürger*innen.
Wenn jetzt aber das Sprachmodell hinter LL Moun in ein amerikanisches, nämlich GPT4 ist, ne, also ist da nicht der Datenschutz ohnehin son bisschen kritisch auch bei diesen Eigenentwicklungen?
Nein, es gibt da unterschiedliche Abstufungen, sag ich mal, wie man dann Datenschutzaspekte berücksichtigen kann. Das Beste in der Hinsicht ist sicherlich, wenn das Modell selbst, 'n Umsourcen Modell lokal läuft Und dann bleibt es auf den eigenen Servern Servern und hat wieder alle Aspekte selbst in der Hand und kann die entsprechend gestalten. Und es gibt auch Zwischenschritte dabei, dass man halt über die Benutzerschnittstelle sicherstellt, dass keine individualisierbaren Daten weitergegeben werden. Also dass man keine Profilbildung von einzelnen Nutzenden einrichten kann, wie das ja bei, wenn ich das offen verwende und mich registriere da, dann wäre das ja eine Möglichkeit. Und wenn man dann noch 'n bisschen in die Schulung investiert und dafür sorgt, dass keine direkten Personendaten eingegeben werden, dann kann man relativ sicher sein, dass man für eher unkritische Anwendungen auch mit soner einfachen Oberfläche schon sehr viel an diesem Problem adressieren kann.
Bleiben wir noch mal kurz bei L. M. 9. Das greift ja bereits auf die Parlamentsdatenbank von der Hamburger Bürgerschaft zurück, aber eben noch sehr eingeschränkt. Wann kann die Anwendung wirklich so das gesamte Parlamentswissen anzapfen und das ganze Behördenwissen vor allem?
Ja, das theoretisch geht es jetzt schon. Also von der das ist dann eine organisatorische Frage, wie stelle ich diese Daten bereit? Vielleicht machen wir es eine 1 Nummer kleiner. Die Frage ist ja, ob diese Sprachmodelle, also was wir ja auch selber im Alltag kennen, ob zum Beispiel dieses Sprachmodell jetzt noch mal selber im im Web recherchiert und selber noch mal sucht im offenen Web, Ergebnisse kriegt und die für mich zusammenfasst. Also das ist ja, was wir ja zum Beispiel bei der Google Suche, dieses kleine KI Result, was da oben kommt, also ne. Das ist ja heutzutage dann halt üblich, dass so das miteinander kombiniert wird. Oder und das ist der andere große Zweig, dass man sogenannte RAG Systeme, dass man dem einen speziellen Datensatz gibt, zum Beispiel interne Akten und so weiter und dann dieses Sprachmodell mit seinem großen, ich sag mal, Weltwissen in Anführungsstrichen sprechen kann mit einem, also die Frage versteht, eine Antwort formulieren kann, aber die Inhalte nur aus diesem Dokumentensatz kommen und dementsprechend dort dieses große Problem der Halluzinationen, die wir ja beim KI kennen, dass man das halt reduziert.
Sprechen wir mal über die Vorstudie, die ihr ja sozusagen angestoßen habt. Da geht's ja die Kooperation bei der Entwicklung solcher KI Tools. Viele Behörden, die kochen ihr eigenes Süppchen und entwickeln Tools unabhängig voneinander. Bei L. Moin, da ist das anders. Die Frei- und Hansestadt Hamburg, die bietet auch anderen Verwaltungen an, den KI Assistenten zu nutzen. Wie genau funktioniert dieses Modell?
Dass Verwaltung gerne ihr eigenes Süppchen kochen, da bin ich völlig einverstanden, das passiert oft. Ich glaube hier an dieser Stelle aber ist der Punkt, dass KI so ein neues Thema ist, dass natürlich alle erst mal ausprobieren wollen, was geht da eigentlich? Und wenn man sich dann und die auch diese Vorteile nutzen möchte und wenn man da warten würde und geruhsam erst mal sagt, was wollen wir eigentlich haben? Wie einigen wir uns und so weiter? Das wäre hier, glaube ich, nicht möglich gewesen angesichts der rasant der Entwicklung, die wir ja bis ins Private
spüren, die Nutzung von Chatmodellen. Wenn ich da noch ganz kurz einen draufsetzen darf, es ist doch eigentlich 'n sehr positives Zeichen, dass die Verwaltung sich so schnell bewegt in diesem Umfeld und dass es wirklich versucht, diese Chancen zu nutzen. Also erst mal ist es sehr positiv, dass so viel Aktivität
vorherrscht. Gut, aber dann stellt man natürlich fest, Du hattest diese verschiedenen Sachen, BR GPT in Berlin oder All Gute oder LL Moin. Es war eine der ersten Handlungsempfehlungen, die mir einfiel, wäre keine Sprachspiele mehr mit mit KI. Dass man also sagt, okay, da da sind die Anwendungen doch eigentlich gar nicht so unterschiedlich, sondern es ist immer dieses Formulieren von Texten, Übersetzen und so weiter. Und da kann man sich natürlich jetzt schon überlegen, wie kann man da zusammenarbeiten? Was kann man da gemeinsam machen? Und genau das hat Hamburg ja gemacht Also genau das hat Hamburg im neuen. Das wird eben zur Verfügung gestellt, auch für andere Verwaltungen. Genau. Das ist ja so ein Weg, den ihr auch beschreibt, die die Verwaltung gehen können. Richtig und da muss man jetzt noch den Dienstleister dazu nehmen. Also das L9 ist aufgebaut eben auf Initiative von Hamburg, aber mit dem IT Dienstleister Datapau zusammen. Dieses Angebot selbst, was jetzt zum Beispiel andere Kommunen, andere Städte benutzen könnten, das bekommen sie dann von Dataport, also als als Dienstleister, der das anbietet für eine neue Community, die es auch nutzen möchte. Und die kann da den Buch Also diesen Dienst einfach buchen, bekommt noch und da fängt das eben schon an mit der Zusammenarbeit. Die bekommt dann noch zum Beispiel Dokumente und Schulungsmaterial, was in Hamburg entwickelt wurde. Das bekommen die schon mal, damit die einfach schneller starten können und sagen können, okay, also so starten können und sagen können, okay, also so allgemeines Wissen KI, was also alle Mitarbeitenden in der öffentlichen Verwaltung müssen so ganz kurz eingewiesen werden in die Nutzung der KI. Und dieses Schulungsmaterial, das kann man natürlich universell verwenden. Und Du hattest es angesprochen, wenn dann gesagt wird, okay, wir wollen jetzt die Parlamentsdaten da verarbeiten, dann muss natürlich in 'ner anderen Stadt ein anderer Datensatz rein. Aber so fängt das an, dass man sagen kann, okay, man kann zusammenarbeiten, man kann Vorarbeiten nutzen.
Niedersachsen ist tatsächlich genau darauf angesprungen. Die niedersächsische Verwaltung, die hat l l mhoin implementiert sozusagen in die eigene IT Infrastruktur. Das mhoin, das passt ja nach Niedersachsen auch ganz gut, würde ich sagen. Wenn wir uns jetzt mal anschauen, was die Vorteile sind, es ist halt wahnsinnig schnell, ne? Also man kann auf bestehende Strukturen aufbauen, man kann sie sogar übernehmen. Der Betreiber DataPort, der verspricht innerhalb von 6 Wochen. Da ließe sich LL Moin woanders implementieren. Mike hat aber wahrscheinlich auch 'n paar Nachteile, oder? Also wie ich's das verstanden hab, lässt sich das Tool ja nur schlecht individuell anpassen.
Oh, da müsste ich jetzt DataPort fragen, die werden das wahrscheinlich anders sehen. Nein, aber genau da ist ist natürlich die Krux. Es gibt ja ganz unterschiedliche Art und Weisen, wie ich dann meine Softwarelösung zur Verfügung stellen kann. Und bei LL9 ist es tatsächlich eine Variante, die enorme Vorteile bringt, weil es schnell geht, weil noch weitere Dokumente mitgeliefert werden, also der der gesamte Bereich abgedeckt wird, der erforderlich ist. Hat aber dann genau dann auf der anderen Seite das Problem, dass ich's natürlich nicht allzu tief selbst gestalten kann in dem System selbst oder in der Anwendung selbst. Da sind andere gehen 'n ganz anderen Weg. F 13 zum Beispiel, das halt komplett Open Source gestellt ist, wo ich theoretisch die Software nehmen kann und sie bei mir selbst einrichten kann. F 13, das ist das Beispiel aus Baden Württemberg. Die machen's nun wirklich eben, wie Du sagst, ganz anders, ne? Genau. Und das hat halt beides so seine Vor- und Nachteile. Das eine halt geht schnell, ist vergleichsweise einfach. Das andere ist natürlich sehr viel komplexer, muss ich sehr viel mehr an Expertise mitbringen und auch sehr viel mehr selbst aufbauen und die ganzen Compliance Sachen mehr oder minder selbst entwickeln. Dafür hab ich die Gestaltung wieder sehr stark in der Hand. Also ein Tod muss ich sterben.
Ja, vielleicht das noch mal diese Compliance möcht ich noch mal unterstützen. Das, aber Sie haben auch mit Anwendern gesprochen und die KI Tool im, so KI Tools im Verwaltungskontext richtig zu benutzen, Datenschutz einzubinden und KI Verordnung zu berücksichtigen und so weiter, das ist halt 'n großes Thema. Also neue Verwaltungsverfahren einzuführen, meistens über 'n Dienstleister und so weiter, ist sowieso schon anstrengend und bei KI, aufgrund der Cloud Verarbeitung und so weiter, kommen da noch 'n paar Schippen drauf. Und deshalb ist es nicht so sehr eine technische Frage eigentlich in der Komplexität, sondern es ist wirklich eher eine organisatorische Frage und ja. Und dann muss man eben gucken und wo kann ich schneiden? Wie kann Was kann ich schon bekommen und was kann ich denn für meine eigenen Bedürfnisse anpassen? Und da sag ich mal, da gibt es 2 Seiten, 'n Logo neu reinzubringen von der von der Stadt, von der Gemeinde oder so was. Das ist überhaupt kein Thema, das ist überall vorgesehen. Die Frage ist zum Beispiel, ob man das Sprachmodell auswechseln kann, wenn man da Bedarf dran hat. Und da ist dann halt El Moyn eher eingeschränkt oder man müsste gucken, kann man da was machen, dann ist der Aufwand wieder größer oder man nimmt so das Paket, wie es funktioniert. Neues Logo rein, kleiner Hinweis an die Mitarbeiter
und also lokaler Hinweis an die Mitarbeiter und dann los geht's in kurzer Zeit einsatzbereit. Und bei F 13, also der Open Source Lösung, da könnte ich tatsächlich im Hintergrund am Sprachmodell noch mal etwas drehen und schrauben. Da muss ich sogar am Sprachmodell
drehen und schrauben. Bei diesen Lösungen, da ist das Sprachmodell eben nicht dabei, sondern es ist vorbereitet, dass ich 'n Sprachmodell einbinde. Und dann fange ich an und lade mir also diese Software runter, installier die bei mir. Das ist, wie gesagt, ganz normaler IT Technik. Das muss dann irgendwo laufen in irgendeinem sicheren Rechenzentrum und so weiter. Dann muss ich wissen, welche Klasse von Daten ich verarbeite. VSNFT zum Beispiel, Verschlusssache nur für Dienstgebrauch, also die leichteste Geheimhaltungsstufe. Wenn ich so was verarbeiten möchte oder personenbezogene Daten, dann muss ich natürlich da bei der Verarbeitung drauf achten. So, das ist die eine Seite. Und dann kommt die Auswahl, welches Sprachmodell binde ich an? Wo läuft das? Läuft das bei mir auch im Rechenzentrum? Dann brauch ich ziemlich viel Hardware, also diese berühmten Grafikkarten. Oder miete ich mir das auch? Binde ich mich irgendwo an? Dann kostet mich das laufende Kosten. Was kostet das überhaupt? Bis zu diesen sehr interessanten Modellen, dass man sagt, okay, am Arbeitsplatz sitz ich sitzt immer der gleiche Mensch, hat die gleiche Oberfläche. Aber je nachdem, was für Daten eingegeben werden, wird es mal von dem einen Modell beantwortet, nämlich im preiswerten öffentlichen Modell, wo auch keine wo man ruhig sensible Daten hinschicken kann. Wenn ich jetzt aber für eine andere Anwendung speziellere Daten habe, dann wird es in ein eigenes Rechenzentrum geroutet und dort vertraulich behandelt.
Ich könnte mir vorstellen, wenn wir jetzt über die öffentliche Verwaltung sprechen, dass unterm Strich auch die Kosten ganz interessant sind. Wie ist es denn bei den beiden Wegen, die ihr nur skizziert habt? Ne, der eine Weg, ich hab sozusagen ein Modell, das fertig auf den Servern liegt, das noch mal ein bisschen umdesignt wird, aber dann ist es schon da und das andere Open Source, ich kann's mir runterladen, muss es aber komplett neu entwickeln. Was ist der preiswertere Weg?
Na, das kann man so Also über Preise spricht da keiner und das kann man Das ist wirklich sehr schwierig, vor allen Dingen auch, weil das ja Kontingente sind und so weiter. Sondern es ist so eher sozusagen diese Was interessant ist, sind die verschiedenen Mechanismen, die man da drin hat. Also zum Beispiel, wenn man für die Bundesverwaltung Das wird über das Projekt zum Beispiel Keepitz gemacht und dort alle Ämter, alle Behörden, die dort sozusagen einsteigen, die teilen sich 'n Hardwarepool in dem Rechenzentrum des des Bundes. Und das ist natürlich eine interessante Idee, wenn man sagt, okay, wir haben mal dann Spitzen und die anderen haben woanders Spitzen. Das heißt, man steigt also ein mit seinem Bedarf, aber kann dann noch zum Beispiel Spitzen durch eine gemeinsame Verarbeitung abfedern. Oder aber man sagt, okay, ich such mir jetzt das allerbilligste Sprachmodell raus. Es geht übrigens so weit, ich weiß nicht, ob Du das weißt, Mike, dass eine Stadt durchaus sagt, ach, wir können auch 'n chinesisches Sprachmodell nehmen. Das blenden lassen wir bei uns im Keller laufen. Und da geht ja nix rein und nix raus, dann nehmen wir dieses chinesische Modell und ist auch sicher für diesen Fall, nicht. Und dann gibt's wieder andere, Polizei Baden Württemberg, die sagt, ja, aber das ist ja auch gefährlich. Wir sind ja abhängig von solchen von solcher IT, gar nicht mal so sehr vom Sprach und der aber von der IT. Wir wollen diese IT Entwicklung nutzen, überhaupt in die Cloud zu gehen, also nicht mehr im lokalen Rechenzentrum im eigenen Keller zu sein, sondern zu sagen, wir gehen jetzt in eine sichere Cloud, wo auch 'n anderer Anbieter vielleicht in Konkurrenz sein kann oder wo ich eine Back-up und eine Redundanz habe. Und in diesem Umfeld, in diesem riesengroßen Umfeld muss ich halt mich orientieren, was für mich und meine Anwendung
am besten ist. Für die Kosten sind da natürlich unendlich viele Stellgrößen drin, wie wir Ja. Wie Jens ja grade auch schon beschrieben hat. Und ich denke, der größte die größte oder der größte entscheidende Faktor für die Kosten ist tatsächlich, was hab ich da für eine Anwendung? Ja. Wenn ich damit noch eine Cloud Infrastruktur irgendwo nutzen kann, dann ist es im Zweifel immer deutlich billiger, als wenn ich im geschützten Rechenzentrum hochsensible Daten verarbeite.
Und dann geht's noch weiter, dass man wirklich sagt, okay, das waren jetzt die Kosten, aber es hängt ja mit der Funktion zusammen. Also, dass ich die Sprachmodelle, die sind ja auch sehr unterschiedlich groß. Und dann ist ja Ich muss ja nicht immer das allergrößte Sprachmodell nutzen, immer wieder Kleckerkramfragen zu beantworten. So. Dafür gibt's natürlich Antworten von den Sprachmodellherstellern, von den Anbietern und also ganz verschiedene Ansätze, wie das gemacht wird. Und von den Anbietern selbst ist es dann so, dass zum Beispiel in der Preisliste drinsteht, was kosten Input Tokens? Also Token ist so die kleinste Einheit bei Sprachmodellen, also vergleichbar mit Silben oder Wörtern. Was kosten Input Tokens? Natürlich immer im Millionenbereich. Und was kosten Output Tokens? Und das ist durchaus unterschiedlich. Was kostet die Speicherung? Vielleicht eine Grundgebühr Ja. Und so weiter. Und da muss man dann wirklich sagen, welche Anwendung habe ich? Schicke ich eher Text hin? Krieg ich eher Text zurück In meinem Mix ist die kann ich 'n einfaches Sprachmodell nutzen, was billiger ist? Oder muss ich was Komplexes haben?
Wenn wir jetzt mal so von den Kosten weggehen, Jens, ich hab dich aber trotzdem jetzt auch so verstanden, dass es keinen Königsweg gibt in der Verwaltung, sondern auch hier gilt so der Lieblingsspruch 1 jeden Rechtsanwalts. Es kommt darauf an, ne, nämlich wofür brauch ich da Sprachmodell überhaupt? Mike, würdest Du's ähnlich sehen? Ja, absolut. Voll und ganz, das ist eigentlich mein Lieblingsspruch. Ich bin irritiert, dass Du den bringst.
Nein, wir haben's ja schon skizziert, also es kommt wirklich ganz genau darauf an, einerseits, welche Daten verwende ich, welche Daten verarbeite ich, andererseits, was ist die Anwendung, was muss will ich damit erreichen? Und danach orientiert sich dann die die Architektur und dann irgendwann auch die Kosten.
Schauen wir uns zum Schluss mal Strategien für die Vernetzung an. Warum fällt's am Ende so schwer dennoch, sich auf zumindest einen Weg zu einigen? Denn ich könnte mir vorstellen, dass wenn man, selbst wenn man verschiedene Ansprüche hat, dass es trotzdem ja doch eigentlich mehr Synergien schafft, wenn man gemeinsam an einem Strang zieht und sich erst mal auf ein Grundmodell einigt und das dann an verschiedene Stellen ausspielt. Wie seht ihr hier die Möglichkeiten noch zu 1 engeren Kooperation in Zukunft?
Ich denke, der Weg ist vorgezeichnet und da ist durchaus auch Interesse dran. Es ist traditionell im Föderalismus in Deutschland nicht so, dass man sagt, okay, wir haben jetzt eine Lösung, die für alle funktioniert, aber man kann schon sagen, okay, wir konzentrieren uns 'n bisschen auf 'n paar Lösungen, die jetzt auch sozusagen dieses weite Feld, was wir aufgemacht haben, son bisschen abdecken, vielleicht dort auch eine gewisse Konvergenz stattfindet, dass also zum Beispiel Anwendungen, die jetzt nur ein Sprachmodell haben oder die vorher noch nicht diese das den Bedarf gehabt haben, dass die dann zum Beispiel weitere Sprachmodelle anbinden auf Es ist ja auch 'n Entwicklungseinfeld, was sich jetzt auch rasend schnell außerhalb der Verwaltung weiterentwickelt. Und ja, und da sehen wir eben 2 Schnittstellen, natürliche Schnittstellen in Anführungsstrichen, die sich anbieten und wo auch demnächst Also wo auch die 1. Zusammenarbeit schon funktioniert. Und das ist das 1. Ist eben das von mir schon erwähnte überhaupt 'n Sprachmodell anzubinden mit den verschiedenen Preismodellen, mit den verschiedenen Fähigkeiten. Das ist eine natürliche Schnittstelle und eine andere Schnittstelle ist aus 'ner technischen Perspektive die die KI Anwendung, also der innere Bereich sozusagen. Will ich jetzt chatten? Also nicht die grafische Oberfläche, sondern sozusagen da drin die Frage, ich möchte chatten oder ich möchte Daten zusammenfassen und so weiter. Und für solche KI Anwendungen, die jetzt den Kern ausmacht, dort muss man auch ein kleines, wie soll ich sagen, kleines Gerüst stricken, eine Orchestrierung, wie diese verschiedenen IT Komponenten nacheinander benutzt werden sollen. Also zum Beispiel greife auf die auf eine Datenbank zu, wo die Parlamentsdaten sind, 'n Prompt zu schreiben, was damit passieren soll und wieder auszugeben, vielleicht Filterungen und so weiter. Und das diese dieser engere Kreis, dieser KI Anwendung, die wird man demnächst auch austauschen können zwischen diesen verschiedenen Lösungen. Und die lässt sich aus technischer Perspektive auch relativ einfach isolieren, weil dann doch trotz einiger Varianten diese Verwaltungs KI doch relativ ähnlich aufgebaut ist jeweils.
Jetzt taucht ja auch einen Begriff in eurer Vorstudie auf, nämlich dir der Referenzarchitektur. So, ich stell mir das jetzt son bisschen vor wie son Legobaukasten und jede Verwaltung pickt sich so die Legosteine raus, ne, bestimmte Anfragen, bestimmte Auswertung und baut sich ein System zusammen. Maik, geht das so einfach, wie ich mir das grade vorstelle oder ist das dann doch 'n bisschen komplexer?
Das ist 1 der Lieblingspassagen in der Studie von mir. Hinten die Ursprungsmodelle, die die einzelnen Lösungen dann aufgebaut haben. Wie unterschiedlich, was für 'n breites Spektrum man da sieht. Ist ja auch eine Leistung dieser Studie, das dann halt zusammenzuführen und einen Vorschlag zu machen, wie so eine Rahmengrob Architektur aussehen könnte. Und wenn man die hat, dann und eine gemeinsame Sprache hat, dann kann man genau da hingehen und zu so einem Legobaukasten kommen. Und da hat Jens ja auch schon die ersten ersten Schritte oder die die absehbaren Schritte, muss man ja sagen, weil auch das ist 'n wunderbares Ergebnis dieser Studie. Alle Vorhaben denken ja in irgendeiner Form die Weiterverwendung immer mit. Also ob sie dann ihre Plattform öffnen für immer breitere Gruppen oder ob sie's Open Source stellen oder irgend eine Mischung dazwischen. Also das ist schon schon integraler Bestandteil von diesen Vorhaben, das immer mitzudenken. Und halt sicherlich ein Königsweg ist genau diese Legobausteine dann aus so austauschbar zu machen, wie es eben geht und dann halt auch davon zu profitieren. Und dann kann ich halt den Microservice, ist das richtig? Ja. Den Microservice
aus Hessen nehmen und in Baden Württemberg einsetzen oder in Nordrhein Westfalen oder so und so. Genau und ich möchte noch mal den Bogen etwas größer ziehen und zwar, wir haben ja den Deutschland Stack. Das ist ja eine große Aktivität, die IT in Deutschland eben souveräner aufzustellen, Konvergenz herzustellen zwischen Lösungen und dort, das ist sozusagen der große Legobaukasten, den Du gerade angesprochen hast. Dort gibt's also zum Beispiel oder wird es geben, dass dort zum Beispiel Datenbanken benannt sind als IT Baustein, ne, eine Datenbank. Und dann wird man natürlicherweise sagen, okay, meine KI Anwendung, die baue ich aus diesen Bausteinen, die im Deutschland Stack sind zusammen. Und dann sage ich okay und andererseits kann ich dann wieder sagen, ja, aber jetzt habe ich eine schöne funktionierende KI Anwendung, die eigentlich ganz gut funktioniert für diesen und jeden Zweck, die kann ich ja wieder dem Deutschland Stack als Gesamtes zur Verfügung stellen und sagen, okay, wenn jetzt jemand anders was zusammenbasteln will, hier hast Du schon mal 90 Prozent oder so was und Du musst jetzt nur noch 'n paar kleinere Änderungen machen. Und das ist so die Idee, dass sich sone Idee natürlich auch noch mal, also eine moderne IT Lösung, die cloudbasiert ist, die auch viel auf Open Source Komponenten besteht, die modular immer aufgebaut ist, auf Microservices beruht und offenen und Schnittstellen, dass die natürlich in sonem Stack eingeordnet werden kann und dann wirklich auch einlädt dazu, Teile oder dies ganze System zu nutzen, weiterzuentwickeln.
Und das klingt ja so, als würde das auch wirklich Synergien schaffen. Das schafft dann echte Synergien, weil da natürlich immer hinter steckt.
Kommen wir wieder zurück zu diesen Fragen von IT Sicherheit, konform ins Datenschutz und so weiter. Diese ganzen Compliance Themen und die sind wirklich superaufwendig, dass ich da mal jemanden hinsetze und Also das kann man heute im Studium lernen oder das wissen. Da kriegt man IT Leute, die sone Lösung zusammenbauen können. Das ist kein Thema, aber die wirklich fachlich und sachgerecht wirklich einzusetzen, datenschutzkonform in der Verwaltung, da organisatorisch das aufzubauen, da steckt also sozusagen die Arbeit drin. Und und das wird natürlich einfacher, wenn ich zusammenarbeite und wenn ich sage, okay, das muss ich mir nicht von Grund auf ausdenken, sondern irgendjemand hat schon eine Datenschekliste gemacht, die kann ich jetzt auch einfach abarbeiten oder die kriege ich schon dazu zu meiner Lösung, die ich da hole. Und das ist gar nicht so sehr die Technik Technik, die ich da haben will, sondern es ist vielleicht, weil das sowieso Open Source Projekte sind, sondern das ist vielleicht eher, dass jemand schon sich drum Gedanken gemacht hat, wie man das in diesem konkreten Kontext der Verwaltung diese Open Source Software einsetzen kann. Und das ist der Riesenvorteil.
Ich würde mit euch gern zum Schluss noch einen Blick in die Zukunft werfen. KI Lösungen werden grad überall diskutiert in jeder Branche, in jedem Zusammenhang und natürlich eben auch in der Verwaltung. Wenn wir jetzt mal so 10 Jahre in die Zukunft schauen, welche Rolle wird KI, werden KI Tools in der Verwaltung spielen? Wird das ein Tool von vielen anderen oder eine Anwendung auch von vielen anderen sein oder wird sie wirklich zentral? Mike, Du bist Trendforscher und Zukunftsforscher, Du darfst zuerst antworten.
Das hab ich befürchtet. Bei meinem Präsentation zu KI behaupte ich tatsächlich, dass es dieser Halbzyklen gibt und dass man dann immer wieder zu dem Punkt kommt, wo es dann eine normale Anwendung wird. Das lässt sich ja in der Vergangenheit sehr schön beobachten. Es wird sicherlich auch ein Stück weit so sein. Ich denke nur, dass in der aktuellen Entwicklung aus ganz verschiedenen Gründen die Bedeutung noch mal grade für die Verwaltung größer ist. 1 der zentralen Punkte ist, oder wie Jens ganz am Anfang gesagt, dass diese Tools mit Text umgehen können. Das das konnte KI immer schon irgendwie, aber jetzt so, dass man sich verstanden fühlt und dass man auch 'n echten Mehrwert daraus generieren kann, wenn man neue Texte in einfacher Sprache oder in was auch immer transformiert oder neu erzeugen lässt. Und ich glaube, das ist dieser dieser andere Zugang und der andere Umgang mit den Tools, der die Verarbeitung in der Verwaltung deutlich erleichtert. Das ist, glaub ich, wirklich 'n Asset, das bleiben wird und das auch einiges verändern wird in der Verwaltung. Wobei man auch dazu sagen muss, zumindest bei der aktuellen Anwendung von Sprachmodellen und auch bei dem, solange Halluzinationen und solche Probleme bleiben, kann man das ja nicht so also bescheiden damit schreiben zu lassen, könnte 'n bisschen riskant sein. Ich kann Sie dann vielleicht in einfache Sprache umformulieren lassen. Aber immer da, wo ich dann halt eben rechtssichere und wirklich korrekte Aussagen brauche, sind sie vermutlich mal absehbar nicht zu gebrauchen. Und deswegen ist dieser Bereich der der großen Sprachmodelle, wo wir im Moment grade drüber reden, wer weiß, worüber wir in 10 Jahren reden, aber wo wir im Moment grade drüber reden, der Anwendungsbereich schon eingeschränkt und in erster Linie auch Fragen des Zugangs. Dahinter gibt es ganz viele andere Automatisierungs- und auch KI Fragen, die man noch lösen könnte, wenn man an automatisierte oder proaktive Verwaltungsverfahren denkt, die dann halb bis ganz automatisiert durchlaufen. Aber da sind wir dann ganz weit weg von Sprachmodellen.
Jens, die Zukunft der Sprachmodelle, was meinst Du? Ja, da möchte ich gleich anschließen und wir sind nicht so weit weg, denke ich, weil in der Verwaltung von Sprachmodellen, weil da kann man ja einen kleinen cleveren Zwischenschritt machen und das wäre auch mein Thema, was in 10 Jahren passiert in der Verwaltung. Also der 1. Teil ist klar, wir reden über Sprachverarbeitung in Sprache formulieren Und was ich jetzt interessant finde, ist, ich komme aus dem Bereich, hab mir Low Code Systeme angeguckt, also in denen Nutzer, die nicht so viel Programmier- und Programmiererfahrung haben oder gar keine Programmiererfahrung haben, dass die also sozusagen Verwaltungsverfahren aufsetzen können. Und an dieser Stelle kann ich also zum Beispiel schon KI einsetzen, wie man sie auch zum Programmieren von Also wie Programmierer auch Sprachmodelle einsetzen, Software zu schreiben. Und was ich spannend finde jetzt in diesem in diesem Zusammenhang ist, dass man jetzt von sozusagen von Fließtext, von gesprochener Sprache sozusagen, dass man zu mehr formalisierten Sachen kommt und dass zum Beispiel ein Gesetz in einen Entscheidungsbaum umgesetzt wird. Das kann man auf der reinen Sprachebene machen. Dann muss man natürlich gucken und das ist Hat ja Mike zurecht gesagt Man muss dann natürlich gucken, ob das richtig ist. Und aber hier besteht die große Chance, dass man sozusagen einmal ein Gesetz in einen Entscheidungsbaum umsetzt. Den kann man prüfen, den kann man archivieren, dem kann man 'n Datum geben und sagen, an dem und ab dem und dem Zeitpunkt haben wir diesen Entscheidungsbaum angesetzt eingesetzt. Den haben jetzt nicht mehr Menschen zusammengebastelt, sondern den hat eine KI zusammengebastelt. Menschen haben's geprüft und ab da kann man wieder die klassischen regelbasierten Systeme einsetzen und sagen, okay, nach diesem Entscheidungsbaum ist 100 Prozent sicher, dass so und so viel Steuern gezahlt werden, ob's Wohngeld gibt oder was weiß ich. Und hier kann man dann die automatisierten Verfahren wieder einsetzen. Und das Tolle ist halt dieses, dass man Sprachmodelle eben einsetzen kann, auch formalisierte Sprache, die Lücke zwischen Computer und Mensch noch etwas zu schließen und sozusagen Menschen ein Werkzeug an die Hand zu geben, Computer leistungsfähiger zu programmieren.
Völlig d'accord, nur dann brauche ich halt wieder für die Automatisierung wohl definierte Daten, funktionierende Register, automatisch kommunizierende und deswegen mein etwas zurückhaltende Antwort mit den 10 Jahren. Also es liegt gar nicht so sehr im Bereich der KI und in in der technischen Umsetzung, da gibt es wunderbare neue Möglichkeiten, aber in der in den Hausaufgaben, in den Grundlagen, da könnte es noch schwierig werden oder schwierig bleiben.
Wie aber Menschen und Verwaltungen doch ganz gut auch mal zusammenarbeiten können und ja vielleicht auch gemeinsam in Vorleistung gehen können, damit's funktioniert mit der KI, das haben wir heute erfahren in Restart digital, dem Podcast des Kompetenzzentrums öffentlicher IT. Schönen Dank an Jens Tiemann und Doktor Mike Weber. Schön, dass ihr hier wart. Danke dir. Danke. Falls euch der Podcast gefallen hat, folgt uns kostenfrei auf Spotify, Apple Podcasts und vielen weiteren Apps. Und schreibt uns gern noch eine Bewertung, wenn ihr denn mögt. Tschüs und bis bald. Mein Name ist Philipp 1.
