Der Kärcher KI-Chatbot im Spiegel des EU AI Acts

Lesedauer 14 Minuten

KI-Chatbots für Unternehmen sind in aller Munde. Auch das Unternehmen Kärcher hat zusammen mit einem IT-Dienstleister einen KI-Chatbot entwickelt. Die dabei verwendeten KI-Modelle sind in der Lage, komplexe Aufgaben zu lösen sowie ein natürliches Chat-Erlebnis zu bieten. Welche Rolle spielt dabei der EU AI Act? Heute und in Zukunft. Eine ernüchternde Einschätzung – vor allem für nachgelagerte Anbieter i.S.d. EU AI Acts.

  • Dieser Beitrag nimmt eine öffentliche Case Study zum Anlass, den Impact des EU AI Acts für Chatbots zu skizzieren.
  • Die Case Study stammt vom IT-Unternehmen Zoi, das für Kärcher einen KI-Chatbot umgesetzt hat.
  • Basis der Lösung sind u.a. die KI-Modelle GPT 3.5/4. Der Chatbot wurde noch vor Verabschiedung der finalen Version des EU AI Acts implementiert.
  • Nachfolgend erfolgen Einschätzungen, welche Normen des EU AI Acts für welche Akteure in der Wertschöpfungskette relevant sein werden.
  • Am Ende erfolgt eine Übersicht möglicher Pflichten für alle Beteiligten sowie ein Wissenstest.

Normen zu diesem Beitrag, u.a.:

  • Artikel 3 Nr. 1, 3, 63, 65, 66, 68 EU AI Act
  • Artikel 50 (1) EU AI Act
  • Artikel 51 EU AI Act
  • Artikel 53 EU AI Act
  • Artikel 54 EU AI Act
  • Artikel 55 EU AI Act
  • Artikel 56 EU AI Act
  • Artikel 89 EU AI Act
  • Artikel 99 EU AI Act
  • Artikel 101 EU AI Act
  • Artikel 111 EU AI Act
  • Artikel 113 EU AI Act

Copilot mit GPT 3.5 / 4

Zunächst zum Aufhänger dieses Beitrags: Es ist eine öffentliche Case Study des IT-Dienstleisters Zoi. Das Unternehmen hat gemeinsam mit Kärcher einen Chatbot umgesetzt. Dieser beruht auf den KI-Modellen GPT 3.5 und 4. Der Chatbot wurde als browserbasierter Copilot realisiert. Er kann von ca. 15.000 Mitarbeitern genutzt werden und soll u.a. folgende Ziele unterstützen.

  • Forschung: Sammeln von Daten, Durchführung von Umfragen, Analyse von Trends im Sprachgebrauch, …
  • Ideenfindung: Ideen generieren und organisieren, Feedback geben, mit Forschungsdaten anreichern, …
  • Sprachen lernen: Sprechen, Hören, Lesen und Schreiben üben, indem man Gespräche führt und Feedback gibt, …
  • Bildungszwecke: Beantworten allgemeiner Fragen, Feedback zu Aufgaben geben, …
  • Persönliche Produktivität: Erinnerungen setzen, Notizen machen, Aufgaben verwalten, …

Kärcher verspricht sich vom Chatbot darüber hinaus einen verbesserten Kundensupport sowie Produktempfehlungen, Qualitätskontrolle, Lieferkettenmanagement und vorausschauende Wartung.

Dieser Beitrag verwendet die Informationen der Case Study als fachlichen Aufhänger, da darin wichtige Stichworte im Kontext des EU AI Acts enthalten sind. Es handelt sich bei den nachfolgenden Ausführungen insoweit um eine von den Beteiligten der Case Study vollständig unabhängige Einschätzung bzw. Bewertung. Sie beruht ausschließlich auf den in der Case Study öffentlich zugänglichen Informationen. Da es eine Reihe vergleichbarer Case Studies mit anderen Beteiligten gibt, wird der nachfolgende Inhalt möglichst allgemeingültig gehalten. Ergänzungen, Hinweise und abweichende Einschätzungen können als Kommentar zu diesem Beitrag eingefügt werden. Der EU AI Act ist in seiner finalen Version noch neu, daher sind viele der nachfolgenden Ausführungen als These zu verstehen.

Screenshot der Case Study von Kärcher und Zoi

Bemerkenswert ist im Hinblick auf den EU AI Act folgender Satz der Case Study:

„Kärcher und Zoi verfolgen bei der Nutzung der neuen KI-Tools aufmerksam die Entwicklungen der KI-Regulierung, insbesondere die vorgeschlagene EU-KI-Verordnung. Diese Verordnung zielt darauf ab, umfassende Richtlinien für KI-Systeme in der EU festzulegen, die den Einsatz von KI nach Risikostufen kategorisieren und Regeln für jede Stufe festlegen. Kärcher ist bestrebt, die bestehende Gesetzgebung frühzeitig zu berücksichtigen und gleichzeitig das Potenzial von KI auszuloten.“

Der Hinweis belegt, dass der EU AI Act und seine Risikoklassen schon vor dem Inkraftreten als relevant erachtet wurden und mit in den Entwicklungsprozess eingeflossen sind. Eine gute Strategie, denn ein Chatbot ist eine langfristige Investition, die nach Ablauf der Übergangsfristen in den AI Act „hineinwächst“. Unternehmen sollten sich daher am vorliegenden Fall ein Beispiel nehmen und u.a. die vier Risikoklassen des EU AI Acts schon jetzt auf dem Radar haben. Zu den vier Risikoklassen sei dieser Beitrag empfohlen.

1. Relevanz des EU AI Acts für Chatbots

Ganz generell stellt sich die Frage, wie sich der EU AI Act auf ein solches Projekt auswirken dürfte – egal ob bei Kärcher oder einem vergleichbaren Unternehmen.

Dazu folgende Einstiegsgedanken:

  • Zunächst ist festzustellen, dass ein solcher Chatbot ein KI-System mit allgemeinem Verwendungszweck im Sinne von Artikel 3 Nr. 1, Nr. 66 EU AI Act ist (dem wiederum ein KI-Modell von openAI/GPT mit allgemeinem Verwendungszweck zugrundeliegt, sieh Artikel 3 Nr. 1, Nr. 63 EU AI Act sowie Gründe 100).
  • KI-basierte Chatbots ermöglichen Interaktionen mit Menschen. Sie unterliegen daher in der Regel der mittleren Risikoklasse des EU AI Acts.
  • Nutzer müssen i.S.v. Artikel 50 EU AI Act daher explizit darüber informiert werden, dass sie mit einer KI kommunizieren.
  • Generell gilt: Es bestehen sowohl für Anbieter als auch Betreiber des KI-Chatbots Pflichten zur Vermittlung von KI-Kompetenz, vgl. Artikel 4 EU AI Act.

Näheres zu den Pflichten gemäß Artikel 50 EU AI Act für Anbieter und Betreiber von generativen KI-Chatbots in diesem Beitrag:

1.1 Rechtsverhältnisse

Unabhängig davon wirkt sich der EU AI Act auf die unterschiedlichen Akteure des Use Cases aus:

  • Den Anbieter des KI-Modells (hier openAI).
  • Den IT-Dienstleister, der das KI-System erstellt (hier Zoi).
  • Das Unternehmen, das den Chatbot bzw. das KI-System nutzt (hier Kärcher)
  • Die Nutzer des Chatbots als KI-System (hier Mitarbeiter von Kärcher)

Daraus resultieren mehrere (potenzielle) horizontale und vertikale Rechtsverhältnisse, die durch den EU AI Act begründet oder zumindest beeinflußt werden:

  • Bei vertikalen Rechtsverhältnissen besteht ein Über-/Unterordnungsverhältnis von Aufsichtsbehörden und den einzelnen Akteuren in ihrer jeweiligen Rolle. Der EU AI Act begründet diesbezüglich gegenseitige Rechte und Pflichten.
  • Rechtsverhältnisse können durch den EU AI Act aber auch zwischen den Akteuren begründet, beeinflusst oder klargestellt werden.
    • So betont beispielsweise Artikel 78 EU AI Act die Pflicht zur Vertraulichkeit für alle Akteure im Hinblick auf alle Informationen und Daten, in deren Besitz sie bei der Ausführung ihrer Aufgaben gelangt sind.
    • Insbesondere Artikel 53 (2) EU AI Act i.V.m. Anhang XII enthält Informationspflichten des KI-Modell-Anbieters gegenüber den (nachgelagerten) Anbietern eines KI-Systems, wenn diese ein KI-Modell in ihr KI-System integrieren.
    • Insofern ist bei einem Verstoß gegen bestimmte Pflichten des EU AI Acts ein Schadensersatz gem. § 823 II BGB denkbar. Ähnlich ist es z.B. bei der DSGVO, die zwischen privatrechtlichen Parteien auch als Schutzgesetz gilt (siehe dazu u.a. ein Urteil des LAG Hamm).

1.2 Relevanz für KI-System und KI-Modelle

Die Case Study verdeutlicht, worauf beim EU AI Act besonders zu achten ist:

  • Die Unterscheidung von Pflichten für die Beteiligten im Kontext von KI-Systemen als auch von KI-Modellen.
  • Diese Differenzierung ist in vieler Hinsicht wichtig – nicht zuletzt deshalb, weil openAI sowohl Anbieter von KI-Systemen als auch KI-Modellen ist.
  • Diese Doppelrolle kann im Einzelfall zu unterschiedlichen, z.T. parallel bestehenden Pflichten führen.

Wie gleich zu zeigen ist, gilt das auch im Hinblick auf die Beteiligten der KI-Wertschöpfungskette.

Vielen Menschen ist nicht wirklich klar, was „GPT“ von openAI ist: Ein „KI-System“, ein „KI-Modell“ oder beides? Die Unklarheit liegt u.a. darin, dass sowohl KI-Systeme als auch -Modelle häufig schlicht als „KI“ bezeichnet werden – ohne zwischen System und Modell zu differenzieren. Wie der nachfolgende Screenshot zeigt: Selbst ChatGPT 3.5 stuft sich erst einmal als KI-Modell und nicht als KI-System ein, dabei bezog sich die Frage nach der Selbsteinschätzung explizit auf „ChatGPT“, also den Chatbot und nicht auf „GPT 3.5“ oder „4“ – also die KI-Modelle dahinter.

Frage an ChatGPT: „Bist Du ein KI-System oder ein KI-Modell“?

Die Anfrage erfolgte mit ChatGPT 3.5 im Mai 2024

Ein Grund für allgemeine begriffliche Unklarheiten rund um den Begriff des KI-Systems ist u.a, dass die Definition von Artikel 3 Nr. 1 EU AI Act etwas „kryptisch“ ausgefallen ist (was bereits im Vorfeld der finalen Version des EU AI Acts für einige Kritik gesorgt hat).

2. Defintion von KI-System i.S.v. Art. 3 Nr. 1 EU AI Act

Als KI-System i.S.d. EU AI Acts gilt demnach:

„… ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können;“

Alles klar? Und was ist im Gegensatz dazu ein KI-Modell? Eine Definition für KI-Modelle fehlt bislang im EU AI Act – sie wird u.a. in den Artikeln 3 Nr. 63 und 51 ffEU AI Act mehr oder weniger vorausgesetzt. Daher wird diesem Punkt nachfolgend mehr Aufmerksamkeit gewidmet. Eine Umschreibung für KI-Modelle findet sich u.a. auf den Seiten der OECD. Das KI-Modell bildet „die Struktur und/oder Dynamik der gesamten oder eines Teils der Umgebung des Systems ab. Es basiert auf Expertenwissen und/oder Daten, die von Menschen und/oder automatisierten Instrumenten (z. B. ML-Algorithmen) bereitgestellt werden.“ Kurz: Es besteht aus spezifischen Daten und Algorithmen, ohne selbst ein autonomer Akteur zu sein. Die berechtigt wirkende Kritik an der Definition des EU AI Acts von KI-Systemen wird in einem separaten Beitrag behandelt.

Mehr zur fehlenden Definition für KI-Modelle in diesem Beitrag:

Nachfolgend verdeutlicht eine Übersicht am Beispiel von openAI/ChatGPT/GPT, was ein KI-Modell ist (wie hier auch mit allgemeinem Verwendungszweck i.S.v. Artikel 3 Nr. 63 EU AI Act) und was ein KI-System i.S.d. EU AI Acts ist.

3. KI-Modelle vs. KI-System (openAI)

Das besondere am Software-Unternehmen wie openAI ist, dass sie mehrere KI-Services anbieten, die im Sinne des EU AI Acts unterschiedlich zu bewerten sind:

  • Es gibt einen Chat als KI-System zur direkten Interaktion mit der URL chat.openai.com sowie eine Desktop-Applikation.
  • Zudem diverse KI-Modelle mit verschieden spezialisierten Daten und Algorithmen.
  • Ein und der gleiche Chatbot kann dabei mit mehreren KI-Modellen von openAI genutzt werden.

3.1 Large Language Model (LLM)

Im Hinblick auf Text sind GPT 3.5/4 als Large Language Model (LLM) zu qualifizieren. DALL-e ist ein KI-Modell zur generativen Bildgestaltung mittels Texteingabe, und GPT 4o (omni) ist ein multimodales Modell für Text als auch Bildgestaltung.

Es handelt sich bei allen Varianten mit an Sicherheit grenzender Wahrscheinlichkeit um KI-Modelle mit allgemeinem Verwendungszweck und systemischen Risiken i.S.v. Artikel 3 Nr. 65 sowie Artikel 51 EU AI Act/Anhang XIII. Dazu gleich mehr.

Merke: Spricht jemand nur von „GPT“ ist in der Regel das Modell gemeint. Wird von „ChatGPT“ gesprochen, geht es hingegen um das KI-System von openAI. Den Fall, dass der Anbieter des Chatbots als KI-System auch gleichzeitig der Anbieter eines KI-Modells ist, gibt es häufig.
In der Case Study ist es allerdings anders, denn Anbieter des KI-Chatbots mit allgemeinem Verwendungszweck i.S.v. Artikel 3 Nr. 3, Nr. 66 EU AI Act ist mit gewisser Wahrscheinlichkeit Kärcher selbst oder sogar Zoi. Im Hinblick auf das KI-Modell könnten daher Kärcher als auch Zoi als „nachgelagerte Anbieter“ i.S.v. Artikel 3 Nr. 68 EU AI Act gelten. Dazu gleich mehr im Kontext der KI-Wertschöpfungskette.

Überträgt man den Vergleich von KI-Modell und KI-System auf den hier skizzierten Use Case, dann:

  • Nutzt Kärcher zwei LLM-KI-Modelle von openAI, nämlich die Versionen 3.5 und 4.
  • Nicht genutzt wird hingegen der Chatbot von openAI,
  • vielmehr wurde eine eigene Chatbot-Instanz mit eigener Oberfläche erstellt, dessen Anbieter sowie dessen „nachgelagerter“ Anbieter im Hinblick auf das KI-Modell der IT-Dienstleister oder dessen Kunde sein dürfte.
  • Zugleich erwähnt wird Microsoft Copilot – dieser ist (falls nicht individualisiert) ein separates KI-System, das in Office 365 integriert ist. Möglicherweise werden sogar mehrere KI-Systeme parallel betrieben, die wie „ein einzelner KI-Chatbot“ erscheinen.

3.2 Individualisierung

Das nach Aussage der Case Study individualisierte Chatbot-Frontend ist im Regelfall weit mehr als „nur“ ein verbessertes „Interface-Design“: Hier geht es vielmehr um die Individualisierung bzw. Erweiterung des KI-Modells als auch des KI-Systems:

  • Das Modell ist über eine besonders geschützte API an den Chatbot angeschlossen, so dass die original-KI-Modelle von openAI durch die firmeninterne Nutzung nicht weiter trainiert werden. Zudem kann openAI auch nicht wissen, wie die Instanz genutzt wird, z.B. wonach gesucht wird.
  • Häufig werden interne Daten an das KI-System angeschlossen (z.B. zum Zweck der intelligenten Suche im Intranet oder einer Website). Schon dieser Schritt könnte je nach Ausprägung im Einzelfall zur Veränderung der (nachgelagerten) Anbieterschaft eines KI-Systems bzw. KI-Modells beitragen.
  • Die Individualisierung wird zu diesem Zweck z.B. in einer Container App so umgesetzt, dass u.a ein Role Based Access-Controll via LDAP möglich ist, also eine rollenspezifische Nutzung vorab selektierter Inhalte (ähnlich einem Firmen-Intranet).
  • So kann z.B. ein Geschäftsführer, ein HR-Mitarbeiter oder ein Werksleiter auf jeweils unterschiedliche Dokumente mit variierender Geheimhaltung zugreifen. Zudem können auf diese Art spezifische Fachbegriffe des jeweiligen Unternehmens trainiert werden, die das Ausgangsmodell nicht kennt.
  • Schließlich können auf diese Art auch firmentypische Sprachstile „feinjustiert“ werden. Ebenfalls ist der Kontext des Inputs steuerbar.

Die Hinweise in der Case Study zu den vielen unterschiedlichen Use Cases (s.o.) zeigt, dass viele Individualisierungen erfolgt sind oder noch erfolgen werden. Dies führt nahezu von selbst dazu, dass der Chatbot als KI-System mit allgemeinem Verwendungszweck erscheint und inklusive der darin verwendeten KI-Modelle nachgelagerte Anbieter besitzen kann – mit allen sich daraus ergebenden Pflichten (s.u.).

Zur Frage Anbieter vs Betreiber im Fall der Individualisierung mehr in diesem Beitrag:

4. KI-Wertschöpfungskette

Wie im Einzelfall die Konstellation ausgestaltet ist, kann und soll hier aus Mangel an Detailinformation dahingestellt bleiben. Es kann allerdings gesagt werden, dass in ähnlichen Konstellationen die nachfolgend exemplarisch skizzierte IT-Infrastruktur verwendet wird:

Technische Übersicht (exemplarisch):

4.1 Umsetzungsvarianten

Diese stark vereinfachte Übersicht ist in verschiedenen Varianten umsetzbar:

  • So kann z.B. ein IT-Dienstleister eine eigene Lizenz von GPT erwerben, dann mittels einer API mit zusätzlichen eigenen Services auf eigenen Servern verbinden und als individualisierbares „Paket“ in geschützter Umgebung an Kunden weiterreichen.
  • Es kann aber auch so sein, dass der IT-Dienstleister selbst keine KI-Services anbietet und allein auf den KI-Infrastrukturen des Endkunden arbeitet und dieser die Lizenzen erwirbt. So sind einige KI-Modelle (häufig als Open-Source-Variante) auch on Premise nutzbar – dann ist der IT-Dienstleister in der Regel nur ein „Werkzeug“, also selbst weder Anbieter noch Betreiber.
  • Jede Konstallation hat andere Auswirkungen auf die KI-Wertschöpfungskette sowie die sich daraus ergebenden Pflichten der (nachgelagerten) Anbieter von KI-System und KI-Modell.

Wie im Punkt „Konsequenzen“ dargestellt wird, haben die unterschiedlichen Konstellationen unmittelbare Auswirkungen auf die mit einem Chatbot einhergenden Aufwände auf Seiten des IT-Dienstleisters! Diese wiederum spielen eine wichtige Rolle bei der Kalkulation der auf KI beruhenden Geschäftsmodelle.

Anbieter des ursprünglichen KI-Modells auf der linken Seite wird daher meist ein Unternehmen wie openAI oder ein anderer Anbieter eines KI-Modells mit allgemeinem Verwendungszweck sein (z.B. Meta, Aleph Alpha, Mistral, google, AWS) – es sei denn, es ist ein selbstentwickeltes KI-Modell (z.B. mit Python). Alles rechts davon sind (mit Ausnahme der reinen Nutzer) potenzielle nachgelagerte Anbieter i.S.v. Artikel 3 Nr. 68 EU AI Act im Hinblick auf das KI-Modell.

4.2 Verschachtelte Anbieter

Die nachfolgende Übersicht ist eine starke Vereinfachung der sich daraus ergebenden KI-Wertschöpfungskette, bei der mehrere Akteure verschachtelte (nachgeschaltete) Anbieterverhältnisse bewirken können. Wann welche Konstellation einschlägig ist, muss im Einzelfall geprüft werden.

KI-Werschöpfungskette und (nachgelagerte) Anbieterschaft

Die Inhalte der Übersicht wurden an verschiedenen Stellen mit Fragezeichen versehen, weil in dieser Wertschöpfungskette vieles der Fall sein kann, aber nichts muss. Der Einzelfall entscheidet – auch über die Pflichten der unterschiedlichen Akteure. Zudem gibt es im EU AI Act eigentlich keine Rolle des „nachgelagerten Anbieters für KI-Systeme“ – diese besteht rechtlich nur für GPAI-Modelle. Faktisch kann aber eine vergleichbare Rolle bei mehrfach verschachtelten KI-Systemen und KI-Modellen entstehen, daher wird die Bezeichnung trotzdem verwendet. Sie ist für KI-Systeme auch in ähnlicher Form in den Ziffern 101 und 133 der Begründung zu finden (nur eben nicht in den Artikeln).

Die nachfolgende Übersicht der sich daraus ergebenden Konsequenzen zeigt: Das ist eine „Menge Holz“, die künftig auf die Beteiligten in der KI-Wertschöpfungskette zukommen dürfte. Der Grund sind u.a. die nachgelagerten Anbieterschaften, die im Einzelfall sowohl das KI-Modell als auch zusätzlich noch das KI-System betreffen können.

5. Pflichten für die Beteiligten

Auf Basis der vorherigen Skizze lassen sich nun unterschiedliche Pflichten für die einzelnen Akteure ableiten (exemplarisch und nicht abschließend):

  1. Anbieter und Betreiber müssen die Pflicht zur Vermittlung von KI-Kompetenz i.S.v. Artikel 4 EU AI Act erfüllen. Die Anbieter im Hinblick auf das KI-Modell als auch das KI-System. Die Betreiber nur im Hinblick auf das KI-System.
  2. openAI muss als Anbieter von KI-Modellen mit allgemeinem Verwendungszweck, die ein systemisches Risiko i.S.v. Artikel 51 EU AI Act beinhalten, folgende Pflichten beachten:
    • Zunächst greift Artikel 53 (1) EU AI Act/Anhang XII (technische Dokumentation, Weitergabe an Anbieter von KI-System, Strategie zur Einhaltung des Urheberrechts, Dokumentation der Trainingsinhalte)
      • Da openAI kein Open-Source-Modell ist, greift die Ausnahme von Absatz 2 nicht.
      • Erforderlich ist die Kooperation mit Behörden (Absatz 3).
      • Beachtet werden sollte zudem das Erstellen von Verhaltenskodizes i.S.v. Absatz 4 sowie ergänzend Artikel 56 (3) EU AI Act
    • Falls noch nicht vorhanden, ist für das US-Unternehmen ein Bevollmächtigter erforderlich (Artikel 54 EU AI Act).
    • Notwendig ist mutmaßlich auch die Umsetzung von Artikel 55 EU AI Act:
      • Dies umfasst eine Modellbewertung i.S.v. Absatz 1 a),
      • eine Dokumentation schwerwiegender Vorfälle i.S.v. Absatz 1 c),
      • die Umsetzung erweiterter Cyber Security Vorgaben gemäß Absatz 1 d),
      • die zwischenzeitliche Nutzung von Verhaltenskodizes gemäß Absatz 2.
  3. Beim IT-Dienstleister kann es zur Rolle des primären Anbieters eines KI-Systems und damit auch zur Rolle des nachgelagerten Anbieters des KI-Modells kommen (je nach Vertragsgestaltung mit dem Modellanbieter und dem Kunden: Wer bringt die KI am Ende wie in den Verkehr?).
    • Wird der Chatbot z.B. mit eigenem Namen und einer dem IT-Dienstleister zuzuordnenden URL angeboten, so ist dieser mit hoher Wahrscheinlichkeit selbst primärer Anbieter des KI-Systems, muss also seinerseits u.a. die Transparenzpflichten von Artikel 50 EU AI Act beachten.
    • Als Anbieter des KI-Systems kann er auch nachgelagerter Anbieter des KI-Modells i.S.v. Artikel 3 Nr. 68 EU AI Act sein. Dadurch „erbt“ er sowohl die Rechte als auch – zumindest potenziell – die Pflichten im Sinne von Anhang XII, die auch openAI bzw. ein anderer KI-Modell-Anbieter besitzt.
    • D.h. dass viele der zuvor unter Punkt 1 aufgezählten Pflichten des KI-Modell-Anbieters in Richtung Kunden, aber auch gegenüber Behörden erfüllt werden müssen.
      • Sollte am Ende der Kunde das KI-System betreiben, umfaßt dies die umfassende Beschreibung des KI-Modells gemäß Absatz 1 (u.a. Architektur, Eingaben u. Ausgaben sowie Lizenzen).
      • Da im Use Case zwei Modelle verwendet werden, gilt dies grds. für die Beschreibung beider Modelle.
      • Hinzu kommen Pflichten nach Absatz 2, darunter die Modellbeschreibung und die Dokumentation von Trainingsdaten.
      • Besonders knifflig könnten u.a. die Nachweise bzgl. Cybersecurity werden, wenn es ein KI-Modell eines Hyperscalers ist.
    • Wichtig: Als nachgelagertem Anbieter stehen dem IT-Dienstleister auch die Beschwerderechte nach Artikel 89 (2) EU AI Act gegenüber dem KI-Modellanbieter zu.
    • Die wichtige Rolle des nachgelagerten Anbieters wird insbesondere in Begründung (101) noch einmal ausführlich klargestellt.
    • Übergreifend zu beachten sind noch die verschiedenen Vertraulichkeitspflichten der Artikel 51 ff EU AI Act.
  4. Beim anwendenden Unternehmen kann ebenfalls die Anbieterschaft des Chatbots als KI-System liegen. Er kann aber auch lediglich Betreiber sein.
    • Ist der Kunde selbst der Anbieter des KI-Systems, so gelten für ihn die Pflichten des IT-Dienstleisters bzgl. der Anbieterschaft eines KI-Systems in vergleichbarer Form.
    • Umgekehrt erhält er auch die Rechte als nachgelagerter Anbieter eines KI-Modells gem. Anhang XII – sei es direkt vom Anbieter des KI-Modells oder (in Form gestaffelter Nachlagerung) vom IT-Dienstleister.
    • Ist der Kunde hingegen lediglich Betreiber des KI-Systes, so hat er vor allem die Betreiberpflichten zu beachten, darunter jene von Artikel 50 (4) EU AI Act.

Die „Sandwich-Position“ des IT-Dienstleisters wird sicherlich in der Praxis noch viele Fragen rund um die konkreten Pflichten im Fall der nachgelagerten Anbieterschaft i.S.d. EU AI Acts aufwerfen. Bis hier Klarheit herrscht, sollte man als IT-Dienstleister auf jeden Fall ein grundsätzliches Problembewusstsein haben, bevor man langfristige Verträge mit KI-Modellanbietern oder Kunden schließt, in denen man selbst (ohne Bewusstsein) viele der genannten Pflichten übernimmt, die mit Gültigkeit des EU AI Acts entstehen/bestehen. Und: Über all die genannten Themen hinaus gilt es natürlich auf allen Seiten eine Reihe sonstiger rechtlicher Aspekte zu beachten, darunter Haftungsregelungen, Datenschutzaspekte, arbeitsrechtliche Fragen oder Urheber- bzw. Nutzungsrechte. Speziell im Hinblick auf das Thema Bildung oder Recruiting ist zu beachten, dass es nicht zu Verstößen gegen Artikel 5 EU AI Act kommt.

6. Fristen und Sanktionen

Es handelt sich bei einem Chatbot um ein KI-System mittleren Risikos. Gemäß den Übergangsfristen von Artikel 113 EU AI Act hat die Umsetzung der Vorgaben von Artikel 50 EU AI Act für KI-Systeme bis 24 Monate nach dem Datum des Inkrafttretens des EU AI Acts verbindlich zu erfolgen – dies ist der 2. August 2026.

Die Normen von Kapitel V (Artikel 51 ff EU AI Act) für KI-Modelle mit allgemeinem Verwendungszweck mit und ohne systemische Risiken müssen hingegen bereits 12 Monate nach Inkrafttreten umgesetzt sein – dies ist der 2. August 2025. Hinzu kommt die Pflicht, bis zum 2. Mai 2025 Verhaltenskodizes umzusetzen.

Im Hinblick auf Sanktionen kann die Nichtumsetzung bei KI-Systemen i.S.v. Artikel 50 EU AI Act Bußgelder von bis zu € 15 Mio. oder 3% vom Umsatz zur Folge haben, vgl. Artikel 99 EU AI Act. Bei KI-Modellen drohen im Fall von Verstößen entsprechende Beträge gemäß Artikel 101 EU AI Act.

7. Verfahrensvorschriften

Speziell für die Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (hier openAI) gilt es, einige Verfahrensvorschriften zu kennen, die z.T. auch für nachgelagerte Anbieter von KI-Modellen relevant sein werden:

  • Artikel 66 c) EU AI Act zur Umsetzungsberatung durch den Ausschuss
  • Artikel 88 EU AI Act zur Durchsetzung und Befugnissen
  • Artikel 89 EU AI Act zu möglichen Maßnahmen und Beschwerden
  • Artikel 90 EU AI Act zu Warnungen des wissenschaftlichen Gremiums im Hinblick auf KI-Modelle
  • Artikel 91 EU AI Act zur Anforderung der Dokumentation
  • Artikel 92 EU AI Act zur Bewertung und dem Zugang zum KI-Modell
  • Artikel 93 EU AI Act zum Dialog mit Kommission und Verpflichtungszusagen
  • Artikel 94 EU AI Act mit Verweis auf Artikel 18 Produkteverordnung
  • Artikel 111 (3) EU AI Act zum Bestandsschutz und gesonderten Übergangsfristen
  • Artikel 112 (6) EU AI Act zur laufenden Beurteilung und Berichten zu KI-Modellen

Da es vorliegend um ein KI-System mit allgemeinem Verwendungszweck geht (siehe Artikel 3 Nr. 66 EU AI Act sowie Gründe 101), ist die Vorschrift des Artikels 75 (1) EU AI Act im Hinblick auf die aufsichtsbezogene Zuständigkeit zu prüfen. Weil der Anbieter des KI-Modells jedoch mit hoher Wahrscheinlichkeit nicht zugleich Anbieter des finalen KI-Systems ist, greift die Vorschrift voraussichtlich nicht.

Aber: Generell Vorsicht mit Absatz 2! Danach können faktische Hochrisiko-Fälle bei nur einem von mehreren Zwecken eines KI-Systems mit allgemeinem Verwendungszweck von den Aufsichtsbehörden eigeninitiativ unter die Lupe genommen werden. Entsprechend der Auflistung der geplanten Use Cases (s.o.) besteht wohl kein Anlass für einen entsprechenden Verdacht.

Artikel 40 (2) EU AI Act zu künftigen konkretisierenden Normen u.a. zu Ressourcenverbrauch bezieht sich auch auf KI-Modelle, ist aber nicht einschlägig, da es vorliegend kein Hochrisiko-KI-System ist.

Anders als bei Hochrisiko-KI-Systemen muss der hier untersuchte Chatbot nicht in eine Datenbank eingetragen werden. Er muss auch nicht anderweitig gemeldet oder angezeigt werden – zumal es keine regulierte Branche ist, in der er genutzt wird. Insofern fragt sich, wie die Prüfung der Einhaltung in diesen und vergleichbaren Fällen künftig erfolgen wird. Die Antwort könnte so lauten: Z.B. dann, wenn ein Beschwerdeführer (Artikel 85 EU AI Act) oder ein Hinweisgeber dafür Anlass geben (Artikel 87 EU AI Act). Im Hinblick auf die zu erwartende Ahndung von Verstößen sollte man auch den europäischen Vergleich zur DSGVO beachten.

8. Fazit

Selbst wenn nicht alle der zuvor skizzierten Aspekte im Einzelfall zutreffen müssen, so zeigt sich doch, dass der Chatbot als eine der vielleicht wichtigsten wirtschaftlichen KI-Anwendungen trotz der Einstufung mit „mittlerem Risiko“ eine Menge regulatorischer Aufwände verursachen kann.

Dies ist insbesondere dann der Fall, wenn innerhalb der KI-Wertschöpfungskette KI-Modelle mit (potenziell mehrfach) nachgelagerten Anbietern eingesetzt werden. Sind es zudem KI-Modelle, die systemische Risiken beinhalten, wird es besonders anspruchsvoll. KI-Modelle auf Basis von Open-Source können hingegen die diesbezüglichen Aufwände an verschiedenen Stellen deutlich verringern.

Der Beitrag verdeutlicht u.a. auch, dass sowohl IT-Unternehmen als auch deren Kunden schon jetzt alle Aspekte beachten bzw. prüfen sollten, die nach Ablauf der jeweiligen Übergangsfristen so oder so verpflichtet umgesetzt sein müssen.

Man sieht: Es kann einiges auf Chatbetreiber zukommen! Neben den zuvor skizzierten rechtlichen Aspekten hat die nachgelagerte Anbieterschaft nicht zuletzt auch einen wesentlichen Einfluss auf die Geschäftsmodelle bzw. die ROI-Kalkulation – vor allem bei IT-Unternehmen. Da es aktuell noch etwas zu früh ist, alle dafür relevanten Aspekte bewerten zu wollen, sei auf jeden Fall angeraten, früh mit Kunden über die Ausgestaltung langfristiger Verträge zu sprechen, und wie unter welchen Umständen welche Szenarien wahrscheinlich erscheinen. So kann es z.B. Sinn machen, einen Piloten mit einer Instanz des IT-Unternehmens zu machen und die finale Lösung direkt beim Kunden umzusetzen, um nachgeschaltete Anbieterkonstellationen zu vermeiden. Wie so oft entscheidet auch hier häufig der Einzelfall.


Zum Schluss noch ein Test zu Chatbots und nachgelagerten Anbietern:

Quiz zu Chatbots und nachgelagerten Anbieterkonstellationen

In diesem Quiz haben wir fünf Fragen zum Thema Chatbots und nachgelagerte Anbieterverhältnisse für Dich zusammengestellt.

1 / 5

Was ist ein Chatbot?

2 / 5

Wieso sollte der EU AI Act bei Chatbots schon jetzt unbedingt beachtet werden (mehrere Antworten möglich)?

3 / 5

Ist "GPT 4" ein KI-Modell oder ein KI-System

4 / 5

Kann ein IT-Unternehmen ein nachgelagerter Anbieter eines KI-Modells sein?

5 / 5

Aus welchem Anhang des EU AI Acts ergeben sich Pflichten für nachgelagerte Anbieter von KI-Modellen?

Your score is

Die durchschnittliche Punktzahl ist 73%

0%

Über den Autor:

Schreibe den ersten Kommentar

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert