KI-Regulierung: Leitplanken für Vertrauen erfolgreich umsetzen

Die von der EU dargelegten Schlüsselprinzipien für vertrauenswürdige KI fordern von Banken eine integrierte Orchestrierungsplattform für datengesteuerte Entscheidungen. Diese muss durchgängig Compliance und Governance sicherstellen.

Banken müssen nicht nur Daten- und KI-basierte Anwendungen entwickeln, sondern diese Prozesse auch vertrauenswürdig gestalten.

Partner des Bank Blogs

Vertrauenswürdige KI bezeichnet Anwendungen Künstlicher Intelligenz, die gesetzeskonform, ethisch und robust sind, also auch in Randfällen zuverlässige Ergebnisse liefern. Banken haben ein großes Interesse daran, ihre KI-Anwendungen aktiv und bewusst zu managen, denn dem erwarteten Nutzen stehen Reputationsrisiken, mögliche finanzielle Schäden und zahlreiche Regularien, nicht zuletzt die KI-Verordnung der EU, gegenüber.

Im ersten Teil dieses Beitrags ging es um die Frage, welche Leitlinien für die Entwicklung vertrauenswürdiger KI gelten. Ein Beispiel für Hyperpersonalisierung in der Kundenkommunikation hat verdeutlicht, dass solche Anwendungen aufgrund ihrer Komplexität auf eine Vielzahl von internen und externen Datenquellen angewiesen sind. Sie integrieren Echtzeitinformationen, nutzen eine Mischung aus Vorhersagemodellen, die auf maschinellem Lernen basieren, sowie Geschäftsregeln und generative KI-Technologien.

Wie werden derartige Daten- und KI-basierte Anwendungen in der Praxis eigentlich entwickelt? Und was wird benötigt, um diese Entwicklungsprozesse vertrauenswürdig zu gestalten?

Entwicklungsprozess vertrauenswürdiger KI

In Bezug auf vertrauenswürdige KI wird häufig der engere Data-Science-Prozess in den Blick genommen und von Erklärbarkeit von KI-Modellen (Explainable AI, XAI) gesprochen. Das ist ein wesentlicher Aspekt, denn er untersucht KI-Algorithmen auf systematische Verzerrungen (den sogenannten Bias) und Diskriminierungen und kann mit diagnostischen Methoden einen Blick in die Black-Box ermöglichen. Allerdings sind KI-Anwendungen und maschinelles Lernen immer auch Teil eines größeren Daten- und Entscheidungsökosystems, wie das Beispiel der personalisierten Kundenansprache zeigt, und daher müssen wir die Perspektive hier deutlich weiten. Ein modernes Projekt zur KI-Entscheidungsautomatiserung folgt einem sehr verschränkten Prozess, der agile Entwicklungsmethoden für datenbasierte Anwendungen, Data Science und Software zusammenbringt.

Die folgende Grafik skizziert diese Abläufe, in denen (stark vereinfacht) zunächst das zu lösende Problem (z.B. die Berechnung der Preissensitivität) so formuliert wird, dass es datengetrieben beantwortet werden kann. Passende Daten für diesen Zweck werden dann lokalisiert (oder erst noch erhoben oder eingekauft), auf ihre Nutzbarkeit in Punkto Qualität, Datenschutz und fachlicher Passung geprüft und für das maschinelle Lernen aufbereitet.

Die Entwicklung von KI-Anwendungen umfasst Datenfindung, Training des maschinellen Lernens, Bereitstellung von KI-Modellen und Integration in Datenanwendungen (vgl. S.C. Gupta). Dieser Prozess involviert viele Beteiligte.

Soll das entstehende Modell auch produktiv genutzt werden (was ja meistens der Fall ist), müssen noch Datenstrecken gebaut werden, die diese Aufbereitung später automatisiert übernehmen. Hat das Data Science Team schließlich ein Entscheidungsmodell trainiert, muss dieses in ein operatives Programm eingebettet werden, das dann z.B. Teil der personalisierten Kundeninteraktion wird.

Damit aber nicht genug: Die entstandene Anwendung ist ja datenbasiert und reflektiert Muster, die zum Zeitpunkt des Trainings und der Validierung gültig waren. Solche Muster können sich im Laufe der Zeit ändern und müssen daher immer wieder in der Praxis geprüft werden. Eventuell ist dann eine Anpassung der Anwendung an verschiedenen Stellschrauben nötig – und der Zyklus wird wieder durchlaufen.

Komplexer Prozess mit vielen Fragen

Dieser Prozess ist offensichtlich komplex und beschäftigt viele Mitarbeiter und Mitarbeiterinnen mit sehr unterschiedlichen Rollen im Unternehmen: Neben dem Bereich Data Science und Data Engineering sind zum Beispiel Expertinnen und Experten aus den betroffenen Fachbereichen führend in der Konzeption, Bewertung und Interpretation von Daten. Führungskräfte tragen Verantwortung und geben strategische Richtungen vor oder entscheiden über die Risikoeinschätzung der KI-Anwendung als Ganzes.

Hierbei stellen sich viele Fragen, die für jeden Beteiligten beantwortbar sein müssen:

• Welche Daten haben wir überhaupt?
• Welche müssen wir extern beschaffen?
• Dürfen wir die Daten für den beabsichtigten Zweck verwenden?
• Wie ist die Nutzbarkeit, Bedeutung, Qualität der Daten und wer ist fachlicher oder technischer Ansprechpartner?
• Wo liegen die Daten und wie können wir auf sie zugreifen?

Schließlich werden datenbasierte Anwendungen in der IT entwickelt, getestet, ausgerollt und betrieben.

Konsequente Umsetzung der Leitlinien

Die konsequente Umsetzung der Leitlinien der High-Level Expert Group in dieser Gemengelage ist natürlich eine Herausforderung, nicht zuletzt da sie den gesamten Datenbewirtschaftungs­zyklus miteinschließt. Geschieht die Umsetzung der Richtlinien „mit der Hand am Arm“ und wenig orchestriert, können sich die Kosten für die Umsetzung vervielfältigen: durch unnötige Projekte, den uneinheitlichen Einsatz von Systemen und Methoden im gesamten Unternehmen oder die Notwendigkeit, komplexe Architekturen zu überarbeiten, wenn sich die Anforderungen oder gesetzlichen Rahmenbedingungen ändern.

Nicht zuletzt führt eine inkonsistente Umsetzung aber zu erheblichen Verzögerungen in den Innovationszyklen – und stellt damit die wirtschaftliche Erwartung an den Einsatz von KI in Frage. Ziel muss also sein, eine gute Governance zu gewährleisten, ohne den Prozess unnötig auszubremsen.

Zentral verwaltete Prozesse für vertrauenswürdige KI

Letzten Endes legen die von der EU dargelegten Schlüsselprinzipien eine starke und integrierte Orchestrierungsplattform für datengesteuerte Entscheidungsfindung nahe, die durchgängig Compliance und Governance sicherstellen kann, und zwar von den Daten bis zur Entscheidung.

Eine integrierte Plattform bedeutet dabei nicht, dass alle Prozesse, Details und Werkzeugentscheidungen zentral vorgegeben sind. Vielmehr ist eine gemeinsame Infrastruktur gemeint, die Vielfalt dort ermöglicht, wo sie sinnvoll ist, und Gemeinsamkeiten dort fördert (oder auch durchsetzt), wo sie nötig sind. Es geht um die richtige Balance zwischen zentralem Management und verteilter Verantwortung.

Aber welche Prozesse sollten im Sinne vertrauenswürdiger KI eher zentral innerhalb einer Plattform vorgegeben sein?

Governance von Daten und Datenverarbeitungsprozessen

Data Governance und Datenqualität sind grundlegend, und die Plattform muss Fragen beantworten können wie zum Beispiel: Welche Daten dürfen zu welchem Zweck von wem verwendet werden? Wie dürfen Daten angezeigt werden (Maskierung, Anonymisierung, …)? Ist die Qualität der Daten gut genug für solide Entscheidungen? Sind die Daten systematisch auf Verzerrungen (Bias) untersucht worden? Haben verschiedene gesetzlich geschützte Gruppen (z.B. unterschiedlichen Geschlechts oder Alters oder verschiedener Herkunft) eine vergleichbar gute Datenqualität oder müssen aufgrund unterschiedlicher Voraussetzungen mögliche Diskriminierungen ausgeglichen werden?

Hierzu ist ein zentrales und organisiertes Metadaten-Repository notwendig, welches diese Inhalte verwaltet und miteinander in Beziehung setzt und auch Datenverträge (im Sinne von Datenprodukten) bereithält, die den Verwendungszweck, das fachliche und technische Datenschema und die Datenqualitätsvoraussetzungen klären.

Gleichzeitig sollten hier „Blueprints“ für zentrale Prozesse hinterlegt werden, zum Beispiel: Welche Datenqualitäts-Checks müssen vorgenommen werden, um Daten in das Lakehouse, das DWH oder den Data Lake zu überführen? Welche Transparenz- und Fairness-Checks müssen vor Inbetriebnahme von Entscheidungsregeln jeder Art vorgenommen werden? An welchen Stellen müssen welche Bias-Checks und Erklärbarkeits-Instrumente eingesetzt und dokumentiert werden?

Zentrale Dokumentation über Erklärbarkeit und Fairness verwendeter KI-Modelle

Transparenz bedeutet, dass wichtige Informationen über KI-Modelle und deren Verwendung von allen relevanten Beteiligten einsehbar und nachvollziehbar sind. Dazu gehört eine Übersicht, welche Modelle in welchen Anwendungen mit welchem Ziel eingesetzt werden. Für einzelne Modelle werden sogenannte „Model Cards“ verwendet, die unter anderem die Modellparameter auflisten, wie sie gewichtet sind und wie sie die Vorhersagen beeinflussen. Auch die Ergebnisse der Modellinspektion gehören in eine solche zentrale Dokumentation. Sie umfasst die Erklärbarkeit einzelner Vorhersagen (man spricht von lokaler Erklärbarkeit) oder die globale Erklärbarkeit des gesamten Modells, also: Welche Merkmale sind allgemein wichtig? Welche Muster erkennt das Modell?

Die Dokumentation sollte aufzeigen, wie das Modell auf verschiedene Bevölkerungsgruppen wirkt. Im Beispiel der Hyperpersonalisierung wurde die Preissensitivität aller Kunden ermittelt. Ist diese für alle Geschlechter gleichermaßen fair?  Wenn ein Bias erkannt wird (z. B. geschlechtsbezogene oder ethnische Ungleichheiten), sollten Maßnahmen zur Behandlung dieses Bias beschrieben werden, etwa die Neugewichtung von Daten für das Training, die Anpassung von Modellparametern oder die Anpassung von Entscheidungsgrenzen in nachgelagerten Geschäftsregeln (in denen der Bias dann bewusst ausgeglichen wird). Wesentlich ist: Dieser Ausgleich muss auf Nachfrage nachvollziehbar und erklärbar sein, sowohl für KI-Experten als auch für fachliche Mitarbeiter, Managementverantwortliche – und nicht zuletzt betroffene Kunden und Kundinnen.

Sichere Bereitstellung von KI-Modellen

Das Deployment, d.h. die sichere Bereitstellung von KI-Modellen von der Entwicklung in die produktive Anwendung erfordert eine ganzheitliche Herangehensweise, die technische, organisatorische und prozessuale Aspekte berücksichtigt. Auch hier sollte ein „Blueprint“ für einen Deployment-Prozess bereitgestellt werden, der Verschlüsselung und eine Integritätsprüfung nach der Übertragung aus der Entwicklungs- in die Produktionsumgebung vorsieht und sicherstellt, dass nur autorisierte Benutzer auf die Modelle zugreifen können. Versionskontrollen helfen, Änderungen nachzuvollziehen.

Die von der EU geforderte technische Robustheit erfordert auch einen Ausweichplan für den Fall von Problemen mit kritischen KI-Modellen. Dies kann bedeuten, dass KI-Systeme von einem statistischen zu einem regelbasierten Verfahren wechseln, das von Fachexperten entworfen und verwaltet wird. Diese Regelwerke sollten, wo erforderlich, ebenfalls mit den KI-Modellen bereitgestellt werden.

Und natürlich sollte eine Plattform, in der alle datenbasierten Entscheidungen ablaufen, sowohl im Batch-Betrieb als auch für Echtzeit-Kundendaten oder für Streaming-Daten (z.B. bei der Überwachung von Finanztransaktionen) funktionieren und skalieren.

Überwachen der gesamten Daten- und Entscheidungspipeline

Das Monitoring umfasst das Überwachen der „Gesundheit“ der gesamten Daten- und Entscheidungspipeline und der Modellausführung in Echtzeit, um unerwartete Abweichungen und Probleme zu erkennen:

• Welche Daten, KI-Modelle und Geschäftsregeln sind wo im Entscheidungsprozess aktiv?
• Wie gut ist aktuell die Vorhersagequalität der Modelle?
• Wie ist der aktuelle Status der Datenqualität der zuliefernden Komponenten, die ja Grundlage für gute Entscheidungen ist?
• Wie verändern sich die Daten im Laufe der Zeit?
• Gibt es saisonale Schwankungen, Veränderungen von Mustern, z.B. neue Kundenpräferenzen oder Marktbedingungen?

In solchen Fällen sprechen Experten von Daten-Drift, der die Zuverlässigkeit der Modelle negativ beeinflussen kann. Solch eine Veränderung der Datengrundlage über die Zeit lässt sich durch Beobachtung der statistischen Parameter der Daten, z.B. Populationskennzahlen, gut erkennen und sollte im Gesamtkontext mit den anderen hier skizzierten Informationen zentral zur Verfügung stehen. Im Sinne der erforderlichen Fairness automatisierter Entscheidungen kann es auch notwendig sein, Vorhersagen, die für unterschiedliche demografische Gruppen getroffen werden, systematisch zu überwachen.

Weitere Merkmale einer Plattform für KI-Governance

Mitbringen sollte eine solche Plattform neben diesen zentralen Funktionen und Eigenschaften noch einige weitere Merkmale:

• Technische und fachliche Mitarbeiter und Mitarbeiterinnen, Data Scientists und das Management sind für den Gesamtprozess verantwortlich. Eine Plattform für KI-Governance muss folglich diesen unterschiedlichen Anwenderrollen offen stehen.
• Alle Anspruchsgruppen benötigen aus ihrer jeweiligen Perspektive Antworten auf zentrale Governance-Fragen:
  • Wie sieht die gesamte Entscheidungskette von den Daten über alle KI-Modelle, Geschäftsregeln oder GenAI-Komponenten aus?
  • Wie fließen Daten durch diese Pipeline?
  • Wo kommen die Daten jeweils her und wo haben Compliance-Prüfungen stattgefunden?
  • Wie werden sie im Laufe des Prozesses verändert?
  • Wie verändert sich die Datenqualität entlang der Messpunkte in der Kette?
  • Verändern sich die Daten über die Zeit und machen eventuell veränderte Muster in den Daten die Regeln und KI-Modelle so anfällig für Fehler?
  • Wie gut ist die Performance der Entscheidungsmodelle zu jeder Zeit?
• Eine Visualisierung, welche sowohl die fachliche Logik als auch die technischen Datenflüsse aufzeigt und Governance- sowie Daten- und Modellqualitätsinformationen integriert bereithält, kann den Kontrollauftrag massiv erleichtern.
• Eine direkte Verbindung der Plattform zur tatsächlichen Datenverarbeitung (also über reine Dashboards hinaus) ist essenziell, weil nur so die konsistente und effektive Verarbeitung von Daten, Regeln und Modellen umgesetzt werden kann.
• Wenn schließlich noch die Auditierbarkeit durch automatische Dokumentation, gute Visualisierung und konsequentes Logging von Ereignissen und Veränderungen unterstützt wird, gelingt auch der Nachweis, dass das System vertrauenswürdig ist, viel einfacher.

KI-Governance als Bestandteil der Datenstrategie

KI-Governance muss zwingender Bestandteil der Datenstrategie einer jeden Bank sein. Entscheidend dabei ist, das eigene Daten- und Entscheidungsökosystem ganzheitlich zu betrachten, denn die von der EU dargelegten Schlüsselprinzipien fordern eine starke Orchestrierungsplattform für datengesteuerte Entscheidungsfindung.

Es ist nicht zielführend, ein „gallisches Dorf“ im Data Science Umfeld zu schaffen: Die Umsetzung vertrauenswürdiger KI, nicht nur im Sinne des EU-AI-Act, umfasst den gesamten Datenmanagementzyklus.

Alle Banken haben mit Data Governance und Datenqualität bereits aus regulatorischen Gründen Erfahrungen gesammelt. Im Grunde bedeutet KI-Governance, dass bereits bekannte Prinzipien konsequent ausgeweitet und ergänzt werden. Mit dieser umfassenden Sicht und der Wiederverwendung von Prinzipien und Systemen sind Banken zukunftssicher und effizient aufgestellt für kommende Vorschriften zu KI in der EU und weltweit.