KI-Regulierung: Leitplanken für Vertrauen

Künstliche Intelligenz ist aus der Bankenwelt nicht mehr wegzudenken, birgt aber auch Risiken. Banken sollten die Treiber hinter sicherer und ethischer KI kennen und wissen, welche Aspekte für die Umsetzung vertrauenswürdiger KI wichtig sind.

Banken sollten wissen, welche Aspekte für die Umsetzung vertrauenswürdiger KI wichtig sind.

Partner des Bank Blogs

Künstliche Intelligenz (KI) wird seit einigen Jahren intensiv diskutiert und ist längst in der produktiven Anwendung angekommen. Laut Bankenverband nutzen mehr als zwei Drittel der Banken und Versicherungen im deutschen Markt KI-Algorithmen. Vor allem an der Kundenschnittstelle, also in Marketing, Vertrieb und im Kundenservice, hat KI das Potenzial, das Kundenerlebnis auf eine neue Stufe zu heben. Aber auch im operativen Geschäft, der Produktentwicklung, im Risikomanagement, im Kreditvergabeprozess oder bei der Bekämpfung von Geldwäsche und Betrug sprechen „künstliche Intelligenzen“ bereits ein erhebliches Wort mit. Generative KI ist auch bei Banken ein Booster, und den Fantasien über Einsatzmöglichkeiten wachsen Flügel.

Gleichzeitig sind die Bedenken über Risiken, Manipulierbarkeit durch und Voreingenommenheit von KI gewachsen. Nicht erst die kommende EU-KI-Verordnung bringt Banken dazu, sich Gedanken über eine solide, aber auch pragmatische Governance zu machen mit dem Ziel, Risiken von KI-Anwendungen realistisch einzuschätzen und durch geeignete Maßnahmen zu minimieren, so dass durch vertrauenswürdige KI echter und messbarer Nutzen entsteht.

Treiber für vertrauenswürdige KI bei Banken

Wir sprechen von vertrauenswürdiger KI („Trustworthy AI“), wenn ein KI-System gesetzeskonform, ethisch und robust ist. Letzteres bedeutet, dass die betreffende KI auch in Randfällen zuverlässige Ergebnisse liefert und widerstandsfähig ist gegen unerwartete Eingaben. Dass vertrauenswürdige KI weit mehr ist als die Erklärbarkeit eines einzelnen KI-Algorithmus, schauen wir uns gleich noch näher an. Zunächst hilft ein Blick auf die Treiber und Anforderungen, die Banken dazu bringen, sich mit dem aktiven Management und der Steuerung ihrer KI-Aktivitäten auseinanderzusetzen. Diese sind u.a.

• Reputationsrisiken,
• ESG und Nachhaltigkeit,
• Regulatorik.

Reputationsrisiken als Treiber von KI

Da sind zum einen die Reputationsrisiken. Medienberichte über Fehlschläge bei KI-Anwendungen, beleidigenden oder halluzinierenden Chatbots in allen Branchen gibt es reichlich. Kritisch wird es, wenn auch nur der Verdacht einer systematischen Diskriminierung durch Algorithmen im Raum steht und in Medien und sozialen Netzwerken auf großer Bühne diskutiert wird. Denken Sie nur an den Kreditkartenanbieter, der vor wenigen Jahren scheinbar systematisch Frauen geringere Kreditlimits eingeräumt hat als Männern.

Zu Rufschäden und möglichen rechtlichen Konsequenzen kommen finanzielle Risiken, z.B. durch Haftung, entgangene Umsätze oder Kreditausfälle. Die Automatisierung schlechter Einzelentscheidungen durch KI in hoher Frequenz kann diese Kosten schnell in die Höhe treiben. Und ganz unabhängig von der tatsächlichen Qualität einer KI-Anwendung: Vertrauen die Mitarbeitenden einer KI-Anwendung im operativen Geschäft nicht, sind sämtliche Erwartungen an bessere Produktivität schnell zunichte gemacht und der Business Case der Anwendung funktioniert nicht. Transparenz und Robustheit sind auch hier ein Schlüssel.

ESG und Nachhaltigkeit als Treiber von KI

Auch das Thema ESG ist ein Treiber für mehr Governance beim Einsatz künstlicher Intelligenz. Die verstärkte Nutzung von KI- und Cloud-Diensten hat direkte Auswirkungen auf den Energieverbrauch (und IT-Kosten). Und auch ethische Führung, Fairness und Verantwortung gegenüber Kunden und Mitarbeitern ist Teil der ESG-Philosophie.

Regulatorik als Treiber von KI

Banken wären nicht Banken, wenn nicht auch die Regulatorik ein wesentlicher Treiber für „Trustworthy AI“ wäre. Neben einem recht frühen Papier der BaFin zu den „Prinzipien für den Einsatz von Algorithmen in Entscheidungsprozessen“, die Transparenz und Nachvollziehbarkeit konsequent einfordern, müssen Banken aufgrund der MaRisk-Novelle verbraucherschutzrechtliche Aspekte stärker beachten. Konkret bedeutet dies, dass Risikoklassifizierungsverfahren künftig durch die Aufsicht noch stärker daraufhin überprüft werden, ob sie Parameter einsetzen, die unzulässig diskriminieren (was gleichwohl sachlich begründete Unterscheidungen nicht ausschließt). Auch die DSGVO fordert bei personenbezogenen Daten in automatischen Entscheidungen entsprechende Transparenzpflichten und Compliance-Maßnahmen.

Und selbstverständlich ist da noch die kommende KI-Verordnung der EU, also ein rechtlicher Rahmen mit erheblichen organisatorischen und technischen Auswirkungen. Die Verordnung folgt einem risikobasierten Ansatz. Anwendungen, die eine klare Gefahr für die Sicherheit, den Lebensunterhalt oder grundlegende Rechte von Bürgern darstellen, sind schlicht verboten. Für alle anderen Anwendungen gilt: Je höher das Risiko ist, desto strenger die Pflichten. Banken müssen somit für jeden Einsatz von KI zunächst eine Folgenabschätzung zur Bewertung etwaiger Grundrechtsbeeinträchtigung durchführen. Betroffene haben das Recht, Erklärungen zu Entscheidungen zu erhalten, z.B. bei der Kreditvergabe. Lassen wir dir genauen rechtlichen Rahmenbedingen einmal beiseite: Was sind die organisatorisch-technischen Auswirkungen bei der Entwicklung von KI-Anwendungen? Und wie können Banken ihnen begegnen?

Sieben Treiber erhöhen den Druck auf Banken, vertrauenswürdige KI-Anwendungen zu gewährleisten.

Leitlinien der EU High-Level Expert Group

Um vertrauenswürdige KI-Systeme zu entwickeln, insbesondere im Kontext des EU-KI-Gesetzes, müssen Unternehmen umfangreiche Schlüsselanforderungen erfüllen. Dies erfordert ein ganzheitliches Vorgehen, das den gesamten Lebenszyklus der KI umfasst und Kontrolle und Transparenz gewährleisten kann. Eine ausführliche Darstellung finden Sie in den von der EU veröffentlichten „Ethics Guidelines for Trustworthy AI“ der High-Level Expert Group on AI. Die wichtigsten Pfeiler sind in folgender Abbildung zusammengefasst:

Sieben Säulen des Vertrauens aus den Guidelines der High-Level Expert Group on AI der EU.

Automatisiert und vertrauenswürdig entscheiden im Großen

Was diese Leitlinien in der Praxis bedeuten, zeigt sich am besten, wenn wir uns anschauen, wie komplex automatisierte Entscheidungsstrecken in einer realistischen Umgebung sind. Nehmen wir dazu das folgende (immer noch stark vereinfachte vereinfachte) Beispiel einer Hyperpersonalisierung, das die Komplexität und die verschiedenen Abhängigkeiten deutlich macht.

Next-Best-Action und personalisierte Nachrichten – Übersicht über den Daten- und Entscheidungsfluss (© Ab Initio).

Eine Bank möchte die Aktivität und das Engagement ihrer digitalen Kunden steigern und dazu aussagekräftige Informationen je nach persönlichem Hintergrund und Position in der Customer Journey liefern. Dazu gehören insbesondere individuelle Angebote und Preise und eine personalisierte Ansprache, auf die Kunden reagieren können. Jeder Kunde und jede Kundin soll auf Basis der aktuellen Lebenssituation und erkannter Ereignisse, ihrer durch die Online-Aktivitäten und Interaktionshistorie ausgedrückten Interessen, der Produktaffinitäten, dem demografischen Segment und der Preisaffinität und Risikobereitschaft ein Beratungs- oder Produktangebot erhalten, und zwar in seinem oder ihrem bevorzugten Kommunikationsstil.

Die Bank greift dazu auf eigene Kunden- und Vertriebsdaten sowie den Interaktionsdaten im digitalen Kundenportal zurück. Zusätzlich hat sie (aus vertrauenswürdiger Quelle) soziodemografische Daten dazu gekauft. Sie modelliert einen Vertriebstrichter mit einem sogenannten Zustandsautomaten, der regelbasiert erkennt, wo jeder Kunde im Vertriebsprozess steht und der auf (Lebens-)Ereignisse reagiert, die als Vertriebsanlass genutzt werden können (z.B. Hauskauf, Umzug, Schritt auf der Karriereleiter). Produktaffinitäten werden aus den Kunden- und historischen Vertriebsdaten mittels Mustererkennung (maschinelles Lernen) ermittelt.

Abhängig vom Kundenkontext, relevanten Ereignissen und Produktaffinitäten berechnet ein KI-Modell die „nächstbeste Aktion“ (Next-Best Action, NBA), z.B. „Biete dem Kunden ein Beratungsgespräch zum Thema Anlageberatung an“ oder „Schlage der Kundin einen Konsumentenkredit vor“. Hier wird außerdem der passende „Modus“ der Ansprache festgelegt: Soll die Ansprache z.B. nüchtern und sachlich, emotional oder bekräftigend sein? Ein weiteres KI-Modell errechnet aus Kunden-, Vertriebs- und demografischen Daten eine Preissensitivität.

All diese Informationen werden durch eine komplexe Geschäftslogik zu einem konkreten Angebot verknüpft. Auf Basis der relevanten Kundeninformationen, der bekannten Ereignisse und des berechneten Angebots wird schließlich ein Prompt generiert, also eine Anfrage für ein Large Language Model, das im letzten Schritt die Kundenansprache im gewünschten Stil produziert.

Was zur Umsetzung von vertrauenswürdiger KI wichtig ist

Dieses Beispiel erlaubt ein paar Beobachtungen, die für die Umsetzung vertrauenswürdiger KI wichtig sind (und die selbstverständlich wiederum nur ein Schlaglicht sind):

• Entscheidungen basieren auf internen und externen Daten. Es ist wichtig zu verstehen, zu welchem Zweck und mit welcher Methode diese Daten erhoben wurden, ob sie auf systematische Verzerrungen geprüft wurden, aus einer geprüften Quelle stammen oder welche schutzwürdigen Daten oder sozialen Gruppen sie enthalten. Im Beispiel oben wäre z.B. wichtig zu analysieren, ob vergleichbar solide Daten für Frauen und Männer vorliegen, wenn auf dieser Basis die Preissensitivität berechnet wird, denn es gilt Preisdiskriminierung zu vermeiden.
• Komplexe Entscheidungen verknüpfen Vorhersagen und Berechnungen von verschiedenen KI-Modellen und fast immer auch einer regelbasierten Geschäftslogik, die Vorhersagen in Aktionen (zum Beispiel konkrete Angebote) verwandelt. Es entsteht ein Fluss von Entscheidungen, der in sich gut verstanden und kommunizierbar sein muss, um Transparenz zu erzeugen.
• Generative KI ist zwar aktuell groß in der Diskussion, sie wird aber „traditionelle“ Verfahren nicht ersetzen. Das Beispiel zeigt, dass regelbasierte Fachlogik (hier etwa der Vertriebstrichter oder die Promptgenerierung), maschinelles Lernen zur Mustererkennung (im Beispiel Produktaffinität, Preissensitivität, Next-Best Action) und generative KI integriert werden, um Entscheidungen zu automatisieren.

Im nächsten Teil dieses Beitrags werfen wir einen Blick auf die Entwicklungsprozesse von KI-Anwendungen. Wir widmen uns dann der Frage, was getan werden muss, um sie transparent und fair im Sinne vertrauenswürdiger KI zu gestalten.