Neben immensen Potenzialen im Einsatz von Künstlicher Intelligenz führt die Nutzung dieser Technologie bei Finanzdienstleistern deutschlandweit zu schwerwiegenden Risiken, welche durch den Regulator identifiziert wurden. Wie kann damit umgegangen werden?
Banken müssen beim Einsatz Künstlicher Intelligenz dessen Risiken beachten.
Partner des Bank Blogs
Die regulatorischen Leitplanken rund um die Verwendung großer Datenmengen mit intelligenten Algorithmen bilden sich aktuell mit hoher Geschwindigkeit heraus. Die Europäische Union hat bereits im Rahmen ihrer Digital Finance Strategy angekündigt, spätestens 2024 in Abstimmung mit allen europäischen Aufsichtsbehörden abschließende Erwartungen an die Verwendung von Big Data und Künstlicher Intelligenz für Kreditinstitute festzulegen.
Für die deutsche Finanzbranche hat dieser konkrete europäische Zeitplan schon jetzt bedeutende Auswirkungen. Denn die BaFin hat bereits in einem 16-seitigen Prinzippapier erste Richtungsentscheidungen beschlossen. Diese beinhalten neben Regelungen zur Datenhaltung auch konkrete Anforderungen an Kontrollmechanismen hinsichtlich Nachvollziehbarkeit und Nutzbarkeit von KI-Modellen.
Drei KI-Risiken beschäftigen die BaFin
Neben beachtlichen Chancen insbesondere in Hinblick auf Kostenersparnisse für Geldinstitute konzentriert sich die BaFin in ihrer aktuellen Regulierungsperspektive insbesondere auf drei Risiken, welche durch konkrete Maßnahmen reduziert werden sollen:
- Nachvollziehbarkeit der Modell-Ergebnisse,
- Verkürzte Reaktionszeiten,
- Skalierung intelligenter Algorithmen.
Im Risikocontrolling sind Finanzdienstleister somit zu einer stetigen Abwägung zwischen Risikominimierung und mehrwertbehafteter Nutzung von intelligenten Algorithmen aufgerufen.
1. Nachvollziehbarkeit der Modell-Ergebnisse
Dabei gilt es an erster Stelle zu berücksichtigen, dass Künstliche Intelligenz im Vergleich zu klassischen statistischen Methoden Vorhersagen und Einschätzungen durch komplexe Algorithmen errechnet. Dies erschwert die Nachvollziehbarkeit der Modell-Ergebnisse, beispielsweise im Bereich des Deep Learnings. Als Konsequenz könnten in Zukunft Methoden des Überwachten Lernens Algorithmen des Unüberwachten Lernens vorgezogen werden, was die Nutzung unstrukturierter Daten perspektivisch erschwert.
2. Verkürzte Reaktionszeiten
An zweiter Stelle verkürzt sich der Zeitraum zwischen mehreren Trainingsläufen eines KI-Modells durch die steigende Anzahl verwendbarer Daten in vielen Instituten. Diese Entwicklung erfordert von Banken weltweit kurze Reaktionszeiten in der Anpassung ihrer Modellparameter und der Bereinigung ihrer Datensätze.
Vorrangig führt die Verkürzung der Trainingszyklen jedoch insbesondere zu verschwimmenden Grenzen zwischen der Kalibrierung und Validierung eines Modells, weil die für die Überprüfung der Modell-Ergebnisse vorbehaltene Zeit sich deutlich verkürzt und viele Modelle bereits während eines laufenden Qualitätstests neu eingestellt und trainiert werden. Durch diese zeitliche Überlappung erliegen Finanzdienstleiser im Zweifel dem Risiko eines nicht ausreichend überprüften Modells mit schwerwiegenden Fehlern.
3. Skalierung intelligenter Algorithmen
Als drittes grundlegendes Risiko benennt die BaFin die rasante Skalierung intelligenter Algorithmen. Denn durch die wachsende Automatisierung vieler Prozesse besitzt ein einzelnes KI-Modell oftmals signifikanten Einfluss auf realwirtschaftliche Entscheidungen. Dieser Effekt wird dadurch verstärkt, dass durch den technischen Wandel Prozesse in Echtzeit skaliert werden können. Durch die starke Skalierung vieler intelligenter Modelle besteht regulatorisch also ein erheblicher Bedarf nach Monitoring-Lösungen und anderen Kontrollstrukturen innerhalb der intelligenten IT vieler Banken.
Grundlage einer nachhaltigen KI-Strategie ist die Data-Governance
Um auf die gegebenen KI-Risiken für Finanzdienstleister reagieren zu können, bedarf es in der Initiierungsphase einer intelligenten Unternehmens-IT einer mit dem Regulator abgestimmten Strategie in Hinblick auf Daten und Algorithmen. Denn die Entscheidung über die Speicherung und Gewinnung – das sogenannte Data Mining – von Daten sowie der zu verwendenden Trainingsmethodik des endgültigen Modells bildet die Grundlage aller weiteren Implementierungsschritte.
Hinsichtlich der Datenverwendung und -gewinnung betont die BaFin insbesondere die Gefahr von Diskriminierung – einem sogenannten Bias – durch die Verwendung bestimmter Datenfelder wie des Geschlechts oder der Herkunft. Diese können zwar auf einem gegebenen Datensatz die Genauigkeit von Vorhersagen erhöhen, die prognostizierten Aussagen und Einschätzungen basieren dann jedoch auf Merkmalen, die im Zweifel gezielt bestimmte Personengruppen ausschließen. Welche Eigenschaften für eine Entscheidung zugezogen werden können, ist in Deutschland bereits abschließend reguliert, beispielsweise durch die DSGVO.
Grundsätzlich gilt für Banken also: Eine Data-Governance-Strategie muss vor der Implementierung einer Künstlichen Intelligenz entworfen werden. Diese regelt Anforderungen an die Qualität und Quantität von Datensammlungen und setzt grundsätzliche Regeln fest, welche Daten zu welchem Zweck genutzt werden können. Essenziell dabei ist die Verantwortung dieser Strategie bei einem Ansprechpartner, welcher den Entwurf der Data-Governance federführend begleitet.
Korrektheit, Robustheit und Reproduzierbarkeit stehen bei der Algorithmus-Auswahl im Fokus
Bei der initialen Auswahl der Trainingsalgorithmen sind aus Sicht des Regulators insbesondere drei Aspekte entscheidend: Die Korrektheit, Robustheit und Reproduzierbarkeit der durch die Algorithmen errechneten Prognosen und Einschätzungen. Bei der Auswahl eines Trainingsalgorithmus muss somit ein für den Use Case angebrachter Kompromiss zwischen diesen Modell-Eigenschaften gefunden werden. Ein besonders korrekter Algorithmus gewinnt beispielsweise seine genauen Vorhersagen gegebenenfalls durch komplizierte Berechnungen, welche die Nachvollziehbarkeit von Model-Ergebnissen negativ beeinflussen.
Zur Verwendung eines auch regulatorisch hinreichenden Trainings-Algorithmus sollten Geldhäuser somit bereits im Vorhinein ein Profil mit konkreten Anforderungen hinsichtlich der Korrektheit, Robustheit und Reproduzierbarkeit ihrer KI-Vorhersagen erstellen, um in einem zweiten Schritt dadurch transparent eine entsprechende Trainingsmethode herzuleiten.
Kontinuierliche Verbesserung ist eine Mindestanforderung
Um im laufenden Betrieb auf neue Trends reagieren zu können, wird bei Finanzdienstleistern mit schnellen Anpassungszyklen innerhalb des Modelltrainings gearbeitet. Hierbei ist laut BaFin insbesondere auf die Abnahme von trainierten Modellen vor dem Inbetriebnahme in die produktive IT und auf die Erkennung von Schwachstellen bereits produktiver KI-Modelle Acht zu geben. Durch eine treffsichere Abnahme von trainierten KI-Modellen und die Erkennung von Schwachstellen können somit Schäden in Millionenhöhe für die Institute und ihre Kunden vermieden werden.
Eine Abnahme kann je nach Anwendungsfall vollständig durch einen Menschen, automatisch anhand bestimmter Kennzahlen und Validierungsszenarien oder in einer hybriden Form erfolgen, bei welcher erste standardisierte Tests durch die Ermittlung von statistischen Kennzahlen die grundlegende Güte eines KI-Modells ermitteln und ein Experte abschließend votiert. Zum aktuellen Zeitpunkt ist Banken bei der Verwendung intelligenter Algorithmen in der Regel zu einer hybriden Herangehensweise zu raten, weil automatisierte Tests komplexe Zusammenhänge innerhalb der Modellerstellung noch nicht erfassen können. Durch die automatisierte Errechnung relevanter Kennzahlen und die Validierung dieser anhand von Schwellenwerten ist bereits ein starker Produktivitätsgewinn in der Modelleinschätzung gegeben. Die Verantwortung für ein Inbetriebnahme eines intelligenten Modells trägt jedoch weiterhin der verantwortliche Experte.
Im Fall der Veröffentlichung eines fehlerhaften Modells können für Finanzdienstleister und ihre Kunden schwerwiegende Folgen auftreten, welche es in diesem Prozess zu berücksichtigen gilt. Aus diesem Grund empfiehlt die BaFin neben der regelmäßigen Überwachung der trainierten Modelle durch Mensch und Maschine den Entwurf eines Notfallplans für solche Fälle, welcher eine schnelle Reaktionsfähigkeit auf fehlerhafte Modelle sicherstellt. Mit Hilfe dieser Handlungsanweisung kann standardisiert Schadensminimierung betrieben werden – zum Beispiel durch die automatische Integration älterer Modelle, welche einen kritischen Fehler nicht beinhalten.
Einheitliche KI-Strategie regulatorisch höchst relevant
Für die Einführung und den Betrieb von KI-Modellen ist es notwendig, im Sinne des Regulators ein Rahmenwerk mit festen Mechanismen zu schaffen, welche die Qualität der regelmäßig trainierten KI-Modelle sicherstellt. Dies betrifft die Data-Governance, die Algorithmus-Auswahl sowie die kontinuierliche Überwachung und Verbesserung neu trainierter Modelle.
Entscheidend dabei ist: Die Verantwortung für eine übergreifende KI-Strategie mit Mechanismen zur Qualitätssicherung muss in einem Verantwortungsbereich liegen, der fest in den Kontrollstrukturen der Bank verankert ist. Denn die Abhängigkeit ganzer Geschäftszweige zur KI steigt durch die zentrale Rolle der Technologie rapide.
