Die sichere und verantwortungsvolle Nutzung moderner Technologien setzt vorliegende Qualitätsstandards voraus. Das schafft Vertrauen und Überprüfbarkeit. Ein Berufsstand, der bereits die Kriterien für das Cloud Computing mitentwickelte, ist nun auch bei den Themen Qualität und Sicherheit beim Einsatz von künstlicher Intelligenz involviert.
Im Jahr 1964 erließ die Wirtschaftsprüferkammer (WPK) in Deutschland zum ersten Mal Richtlinien für die Berufsausübung der Wirtschaftsprüfer und vereidigten Buchprüfer. Sie beschrieb darin die wichtigsten Grundsätze einer gewissenhaften Berufsausübung – eine erste Standardisierung für den Berufsstand. Seither sind die Richtlinien mehrfach überarbeitet und erweitert worden. Sie bieten den Berufsträgerinnen und Berufsträgern eine Handhabe für ihre Tätigkeiten und stärken das Vertrauen in die Wirtschaftsprüfung, trotz einzelner Versäumnisse, die mediale Aufmerksamkeit erregt haben. Der Blick auf die ersten Wirtschaftsprüferrichtlinien veranschaulicht: Standards entstehen allmählich und werden Schritt für Schritt mit neuen, steigenden Anforderungen verfeinert. Heute gestalten Wirtschaftsprüfer auch in Feldern außerhalb ihres eigentlichen Berufs Richtlinien mit, insbesondere bei neuen Technologien, sogenannten Emerging Technologies. Aktuell sind sie zum Beispiel Wegbereiter der künstlichen Intelligenz (KI). Auch eine KI benötigt Qualitätskriterien und Standards, um Vertrauen bei Anwendern und Nutzern zu schaffen, aber auch, damit Wirtschaftsprüfer sowie andere Validierende ihre Funktionsweise kontrollieren können. Wie aber müssen Standards für KI beschaffen sein?
Etablierte Standards für Cloud Computing
Zunächst lohnt ein kurzer Blick auf das Cloud Computing, das aufgrund der bereitgestellten Rechenleistung überwiegend die technologische Basis für KI-Anwendungen darstellt. Beim Cloud Computing gestalteten ebenfalls Wirtschaftsprüfer die wichtigsten Standards mit. In Deutschland zählt hierzu insbesondere der im Jahr 2020 aktualisierte Standard BSI C5:2020 des Bundesamts für Sicherheit in der Informationstechnik (BSI). Einige der wesentlichen Neuerungen: Das Kriterium der Produktsicherheit nimmt die Sicherheit eines Cloud-Dienstes selbst in den Blick – im Unterschied zur Sicherheit bei der Erbringung des Diensts. Cloud-Anbieter sollen zum Beispiel Leitfäden zur sicheren Konfiguration des Diensts bereitstellen. Der BSI-C5-Standard setzt weltweit Maßstäbe, alle großen Cloud-Anbieter haben ihn adaptiert. Für die Prüfung solcher Cloud-Dienste sind die ebenfalls von der Wirtschaftsprüfung mitentwickelten Standards des Service Organization Controls Frameworks (SOC 2) maßgeblich. Eine SOC-2-Prüfung beurteilt das interne Kontrollsystem der IT-Organisation eines Dienstleistungsunternehmens hinsichtlich Sicherheit, Verfügbarkeit, Vertraulichkeit, Integrität in der Verarbeitung sowie Datenschutz. Er wurde insbesondere aufgrund der Zunahme von Cloud-Diensten und der Auslagerung von IT-Services erstellt.
Sieben Anforderungskriterien für KI
Die besondere Herausforderung besteht darin, dass Wirtschaftsprüfer und andere Kontrollinstanzen es hierbei nicht wie früher mit statischen, sondern mit dynamischen Systemen zu tun haben. Denn KI als sogenanntes Lifecycle Product lernt stetig dazu und entwickelt sich kontinuierlich oder nach agilen Methoden weiter. Umso mehr müssen Kriterien auch auf die zugrunde liegenden Entwicklungs- und Betriebsprozesse sowie die darin eingegliederten Kontrollen, Verfahren und Maßnahmen abzielen. Konkrete Anwendung in der Prüfungspraxis finden die Kriterien des neuen BSI-Standards AI Cloud Service Compliance Criteria Catalogue (AIC4), an deren Entwicklung die Wirtschaftsprüfung maßgeblich beteiligt war. Die darin enthaltenen Anforderungen gliedern sich in sieben Kriterien:
- Sicherheit und Robustheit
- Performanz und Funktionalität
- Zuverlässigkeit
- Datenqualität
- Datenmanagement
- Erklärbarkeit
- Bias
Sicherheit und Robustheit
Zentral ist zunächst das Kriterium Sicherheit und Robustheit. Mit Robustheit ist unter anderem die Widerstandsfähigkeit eines KI-basierten Systems gegen böswillige Angriffe von außen oder Manipulation gemeint. Je kritischer der Anwendungsfall, desto wichtiger ist eine größtmögliche Robustheit. Bei KI-basierten autonomen Fahrsystemen zum Beispiel könnten Eingriffe von außen dramatische Folgen für Nutzer und den Straßenverkehr insgesamt haben. Aber auch bei der Rechnungsverarbeitung ist die Widerstandsfähigkeit gegen Manipulationen ein sehr wichtiges Ziel. Robustheit innerhalb eines KI-Systems lässt sich dabei durch Härtungsmaßnahmen im Entwicklungsprozess erreichen, etwa durch die Vorverarbeitung des Dateninputs für die KI.
Performanz und Funktionalität
Die zweite wesentliche Anforderung ist Performanz und Funktionalität. Wie stellen Entwickler und Nutzer grundsätzlich sicher, dass ein KI-System wie gewünscht funktioniert, und zwar bei konstanter Performanz, also Leistungsfähigkeit? Mit unterschiedlichen Messverfahren lässt sich quantitativ feststellen, ob ein KI-System gemäß seiner zu lösenden Aufgabe optimal funktioniert.
Zuverlässigkeit und Datenqualität
Die Zuverlässigkeit eines KI-Systems beschreibt dessen Fähigkeit, auch dann korrekt zu arbeiten, wenn es mit seltenen oder unbekannten Inputs konfrontiert ist – also Daten oder Datentypen, mit denen es nicht in erster Linie trainiert worden ist. Man spricht in diesem Zusammenhang auch von der Generalisierbarkeit eines KI-Systems. Um diese sicherzustellen, sollten Anwender ihre KI-Systeme regelmäßig von unabhängigen Validierenden überprüfen lassen. Zentral ist auch die Datenqualität von KI-Systemen. Sind nämlich die ihnen zugrunde liegenden Daten manipuliert, falsch klassifiziert oder unzureichend aufbereitet, beeinträchtigt dies unmittelbar die Performanz der KI-Anwendung. Zwingend erforderlich ist es daher, Datenqualität und -aktualität für eine gute KI kontinuierlich zu messen. Je nachdem, wofür die KI eingesetzt werden soll, stehen unterschiedliche Methoden bereit, um eine unzureichende Datenqualität zu verbessern.
Erklärbarkeit
KI-Systeme nutzen riesige Datenmengen und können deshalb für Anwender schnell zur Blackbox werden. Dann ist zum Beispiel nicht mehr lückenlos nachvollziehbar, wie das System zu einer bestimmten Entscheidung gekommen ist. Die Erklärbarkeit ist umso wichtiger, je sensibler und kritischer der Anwendungsbereich der KI ist. Ein Beispiel ist hier der Bereich medizinischer Diagnosen, bei denen KI unterstützt. Je besser erklärbar ein Modell also ist, desto größer ist das Vertrauen der Nutzer in die KI beziehungsweise auch in die Bereitschaft, KI-Systeme einzusetzen.
Datenmanagement und Bias
Das Datenmanagement ist wichtig, um sicherzustellen, dass valide und vertrauenswürdige Quellen für die Entwicklung genutzt werden. Bias eines KI-Systems gehören ebenfalls zu den Anforderungskriterien für eine vertrauenswürdige KI. Bias, also verzerrte Vorannahmen, können im schlimmsten Fall zur Diskriminierung gesellschaftlicher Gruppen beitragen, wenn etwa KI-basierte Systeme in Bewerbungsverfahren Männer bevorzugen oder Menschen mit Migrationshintergrund systematisch benachteiligen. Solche Fehlannahmen können, mitunter nicht auf Anhieb erkennbar, in der Datenbasis angelegt sein. Umso wichtiger ist es, Bias kontinuierlich zu messen, um dies frühzeitig zu erkennen, abzustellen und eine größtmögliche Fairness zu erreichen. Dabei kommen zum Teil auch Algorithmen zum Einsatz, die Bias aus Datenmodellen reduzieren.
Anforderungskriterien fließen in KI-Standards ein
Die sieben dargestellten, von Wirtschaftsprüfern mitentwickelten Kriterien für gute, vertrauenswürdige KI bilden auch in aktuellen Initiativen zur KI-Standardisierung eine Grundlage. Dazu zählt die Normungs-Roadmap für KI, die das Deutsche Institut für Normung (DIN) und die Deutsche Kommission Elektrotechnik Elektronik Informationstechnik in DIN und VDE (DKE) auf Initiative des Bundesministeriums für Wirtschaft und Energie (BMWi) erarbeiten. Auch die Kommission der Europäischen Union hat im April 2019 Vorschläge für ethische Leitlinien beim Einsatz von KI hinsichtlich Rechtmäßigkeit, Ethik und Technologie veröffentlicht. Der BSI-AIC4-Kriterienkatalog bietet die einzigen Merkmale, die in der (Prüfungs-)Praxis wirklich nutzbar sind. Fest steht: Aufgrund der hohen Qualität und Tiefe ihrer Prüfung fungieren Wirtschaftsprüfer regelmäßig als Wegbereiter für die Erstellung von Standards zur Prüfung moderner Technologien. Zu den modernsten zählen derzeit Cloud Computing und insbesondere auch die KI.
