Mit dem EU AI Act sollen wesentliche Vertrauens- und Sicherheitsfragen bei der Nutzung von Künstlicher Intelligenz (KI) im Gesundheitswesen geklärt werden. Die Umsetzung dieser neuen Regelungen gestaltet sich jedoch komplex und erfordert eine Kombination aus technischem Know-how und Fachwissen. Dieser Beitrag gibt Verantwortlichen, die für die Implementierung und Einhaltung der neuen Vorschriften zuständig sind, einen klaren Überblick über die Risiken und Compliance-Vorgaben des EU AI Act. So können Führungskräfte ihren Organisationen einen sicheren und gesetzeskonformen Einsatz von KI ermöglichen, um Innovation zu fördern und das Vertrauen der Patient:innen zu stärken.
KI im Gesundheitswesen: Zwischen Innovation und Vertrauen
Künstliche Intelligenz bietet erhebliche Chancen für das Gesundheitswesen und einzelne Gesundheitsorganisationen. Laut unserem Global GenAI Report planen 58 % der Gesundheitsorganisationen in den nächsten zwei Jahren beträchtliche Investitionen in generative KI. Als Hauptgründe hierfür werden die Aussicht auf erhöhte Produktivität und Effizienz sowie ein verbessertes Erlebnis für Patient:innen und medizinisches Personal geführt. Auch bei der Diagnostik und der Behandlungsplanung erwarten wir bedeutende technologische Fortschritte.
Dem gegenüber stehen jedoch Vertrauensprobleme: Unsere Studie zeigt auch, dass die rechtlichen Aspekte für Verantwortliche im Gesundheitswesen die größten Hürden für die Einführung von generativer KI sind. Weitere Bedenken beziehen sich auf die Cybersicherheit und die mangelnde Transparenz.
EU AI Act Inkrafttreten: Mehr Vertrauen, aber schwierige Umsetzung
Der EU AI Act zielt darauf ab, die Entwicklung und Nutzung von KI-Technologien im Gesundheitswesen sicherer, transparenter und verantwortungsvoller zu gestalten. Als erster umfassender regulativer Ansatz dieser Art weltweit wird er die Anwendung und Entwicklung von KI-Technologien im Gesundheitswesen grundlegend verändern. Dieses Gesetz liefert klare Richtlinien für die Entwicklung und den Einsatz von KI, was zu mehr Rechtssicherheit führt. Ebenso fördert es die Entstehung qualitativ hochwertiger, ethisch verantwortungsvoller KI-Anwendungen und schützt die Sicherheit und Interessen der Nutzer:innen. Ein strukturierter Regulierungsrahmen und verantwortungsvoller Einsatz tragen dazu bei, Innovationen zu fördern und Patient:innen zu schützen.
Doch mit dem Inkrafttreten des EU AI Act am 1. August 2024 steht das Gesundheitswesen vor einer der größten regulatorischen Herausforderungen im Bereich der künstlichen Intelligenz (KI). Seit dem 1. Februar 2025 sind erste Bestimmungen des EU AI Act verpflichtend. Die uneingeschränkte Anwendbarkeit beginnt am 1. August 2026, wobei spezifische Bereiche durch Übergangsfristen und stufenweise Entwicklungen berücksichtigt werden.
Besonders betroffen sind Krankenkassen, Kliniken sowie Anbieter von KI-Lösungen im Gesundheitsbereich. Worum geht es genau?
Compliance-Anforderungen des EU AI Act an KI-Systeme
Der EU AI Act enthält besondere Anforderungen im Hinblick auf das Gesundheitswesen und klassifiziert KI-Systeme in unterschiedliche Risikokategorien.(1) Der risikobasierte Ansatz des EU AI Act soll sicherstellen, dass der Einsatz von KI-Systemen nach deren Kompetenzniveau und Anwendungsbereich eingeordnet werden kann und dadurch entsprechende Regularien, Auflagen oder sogar Verbote auferlegt werden können. Durch diese Prüfkriterien zur Einordnung der Risikostufe ergeben sich spezifische Compliance-Maßnahmen und Dokumentationspflichten.
EU AI Act Risikoklassen für KI-Anwendungen im Gesundheitswesen
- Unakzeptables Risiko: KI-Systeme, die als gefährlich gelten und grundlegende Rechte verletzen, sind untersagt, beispielsweise Social-Scoring-Ansätze.
- Hohes Risiko: Hochrisiko KI-Systeme, die in sicherheitsrelevanten Bereichen eingesetzt werden und dadurch strengen Auflagen unterliegen. Im Gesundheitswesen inkludiert dies KI-Anwendungen im Medizinproduktbereich und für Systeme, die mit personenbezogenen Daten algorithmisch arbeiten und insbesondere potenzielle Entscheidungen über die Behandlung von Patient:innentreffen.
- Begrenztes Risiko: Bezieht sich auf KI-Anwendungen, wie beispielsweise Chatbots oder virtuelle Assistenten, die im Gesundheitswesen Patient:innen bei der Terminvereinbarung oder der Beantwortung von allgemeinen medizinischen Fragen unterstützen. Hierbei ist auf eine Interaktionstransparenz im Einsatz von KI-Anwendungen, und auf die Einhaltung von DSGO-Richtlinien zu achten.
- Minimales Risiko: Hierbei handelt es sich in der Regel um KI-Anwendungen, die minimalen Einfluss auf gewisse Vorgehen und Prozesse haben, bspw. Spamfilter. Laut europäischer Kommission fällt die Mehrheit der derzeit in der EU eingesetzten KI-Systeme in diese Kategorie.(2)
In der praktischen Anwendung des EU AI Act und in der eigenen Risikoklassifizierung stehen Organisationen dabei schnell vor der Herausforderung, dass die Einordnung von KI-Systemen nicht immer eindeutig ist. Im Gesundheitswesen fallen hierunter bereits KI-basierte Anwendungen zur automatischen Erkennung und Klassifizierung von medizinischen Bildern, da hier auf der einen Seite das Kompetenzniveau des Systems und gleichzeitig auch der Anwendungsbereich zu berücksichtigen ist.
KI-Governance zur Prüfung der Anforderungen an KI-Systeme
Gesundheitseinrichtungen, Krankenversicherungen und Technologie-Anbieter sind nun gefordert und müssen sicherstellen, dass ihre KI-Anwendungen den kommenden Regularien entsprechen. Zu den Handlungsfeldern zur Prüfung der eigenen Systeme zählen dabei unter anderem Fairness, Datenschutz, Kontrolle und Nachvollziehbarkeit, Sicherheit und Robustheit, einschließlich der Einhaltung ethischer Grundsätze, menschenzentriertem Design und Nutzungstransparenz. Ein solches Vorhaben ist nach unseren Erfahrungen nur mithilfe eines umfassenden KI-Governance- und Risikomanagementsystem möglich. Dies beinhaltet die Evaluation der Funktionsweise der eingesetzten KI-Systeme sowie die detaillierte Dokumentation der KI-Systemfunktionen und implementierten Sicherheitsmaßnahmen.
Bei Verstößen gegen den EU AI Act drohen empfindliche Strafen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes. Eine multidisziplinäre Zusammenarbeit zwischen medizinischem Personal, IT-Expertinnen und -Experten und Compliance-Beauftragten ist bei der Implementierung und Dokumentation zur Erfüllung der Compliance-Anforderungen für KI-Systeme unerlässlich.
Unser Ansatz: Wir unterstützen Gesundheitsorganisationen bei der Operationalisierung des EU AI Act & KI-Einsatz
Als führendes Technologieunternehmen im Bereich KI und großem Know-How im Gesundheitswesen hilft Ihnen NTT DATA dabei, sich auf die Anforderungen des EU AI Act vorzubereiten, indem wir Ihre aktuelle Systemlandschaft umfassend bewerten und mit Ihnen zusammen Maßnahmen ergreifen, um die Compliance zum EU AI Act umzusetzen. Auf diese Weise werden Ihre Daten- und KI-Lösungen mit den Vorschriften des EU AI Act in Einklang gebracht und entsprechen gleichzeitig den höchsten Standards in Bezug auf Datenschutz, Sicherheit und Ethik. Zusätzlich können wir aus dieser Bewertung eine KI-Potentialanalyse durchführen, Bedarfe ableiten oder sogar unabhängig davon KI-Use-Cases für Ihre Organisation definieren, die auch mit geringem Kostenaufwand zu implementieren sind.
Als Ihr Transformationspartner unterstützen wir Sie mit nachweislichen Projekterfolgen in den Bereichen KI-Strategie und KI-Use Case Entwicklung, Digitalisierung sowie Projekt- und Changemanagement.
Mit unserer Vanguard-Initiative "Hospital AI Strategy" bieten wir Krankenhäusern einen strukturierten Ansatz zur gemeinsamen Entwicklung einer KI- und Datenstrategie, bei welcher der Mensch im Mittelpunkt technologischer und organisatorischer Entwicklungen steht. Mit unserem Workshop- und Interviewansatz entwickeln wir gemeinsam mit Ihnen passgenaue Handlungsempfehlungen für Ihre weitere digitale Transformation. Dabei fokussieren wir uns auf umsetzbare und wertschöpfende Use Cases vor dem Hintergrund von AI Governance und EU AI Act Compliance – kontaktieren Sie uns jetzt für einen ersten Austausch.
(1) Der aktuelle Gesetzestext des EU AI Act ist zum Download verfügbar https://artificialintelligenceact.eu/de/das-gesetz/
(2) https://digital-strategy.ec.europa.eu/de/policies/regulatory-framework-ai