KI-Compliance in Bundeswehrkrankenhäusern

AI Compliance in Bundeswehr Hospitals

Jörg Schönfeld^a

^a Abteilung Medizintechnik , Bundeswehrkrankenhaus Berlin

Zusammenfassung

Die Einführung von künstlicher Intelligenz (KI) im Krankenhaus ändert die Art und Weise der medizinischen Versorgung – von der Diagnostik über die Behandlungsplanung bis hin zur Patientenverwaltung. Neue sogenannte transformative Technologien versprechen eine Steigerung der Effizienz, Präzision und Personalisierung im Krankenhaus. Doch mit den immensen Möglichkeiten der Nutzung medizinischer KI-Softwareanwendungen gehen auch erhebliche Herausforderungen einher, insbesondere im Bereich der KI-Compliance.

Compliance im Kontext medizinischer KI-Anwendungen im Krankenhaus bedeutet die Einhaltung aller relevanten Gesetze, Vorschriften, Standards und ethischen Richtlinien, die den gesamten Lebenszyklus dieser Technologien betreffen – von der Entwicklung über die Implementierung bis hin zum Betrieb und der möglicherweise notwendigen Wartung. Sie ist von entscheidender Bedeutung, um die Patientensicherheit zu gewährleisten, das Vertrauen der Öffentlichkeit zu erhalten und rechtliche sowie finanzielle Risiken für Krankenhäuser zu minimieren. Ohne eine robuste KI-Compliance-Strategie könnten Krankenhäuser und Kliniken mit Datenlecks, fehlerhaften Diagnosen, Diskriminierung durch Algorithmen und einer Vielzahl rechtlicher Konsequenzen konfrontiert werden. Daher ist es unerlässlich, dass Krankenhäuser eine proaktive Rolle bei der Entwicklung und Implementierung umfassender Compliance-Rahmenwerke im Kontext ihrer eingeführten Qualitätsmanagementsysteme einnehmen, die nicht nur die aktuellen gesetzlichen Anforderungen erfüllen, sondern auch zukünftige Entwicklungen und Herausforderungen im dynamischen Feld der medizinischen KI antizipieren.

Die erfolgreiche Integration von KI in die klinische Praxis hängt maßgeblich davon ab, wie gut diese Compliance-Anforderungen verstanden, umgesetzt und kontinuierlich überprüft werden.

Schlüsselwörter: KI-Compliance, Künstliche Intelligenz, Prädikative Medizin, Datenschutz-Grundverordnung, Medizinprodukterecht-Durchführungsgesetz, Explainable AI, Critical Incident Reporting System

Summary

The introduction of artificial intelligence (AI) in hospitals is changing the way medical care is delivered, from diagnostics and treatment planning to patient management. New so-called transformative technologies promise increased efficiency, precision, and personalization in healthcare settings, including hospitals. However, the immense potential for using medical AI software applications also comes with significant challenges, particularly in the area of AI compliance.

Compliance in the context of medical AI applications in hospitals means adhering to all relevant laws, regulations, standards, and ethical guidelines that affect the entire life cycle of these technologies – from development and implementation to operation and any necessary maintenance. Hospitals must ensure patient safety, maintain public trust, and minimize legal and financial risks. Without a robust AI compliance strategy, hospitals and clinics risk facing data leaks, incorrect diagnoses, algorithmic discrimination, and a range of legal consequences. Therefore, hospitals must take a proactive role in developing and implementing comprehensive compliance frameworks within their established quality management systems that not only meet current legal requirements but also anticipate future developments and challenges in the dynamic field of medical AI. The successful integration of AI into clinical practice depends significantly on how well these compliance requirements are understood, implemented, and continuously reviewed.

Keywords: AI compliance; artificial intelligence; predictive medicine; general data protection regulation; medical device implementation act; explainable AI; critical incident reporting system

Künstliche Intelligenz im Krankenhaus

Die Einführung der künstlichen Intelligenz (KI) in Form von medizinischer Software (z. B. zur automatischen Befundung von Röntgenbildern in der radiologischen Routine) im Krankenhaus markiert einen Wendepunkt in der medizinischen Versorgung. Dank moderner KI-Anwendungen – von intelligenten Diagnosetools bis zur prädiktiven Medizin, die Krankheitsrisiken einschätzt – wird eine einst futuristische Vision heute zunehmend Wirklichkeit in der Patientenversorgung. Diese neuen Technologien haben das Potenzial, die Effizienz, Präzision und Personalisierung im Krankenhaus oder in der Klinik auf ein neues Niveau zu heben. Sie sind – richtig angewandt – geeignet, Arbeitsabläufe zu optimieren, die klinische Entscheidungsfindung zu verbessern und letztlich die Patientenergebnisse signifikant zu steigern.

Doch mit diesem enormen technologischen Potenzial geht eine ebenso große Verantwortung der Bundeswehrkrankenhäuser (BwKrhs), deren Departments und Kliniken, aber auch der Medizinproduktehersteller einher, insbesondere im Bereich der KI-Compliance. Die Bedeutung der Einhaltung relevanter Vorschriften kann im Kontext medizinischer KI-Anwendungen im Krankenhaus nicht hoch genug eingeschätzt werden. Hier geht es nicht nur um allgemeine Krankenhaus-Unternehmensrichtlinien, sondern um fundamentale Fragen der Patientensicherheit, des Datenschutzes, der Datensicherheit und der ethischen medizinischen Nutzung.

Da KI-Systeme zunehmend in hochsensiblen und kritischen Bereichen wie Diagnostik, Behandlungsplanung und Medikamentenverwaltung eingesetzt werden, steigt der Druck in den BwKrhs, diese Technologien verantwortungsvoll zu implementieren und zu steuern. Dieser Fokus auf die Umsetzung einer Compliance ist unerlässlich, um sicherzustellen, dass KI-Software-Applikationen im Krankenhaus nicht nur leistungsfähig, sondern auch rechtlich einwandfrei und ethisch vertretbar sind. Die BwKrhs müssen sich intensiv mit komplexen rechtlichen Rahmenbedingungen auseinandersetzen, wie der Datenschutz-Grundverordnung (DSGVO) [1], dem Medizinprodukte­recht-­Durch­füh­rungs­gesetz (MPDG) [2] und spezifischen anderen Richtlinien für KI in der Medizin. Eine Verletzung dieser Gesetze oder Vorschriften könnte nicht nur zu erheblichen Strafen und Reputationsschäden führen, sondern im schlimmsten Fall auch die Patientensicherheit gefährden. Die Abbildung 1 stellt beispielhaft verschiedene Anwendungsgebiete der Nutzung von KI in den BwKrhs dar.

Proaktiver Compliance-Ansatz im Bundeswehrkrankenhaus

Ein proaktiver Compliance-Ansatz ermöglicht es BwKrhs jedoch, über die bloße Risikominimierung, die durch das Qualitätsmanagement per se vorgegeben wird, hinauszugehen. Diese Perspektive schafft die Grundlage für Vertrauen bei Patienten, Personal und Aufsichtsbehörden. Durch die Implementierung robuster Compliance-Strategien können die BwKrhs nicht nur rechtliche Fallstricke vermeiden, sondern auch einen nachhaltigen Wettbewerbsvorteil in einer zunehmend digitalisierten Gesundheitslandschaft erzielen [3]. Sie können die Potenziale der KI ausschöpfen und bewährte Standards in Bezug auf Qualität, Sicherheit und Ethik gewährleisten. Um sicherzustellen, dass Krankenhaus-KI-Anwendungen sowohl innovativ als auch vollständig compliant sind, müssen sogenannte systematische Ansätze (Prozesse) und eine umfassende Strategie über den gesamten Lebenszyklus der medizinischen KI-Anwendungen etabliert werden. Dies beginnt bei der Konzeption und reicht bis zur kontinuierlichen Überwachung und Wartung. Wichtige Schwerpunkte der Umsetzung der IT-Compliance für KI-Applikationen im BwKrhs bilden (Beispiele):

1. Frühzeitige und kontinuierliche Compliance-Bewertung

Der Compliance-Prozess muss von Anfang an in den Entwicklungszyklus (von der Idee der Einführung von KI an) integriert werden. Das bedeutet, dass bereits in der Konzeptionsphase einer KI-Anwendung rechtliche, ethische und datenschutzrechtliche Anforderungen berücksichtigt werden. Dies schließt die Einhaltung nationaler (z. B. Medizinprodukterecht, Datenschutzgesetze) und internationaler Standards (z. B. EU AI Act, sofern anwendbar) ein. Eine kontinuierliche Risikobewertung, unterstützt durch das Krankenhaus-QM, während des gesamten Entwicklungs- und Implementierungsprozesses, hilft, potenzielle KI-Compliance-Probleme frühzeitig zu identifizieren und zu beheben. In der Regel verwenden die BwKrhs und deren Fachbereiche bereits fertige KI-Anwendungen, die von Medizinprodukteherstellern angeboten werden. Diese KI-Anwendungen werden dann im BwKrhs an die Kundenwünsche im Sinne des Software-Customizing angepasst.

2. Robuste Datenverwaltung und -sicherheit

Die Grundlage jeder complianten KI-Anwendung sind sichere und datenschutzkonforme Daten. Sensible Patientendaten sollten anonymisiert oder pseudonymisiert, durch strenge Zugriffsrechte geschützt und verschlüsselt übertragen werden. Die BwKrhs müssen sicherstellen, dass für das Training von KI-Modellen nur rechtmäßig erhobene und qualitativ hochwertige Daten (z. B. DICOM-Standards in der Bildgebung) verwendet werden, um Bias und Fehlfunktionen zu vermeiden [4]. Cybersicherheitsmaßnahmen sind unerlässlich, um Datenlecks und unautorisierte Zugriffe zu verhindern. Zur Umsetzung dieser Anforderungen unterstützen im BwKrhs der Administrative Datenschutzbeauftragte (ADSB) und der Informationssicherheitsbeauftragte (ISB) die Verantwortlichen. Diese Funktionen können allerdings auch von externen Dienstleistern bereitgestellt werden.

3. Transparenz und Erklärbarkeit

KI-Anwendungen in den BwKrhs dürfen keine “Black Boxes“ sein. Es muss gewährleistet sein, dass die Entscheidungen und Empfehlungen der KI nachvollziehbar und erklärbar sind (Explainable AI (XAI)). XAI bezeichnet Methoden und Prozesse, die darauf abzielen, die Funktionsweise und Entscheidungsfindung von KI für menschliche Nutzer (medizinisches Personal) verständlich zu machen. Im BwKrhs richtet sich der Fokus darauf, dass Ärzte und medizinisches Personal verstehen müssen, wie die KI zu ihren Ergebnissen kommt, um diese kritisch bewerten und bei Bedarf korrigieren sowie deren Plausibilität erklären zu können. Dies ist nicht nur eine technische, sondern auch eine rechtliche und ethische Anforderung, insbesondere wenn es um die Verantwortung bei Fehldiagnosen oder Fehlbehandlungen geht. Der Arzt hat immer die letzte „menschliche/fachärztliche“ Entscheidung zu treffen.

4. Validierung, Verifizierung und Leistungsüberwachung

Nach der Entwicklung müssen KI-Anwendungen umfassend validiert und verifiziert werden, um ihre Leistung und Sicherheit in realen klinischen Szenarien zu bestätigen. Dies umfasst vorhandene klinische Studien und Tests, um die Genauigkeit, Zuverlässigkeit und Robustheit der KI-Modelle zu gewährleisten. Nach der Implementierung ist eine kontinuierliche Leistungsüber­wachung unerlässlich, um sicherzustellen, dass die KI-Modelle im Laufe der Zeit nicht durch Datenverschiebungen oder andere Faktoren an Genauigkeit verlieren (Model Drift) und dass sie weiterhin notwendige Compliance-Anforderungen erfüllen. Dieser Abschnitt ist von besonderer Bedeutung, wenn Kliniken unmittelbar in die Entwicklung von KI-Anwendungen eingebunden sind. Dies gilt insbesondere für Universitätskliniken, die im Rahmen ihrer klinischen Tätigkeit Start-ups gründen, deren Schwerpunkt auf der Integration von KI-Anwendungen in den klinischen Betrieb liegt [5].

5. Ethische Richtlinien und Governance

Über die reinen Rechtsvorschriften hinaus sind klare ethische Richtlinien für den Einsatz von KI im Krankenhaus von entscheidender Bedeutung. Dies beinhaltet die Sicherstellung von Fairness, Vermeidung von Diskriminierung (z. B. durch Algorithmen-Bias basierend auf demografischen Daten), Achtung der Patientenautonomie und Festlegung von Verantwortlichkeiten im Falle von Fehlern. Die Einrichtung eines Fehlermeldeportals im Kontext der Nutzung von KI-Anwendungen im Krankenhaus als Teil des Krankenhaus-QM – analog z. B. der Anwendung von CIRS – ist sinnvoll. Zum Vergleich: Das Critical Incident Reporting System (CIRS) ist ein wichtiges Hilfsmittel im Krankenhaus, um Qualität zu sichern und Risiken zu minimieren. Im Grunde geht es darum, kritische Ereignisse – also Situationen, in denen etwas schiefgelaufen ist oder beinahe schiefgegangen wäre – zu erfassen und genau zu untersuchen. Ziel ist es, aus diesen Fehlern und Beinahe-Fehlern zu lernen. Indem man versteht, warum etwas passiert ist, kann man Verbesserungen in Arbeitsabläufe und Prozesse einführen. So sollen solche Vorfälle in Zukunft verhindert und die Patientensicherheit erhöht werden. Es ist ein System, das dazu dient, aus Erfahrungen zu lernen und sich ständig zu verbessern [6]. Eine dedizierte Krankenhaus-Governance-Struktur oder ein Krankenhaus-Ethik-Komitee im BwKrhs können dabei helfen, sogenannte ethische Dilemmata zu bewerten, Richtlinien für den verantwortungsvollen Einsatz von KI zu entwickeln und die Standards vorzugeben. Dabei werden Anwender von KI von der QM-Abteilung im BwKrhs unterstützt.

6. Schulung und Kompetenzentwicklung

Das medizinische Personal muss umfassend geschult werden, um KI-Anwendungen sicher und effektiv nutzen zu können. Dies geht mit einem sogenannten Change-Prozess einher. Dies beinhaltet nicht nur die technische Handhabung, sondern auch das Verständnis der Grenzen der KI, die Bedeutung von Datenqualität und der Notwendigkeit einer menschlichen Aufsicht und letztendlichen Entscheidungsfindung. Die Mitarbeitenden im BwKrhs sollen in den Prozess zur Einführung medizinischer KI einbezogen werden und diesen aktiv begleiten. Eine informierte Nutzung durch geschultes Personal ist ein Kernbestandteil der KI-Compliance. In der Regel ist das auch so – insbesondere dann, wenn die Medizinproduktehersteller KI-Anwendungen gemeinsam mit dem medizinischen Personal customisieren (anpassen).

Abbildung 2 fasst die wesentlichen Aspekte des proaktiven Compliance-Ansatzes bei der Nutzung von KI-Anwendungen in den BwKrhs zusammen, ganz im Sinne der Umsetzung eines KI-Compliance-Managements.

Abb. 2: Vereinfachte Darstellung der Elemente eines KI-Compliance-Managements in den BwKrhs

Fallbeispiel der Anwendung des Risikomanagements „KI-gestützte Diagnostik in der Radiologie“

Durch den verstärkten Einsatz von KI-Systemen in den BwKrhs, insbesondere im Bereich der Radiologie und bei KI-gestützten Befundungen von Röntgenbildern, entsteht ein erhöhter Bedarf an Maßnahmen zur Gewährleistung des Patientenwohls, der technischen Integrität und der klinischen Verantwortung. Krankenhäuser sind gemäß der EU-KI-Verordnung [7] verpflichtet, ein kontinuierliches Risikomanagementsystem zu etablieren, welches potenzielle Gefahren frühzeitig identifiziert, systematisch bewertet und wirksam minimiert. Ein vom Qualitätsmanagement im BwKrhs und von der radiologischen Klinik eingeführtes Risikomanagement soll gewährleisten, dass die in der Radiologie eingesetzten KI-Anwendungen sowohl medizinisch effektiv als auch ethisch vertretbar sind. Insbesondere gilt es, negative Auswirkungen auf Patienten abzuwenden. Dies schließt die Überprüfung möglicher Diskriminierung, die Analyse unbeabsichtigter Verzerrungen in automatisierten Entscheidungsprozessen sowie die Sicherung der digitalen Krankenhaus-Sicherheit ein.

Beispiele von möglichen Risiken

Im Rahmen der klinischen Bildgebung werden jetzt und in Zukunft KI-gestützte Systeme zur automatisierten Auswertung von MRT- und CT-Daten in den BwKrhs verwendet. Diese dienen der technologischen Unterstützung für medizinisches Fachpersonal (Fachärzte) bei der Erkennung pathologischer Befunde wie Tumoren oder z. B. vaskulären Auffälligkeiten.

Die Anwendung solcher Systeme ist mit verschiedenen Risiken verbunden:

• Diskriminierung durch unzureichend diverse KI-Trainingsdaten, was zur Benachteiligung bestimmter Patientengruppen führen kann,
• Verzerrungen im Diagnoseprozess, die durch algorithmische Voreingenommenheit der KI entstehen können, sowie
• Gefährdung der medizinischen Versorgungssicherheit, etwa durch fehlerhafte Systementscheidungen infolge technischer Manipulationen oder Fehlfunktionen der medizinischen KI-Applikation.

Zur Minimierung dieser Risiken können folgende Maßnahmen umgesetzt werden:

• Einrichtung eines Audit-Systems zur periodischen Überprüfung der KI-Entscheidungslogik,
• Sicherstellung der Möglichkeit zur menschlichen Einflussnahme auf KI-basierte Entscheidungsprozesse,
• Schulung des medizinischen Personals im Umgang mit KI-Systemen sowie in ethischen und rechtlichen Aspekten sowie
• Erarbeitung und Implementierung transparenter Kommunikationsstandards gegenüber Patientinnen und Patienten, insbesondere bei KI-basierten Therapieempfehlungen.

Die Abbildung 3 stellt vereinfacht dar, wie KI in der Radiologie bei der automatischen multimodalen Bildbefundung von CT und MRT im BwKrhs eingesetzt wird (technologisches Fallbeispiel). Die Abbildung 4 zeigt vereinfacht die Integration von KI-Compliance-Prozessen in einem radiologischen KI-Befundsystem im BwKrhs.

Abb. 4: Vereinfachte Darstellung Integration eines KI-Compliance-Prozesses im Krankenhaus

Fazit

Angesichts der bevorstehenden Integrationen von KI-Anwendungen in vorhandene qualitätsgesicherte medizinische Prozesse stehen die BwKrhs vor einer doppelten Herausforderung: Sie werden nicht nur die neuen Potenziale dieser Technologien nutzen, sondern auch ein ­immer komplexeres Geflecht aus regulatorischen Anforderungen meistern müssen. Mit KI werden Risikomanagement, Datenschutz, Informationssicherheit und Qualitätsmanagement noch komplexer und anspruchsvoller. Die notwendige Komplexität und Intensität dieser Vorschriften, die von der europäischen Datenschutz-Grundverordnung (DSGVO) über spezifische Medizinprodukteregularien bis hin zu künftigen KI-Gesetzen reichen, machen ein lückenloses Compliance Management (KI-Compliance) im Krankenhaus unerlässlich.

Die mangelnde Einhaltung (Non-Compliance) von Vorschriften, insbesondere im Kontext von KI-gestützten Diagnosen, Behandlungsplanungen oder automatisierten Prozessen, birgt unnötige und inakzeptable Risiken. Fehlfunktionen von KI-Systemen, unzureichender Schutz sensibler Patientendaten oder algorithmische Verzerrungen können die Patientensicherheit gefährden. Solche Vorfälle führen nicht nur zu einem tiefgreifenden Vertrauensverlust in der Öffentlichkeit und einem erheblichen Reputationsschaden für das betroffene BwKrhs, sondern ziehen auch andere Konsequenzen nach sich. Neben direkten Sanktionen gegen den Träger und die Geschäftsführung des Krankenhauses persönlich können auch empfindliche finanzielle Verluste die Folge sein, etwa durch Schadenersatzforderungen oder Bußgelder.

Um Risiken zu minimieren und die Vorteile von KI sicher zu nutzen, brauchen die BwKrhs ein effektives und zukunftsfähiges KI-Compliance-Management-System. Dieses System muss flexibel genug sein, um sich kontinuierlich an neue technologische Entwicklungen und sich ändernde regulatorische Anforderungen ständig anzupassen. Dieser Prozess wird vom Qualitätsmanagement des Krankenhauses überwacht. Nur so können Krankenhäuser die Chancen der KI voll ausschöpfen und gleichzeitig hohe Standards in Bezug auf Patientensicherheit, Datenschutz und ethische Verantwortlichkeit gewährleisten, wodurch sie nicht nur rechtliche Sicherheit erlangen, sondern auch ihre Rolle als vertrauenswürdige und innovative Gesundheitseinrichtungen festigen.

Literatur

1. Bundesministerium der Justiz und im Verbraucherschutz. Gesetz zur Durchführung unionsrechtlicher Vorschriften betreffend Medizinprodukte [Internet]. [letzter Zugriff 27. September 2025]. Verfügbar unter https://www.gesetze-im-internet.de/mpdg/ . mehr lesen
2. Datenschutz-Grundverordnung. Intersoft Consulting [Internet]. [letzter Zugriff 27. September 2025]. Verfügbar unter https://dsgvo-gesetz.de/. mehr lesen
3. Dillscheider J. Die Notwendigkeit eines effizienten Compliance Management Systems im Krankenhaus. [Internet] [letzter Zugriff 27.09.2025]. Verfügbar unter https://www.pwc.de/de/gesundheitswesen-und-pharma/krankenhaeuser/digitalisierung-im-krankenhaus/compliance-management-system-im-gesundheitssektor.html. mehr lesen
4. Europäische Union, EUR-Lex. Verordnung über künstliche Intelligenz KI-Verordnung [Internet]. [letzter Zugriff 27. September 2025. Verfügbar unter https://ai-act-law.eu/de/. mehr lesen
5. Haserück A. Blickwinkel: Wie kann man Bias in KI vermeiden? Deutsches Ärztblatt 2024;121(5):324. mehr lesen
6. Heggen M. Pressemeitteilung der Charité vom 02.07.2025 [Internet].2025[letzter Zugriff 27. September 2025]. Verfügbar unter https://www.charite.de/service/pressemitteilung/artikel/detail/charite_und_bih_sind_mitinitiatoren_einer_neuen_investorenmesse_in_berlin. mehr lesen
7. Mack J. CIRS als Werkzeug des Qualitäts- und Risikomanagement im deutschen Versorgungssystem[Internet].[letzter Auifruf 27. September 2025]. Verfügbar unter https://www.springermedizin.de/cirs-als-werkzeug-des-qualitaets-und-risikomanagement-im-deutsch/23420226. mehr lesen

Manuskriptdaten

Zitierweise

Schönfeld J. KI-Compliance im Bundeswehrkrankenhaus. WWM 2025;69(12):545-549.

DOI: https://doi.org/10.48701/opus4-784

Für die Verfasser:

Dipl.-Ing. Jörg Schönfeld

Abteilung M – Medizintechnik

Bundeswehrkrankenhaus Berlin

Scharnhorststraße 13, 10115 Berlin

E-Mail: joergschoenfeld@bundeswehr.org

Manuscript Data

Citation

Schönfeld J. [AI Compliance in Bundeswehr Hospitals]. WWM 2025;69(12):545-549.

DOI: https://doi.org/10.48701/opus4-784

For the Authors

Senior Biomedical Engineer Dipl.-Ing. Jörg Schönfeld

Department Biomedical Engineering

Bundeswehr Hospital Berlin

Scharnhorststraße 13, D-10115 Berlin

E-Mail: joergschoenfeld@bundeswehr.org