KI-Entwickler ohne Ethik-Training: Warum die klinische Forschung ein strukturelles Problem hat
by 21Stable Team
Künstliche Intelligenz durchdringt die klinische Forschung in rasantem Tempo – von der Patientenrekrutierung über die Bildanalyse bis zur Dosisfindung. Doch während die Technologie voranschreitet, bleibt eine fundamentale Frage weitgehend unbeantwortet: **Wer bringt den Entwicklern eigentlich bei, was ethisch vertretbar ist?**
Zwei im Jahr 2026 publizierte Studien – eine qualitative Fokusgruppen-Studie im *Journal of Medical Internet Research* und ein systematisches Review in *BMC Medical Ethics* – zeichnen ein ernüchterndes Bild: Medizinische KI-Entwickler lernen Ethik überwiegend informell, und die institutionellen Strukturen zur ethischen Qualitätssicherung fehlen weitgehend[1,2].
Die JMIR-Studie: Ethik per Social Media und Peer Review
Fantus et al. (2026) führten zwei semistrukturierte Fokusgruppen mit 13 KI-Entwicklern und -Forschern aus fünf US-amerikanischen akademischen Einrichtungen durch. Die Teilnehmer arbeiteten an einem breiten Spektrum medizinischer KI-Anwendungen – von Alzheimer-Prädiktion über klinische Bildgebung bis zur Genotyp-Phänotyp-Modellierung[1].
Die Analyse identifizierte vier zentrale Themen:
1. Ethik-Wissen: informell, fragmentiert, zufällig
Keiner der 13 Teilnehmer hatte eine strukturierte Ethik-Ausbildung durchlaufen. Stattdessen eigneten sie sich ethisches Wissen an durch[1]:
> „Participants reported learning about ethics informally through peer-reviewed literature, reviewer feedback, social media, and mentorship rather than through structured training"[1]
Das Problem: Diese Kanäle sind weder standardisiert noch qualitätsgesichert. Ein Entwickler, dessen Mentor ethische Fragen ignoriert und dessen Reviewer keine Einwände erheben, kann jahrelang KI-Systeme für klinische Anwendungen bauen, ohne jemals mit Bias-Analysen, Fairness-Metriken oder Informed-Consent-Implikationen konfrontiert zu werden.
2. Wiederkehrende ethische Konflikte
Die Teilnehmer beschrieben vier wiederkehrende ethische Herausforderungen[1]:
Besonders bemerkenswert: Die Teilnehmer berichteten, dass ethische Bedenken in ihrem Arbeitsumfeld oft als **„Bremser"** wahrgenommen wurden – als Hindernis für Publikationen und Drittmittelanträge, nicht als integraler Bestandteil verantwortungsvoller Forschung[1].
3. Downstream-Effekte: Was passiert mit Patienten?
Die Entwickler äußerten konkrete Sorgen über die klinischen Konsequenzen ihrer Arbeit[1]:
4. Was Entwickler fordern
Die Teilnehmer nannten konkrete Lösungsvorschläge[1]:
Das BMC-Review: Die systemische Perspektive
Wubineh und Deriba (2026) ergänzen diese Mikro-Perspektive durch eine systematische Analyse der empirischen Literatur zu ethischen Herausforderungen und Implementierungsstrategien von KI im Gesundheitswesen[2].
Ihr Review identifiziert mehrere strukturelle Defizite, die über individuelle Wissenslücken hinausgehen:
Die Autoren schlussfolgern: „The findings provide valuable insights and recommendations for stakeholders, including developers, healthcare professionals, and policymakers, to guide the ethical deployment of AI decision support systems in healthcare"[2].
Was bedeutet das für die klinische Forschung?
Die beiden Studien ergänzen sich zu einem klaren Befund: **Das ethische Fundament der medizinischen KI-Entwicklung ist brüchig – und die klinische Forschung trägt das Risiko.**
Drei Implikationen sind besonders relevant:
1. KI in klinischen Studien: Der blinde Fleck der Ethikkommissionen
Wenn KI-Systeme in klinischen Studien eingesetzt werden – sei es zur Patientenrekrutierung, Endpunkt-Adjudikation oder Dosis-Optimierung – prüfen Ethikkommissionen das Studienprotokoll. Doch die JMIR-Studie zeigt: Die Entwickler dieser Systeme haben selbst keine strukturierte Ethik-Ausbildung. Die Frage ist nicht nur, *ob* ein Algorithmus fair ist, sondern ob die Personen, die ihn bauen, überhaupt beurteilen können, was Fairness in einem klinischen Kontext bedeutet[1].
2. Der EU AI Act allein reicht nicht
Der EU AI Act (Verordnung 2024/1689) klassifiziert KI in der klinischen Forschung als Hochrisiko-Anwendung und verlangt Daten-Governance, Transparenz und menschliche Aufsicht. Doch Regulierung adressiert *Prozesse*, nicht *Kompetenzen*. Die JMIR-Studie zeigt, dass selbst in führenden US-Forschungseinrichtungen die individuelle ethische Kompetenz der Entwickler nicht systematisch aufgebaut wird[1]. Regulatorische Compliance ohne entsprechende Ausbildung riskiert, zum Box-Ticking zu verkommen.
3. Ethik als integraler Bestandteil des Studienteams
Die Forderung der JMIR-Teilnehmer nach **Bioethikern als festen Teammitgliedern** ist kein Luxus, sondern eine Notwendigkeit[1]. In der klinischen Forschung ist das multidisziplinäre Team Standard – Biostatistiker, Kliniker, Datenmanager arbeiten zusammen. Die Integration von Ethik-Expertise in dieses Team ist der logische nächste Schritt.
Fazit
Die klinische Forschung steht vor einem Paradox: Noch nie wurde so viel über KI-Ethik diskutiert – und noch nie war die ethische Ausbildung derjenigen, die medizinische KI tatsächlich bauen, so lückenhaft.
Die JMIR-Studie von Fantus et al. und das BMC-Review von Wubineh und Deriba zeigen, dass das Problem nicht böser Wille ist, sondern strukturelle Vernachlässigung. Entwickler *wollen* ethisch handeln – sie haben nur nie gelernt, wie das in der Praxis geht.
Die Lösung liegt nicht in mehr Regulierung, sondern in **strukturierter Ausbildung, interdisziplinärer Integration und institutionellen Anreizen**, die ethische Reflexion nicht als Hindernis, sondern als Qualitätsmerkmal klinischer KI-Forschung behandeln.
---
Key Findings
Artificial intelligence is rapidly permeating clinical research – from patient recruitment to image analysis to dose finding. But while the technology advances, a fundamental question remains largely unanswered: **Who is actually teaching developers what is ethically acceptable?**
Two studies published in 2026 – a qualitative focus group study in the *Journal of Medical Internet Research* and a systematic review in *BMC Medical Ethics* – paint a sobering picture: medical AI developers learn ethics predominantly through informal channels, and institutional structures for ethical quality assurance are largely absent[1,2].
The JMIR Study: Ethics via Social Media and Peer Review
Fantus et al. (2026) conducted two semi-structured focus groups with 13 AI developers and researchers from five US academic institutions. Participants worked across a broad spectrum of medical AI applications – from Alzheimer's prediction to clinical imaging to genotype-phenotype modeling[1].
The analysis identified four key themes:
1. Ethics knowledge: informal, fragmented, incidental
None of the 13 participants had undergone structured ethics training. Instead, they acquired ethical knowledge through[1]:
The problem: these channels are neither standardized nor quality-assured. A developer whose mentor ignores ethical questions and whose reviewers raise no objections can build AI systems for clinical applications for years without ever confronting bias analyses, fairness metrics, or informed consent implications.
2. Recurring ethical conflicts
Participants described four recurring ethical challenges[1]:
Notably, participants reported that ethical concerns in their work environment were often perceived as **"obstacles"** – hindrances to publications and grant applications, not as integral components of responsible research[1].
3. Downstream effects: what happens to patients?
Developers expressed concrete concerns about the clinical consequences of their work[1]:
4. What developers demand
Participants proposed concrete solutions[1]:
The BMC Review: The Systemic Perspective
Wubineh and Deriba (2026) complement this micro-perspective with a systematic analysis of the empirical literature on ethical challenges and implementation strategies for AI in healthcare[2].
Their review identifies several structural deficits extending beyond individual knowledge gaps:
What This Means for Clinical Research
The two studies converge on a clear finding: **the ethical foundation of medical AI development is fragile – and clinical research bears the risk.**
Three implications are particularly relevant:
1. AI in clinical trials: the blind spot of ethics committees
When AI systems are deployed in clinical trials – for patient recruitment, endpoint adjudication, or dose optimization – ethics committees review the study protocol. But the JMIR study shows: the developers of these systems themselves lack structured ethics training. The question is not only *whether* an algorithm is fair, but whether the people building it can even assess what fairness means in a clinical context[1].
2. The EU AI Act alone is insufficient
The EU AI Act (Regulation 2024/1689) classifies AI in clinical research as high-risk and mandates data governance, transparency, and human oversight. But regulation addresses *processes*, not *competencies*. The JMIR study demonstrates that even at leading US research institutions, individual ethical competence of developers is not systematically built[1]. Regulatory compliance without corresponding training risks degenerating into box-ticking.
3. Ethics as an integral part of the study team
The JMIR participants' demand for **bioethicists as permanent team members** is not a luxury but a necessity[1]. In clinical research, the multidisciplinary team is standard – biostatisticians, clinicians, data managers work together. Integrating ethics expertise into this team is the logical next step.
Conclusion
Clinical research faces a paradox: never has so much been discussed about AI ethics – and never has the ethical training of those actually building medical AI been so deficient.
The JMIR study by Fantus et al. and the BMC review by Wubineh and Deriba demonstrate that the problem is not ill intent, but structural neglect. Developers *want* to act ethically – they have just never been taught how to do so in practice.
The solution lies not in more regulation, but in **structured training, interdisciplinary integration, and institutional incentives** that treat ethical reflection not as an obstacle, but as a quality hallmark of clinical AI research.
---