Müll rein, Müll raus: Die Datenqualitätskrise im maschinellen Lernen der Medizin
by 21Stable Team
Maschinelles Lernen revolutioniert die Medizin — aber auf welchem Fundament? Eine aktuelle Recherche in *Nature* deckt auf: Dutzende KI-Modelle zur Vorhersage von Schlaganfall und Diabetes wurden mit Datensätzen trainiert, deren Herkunft und Qualität höchst fragwürdig sind[1]. Währenddessen demonstriert das Path-IO-Modell des MD Anderson Cancer Center auf der AACR-Jahrestagung 2026, dass rigorose Datenstandards und biologische Validierung den Unterschied zwischen klinischem Nutzen und potenziellem Patientenschaden ausmachen[2].
Das Ausmaß der Krise
Gibson et al. untersuchten in einem medRxiv-Preprint 24 öffentlich verfügbare Datensätze, die in Dutzenden peer-reviewten Publikationen zum Training von KI-Modellen verwendet wurden[1]. Das Ergebnis ist alarmierend: Die Datensätze enthielten inkonsistente Kodierungen, unplausible Altersangaben und in mehreren Fällen identische Variablennamen, die auf Copy-Paste-Fehler ohne tatsächliche klinische Validierung hindeuten. Mindestens zwei Fachzeitschriften haben Untersuchungen zu betroffenen Studien eingeleitet.
Das Problem ist nicht akademisch: Einige dieser Modelle scheinen bereits in klinischen Settings eingesetzt worden zu sein. „Zum jetzigen Zeitpunkt ist unklar, ob dies zu Fehldiagnosen geführt hat“, heißt es im Nature-Bericht — ein Satz, der jedem Kliniker einen Schauer über den Rücken jagen sollte.
Diese Erkenntnisse reihen sich in eine wachsende Literatur zur mangelnden methodischen Qualität klinischer ML-Studien ein. Eine bibliometrische Analyse in *Frontiers in Oncology* zeigt, dass von über 2.500 publizierten ML-Prognosemodellen weniger als 10% extern validiert wurden[3].
Path-IO: Das Gegenbeispiel
Auf dem AACR Annual Meeting 2026 präsentierten Bandyopadhyay et al. das Path-IO-Framework — ein Deep-Learning-Modell, das Pathologie-Slides analysiert und Patienten mit metastasiertem nicht-kleinzelligem Lungenkarzinom (NSCLC) nach Immuntherapie-Ansprechen stratifiziert[2].
Drei Designentscheidungen heben Path-IO von der Masse ab:
Was unterscheidet Path-IO von den „dubiosen“ Modellen?
Die Gegenüberstellung ist lehrreich: Während die von Gibson et al. identifizierten Studien fragwürdige Sekundärdaten ohne Herkunftsnachweis nutzten, arbeitet Path-IO mit routinemäßig erhobenen Pathologie-Slides, deren Provenienz dokumentiert ist. Das mag banal klingen — ist es aber nicht. In der ML-Forschung wird die Herkunft von Trainingsdaten selten so rigoros hinterfragt wie in der klassischen klinischen Forschung.
Ausblick: Brauchen wir einen CONSORT für ML?
Die klinische Forschung hat mit CONSORT, STROBE und TRIPOD etablierte Reporting-Standards. Für ML-Modelle existiert mit TRIPOD+AI eine Erweiterung[4] — doch die Durchsetzung bleibt mangelhaft. Die Nature-Recherche legt nahe, dass Journals und Reviewer dringend geschult werden müssen, um Datenqualität systematisch zu prüfen.
Path-IO zeigt: Wenn Datenqualität und biologische Plausibilität von Anfang an mitgedacht werden, kann maschinelles Lernen einen echten klinischen Mehrwert liefern. Der nächste Schritt ist die prospektive Validierung — erst dann wird sich zeigen, ob der Übergang vom retrospektiven Modell zur klinischen Routine gelingt.
Key Findings
Gibson et al. identified 24 publicly available datasets used to train dozens of peer-reviewed AI disease-prediction models for stroke and diabetes. These datasets contained inconsistent coding, implausible age values, and identical variable names across different datasets — strongly suggesting copy-paste errors without clinical validation[1]. At least two journals are investigating affected studies, and some models may already have been used clinically.
In contrast, the Path-IO framework presented at AACR 2026 demonstrates rigorous ML development standards[2]. Trained on 797 NSCLC patients at MD Anderson and externally validated on 280 patients from three independent cohorts (Mayo Clinic, Gustave Roussy, Lung-MAP S1400I), Path-IO uses biology-guided deep learning to identify tumor microenvironment niches predictive of immunotherapy response. It consistently outperformed PD-L1 — the FDA-approved standard-of-care biomarker — across all validation cohorts, with high-risk patients facing more than double the risk of death or disease progression.
A bibliometric analysis of 2,500+ ML clinical prediction models found that fewer than 10% underwent external validation[3], underscoring the systemic nature of the quality problem. TRIPOD+AI reporting standards exist[4] but enforcement remains weak.