"OHNE Ärzte war KI deutlich besser als mit Ärzten. Muss reproduziert werden"

»Im Jahr 2000 grün­de­ten Betty und Gordon Moore, Gründer von Intel und Vorsitzender des Caltech Board of Trustees, mit einer Spende im Wert von etwa 5 Milliarden US-Dollar die Gordon and Betty Moore Foundation, deren Programmschwerpunkte auf drei Bereichen lie­gen: Umweltschutz, Wissenschaft und die San Francisco Bay Area. Die Philanthropie von Betty und Gordon Moore hat einen evi­denz­ba­sier­ten Schwerpunkt; die Moores spen­den an Institutionen und für Zwecke, von denen sie glau­ben, dass sie „signi­fi­kan­te und mess­ba­re“ Ergebnisse erzie­len können.

In die­sem Sinne spen­de­ten die Moores und ihre Stiftung im Jahr 2001 zusam­men 600 Millionen US-Dollar an das Caltech, eine der größ­ten Schenkungen, die jemals an eine Hochschule getä­tigt wur­den. Sie sag­ten, dass die Spende dazu ver­wen­det wer­den soll­te, das Caltech an der Spitze der Forschung und Technologie zu hal­ten.«
web​.archi​ve​.org (Original vom 7.10.2009)

»… Für die Teilnahme an der Videokonferenz und die per­sön­li­che Teilnahme an meh­re­ren aka­de­mi­schen medi­zi­ni­schen Einrichtungen wur­den Ärzte mit einer Ausbildung in Familienmedizin, inne­rer Medizin oder Notfallmedizin rekrutiert.

Die Teilnehmer wur­den nach Karrierestufe ran­do­mi­siert und erhiel­ten ent­we­der zusätz­lich zu den her­kömm­li­chen dia­gno­sti­schen Ressourcen Zugang zum LLM oder nur zu den her­kömm­li­chen Ressourcen . Die Teilnehmer hat­ten 60 Minuten Zeit, um bis zu 6 kli­ni­sche Fallbeispiele zu bearbeiten…«

»Ergebnisse 50 Ärzte (26 behan­deln­de Ärzte, 24 nie­der­ge­las­se­ne Ärzte; durch­schnitt­li­che Berufserfahrung: 3 Jahre [IQR, 2–8]) nah­men sowohl vir­tu­ell als auch an einem der bei­den Vor-Ort-Treffen teil. Der Medianwert der dia­gno­sti­schen Argumentation pro Fall betrug 76 % (IQR, 66 %–87 %) für die LLM-Gruppe und 74 % (IQR, 63 %–84 %) für die Gruppe, die nur kon­ven­tio­nel­le Ressourcen nutz­te, mit einer berei­nig­ten Differenz von 2 Prozentpunkten (95 % KI, ‑4 bis 8 Prozentpunkte; P = 0,60). Die mitt­le­re Zeit, die pro Fall für die LLM-Gruppe auf­ge­wen­det wur­de, betrug 519 (IQR, 371–668) Sekunden, ver­gli­chen mit 565 (IQR, 456–788) Sekunden für die Gruppe mit kon­ven­tio­nel­len Ressourcen, mit einem Zeitunterschied von –82 (95 % KI, –195 bis 31; P = 0,20) Sekunden. Die LLM allei­ne schnitt um 16 Prozentpunkte (95 % KI, 2–30 Prozentpunkte; P = 0,03) bes­ser ab als die Gruppe mit kon­ven­tio­nel­len Ressourcen.

Schlussfolgerungen und Relevanz In die­ser Studie führ­te die Verfügbarkeit eines LLM für Ärzte als dia­gno­sti­sches Hilfsmittel nicht zu einer signi­fi­kan­ten Verbesserung der kli­ni­schen Entscheidungsfindung im Vergleich zu her­kömm­li­chen Ressourcen. Das LLM allein zeig­te eine höhe­re Leistung als bei­de Ärztegruppen, was auf die Notwendigkeit der Entwicklung von Technologie und Arbeitskräften hin­weist, um das Potenzial der Zusammenarbeit zwi­schen Ärzten und künst­li­cher Intelligenz in der kli­ni­schen Praxis auszuschöpfen…

Den nie­der­ge­las­se­nen Ärzten wur­den 100 $ und den behan­deln­den Ärzten bis zu 200 $ für den Abschluss der Studie angeboten…

Wir rekru­tier­ten behan­deln­de und nie­der­ge­las­se­ne Ärzte mit einer Ausbildung in einem all­ge­mein­me­di­zi­ni­schen Fachgebiet (Innere Medizin, Familienmedizin oder Notfallmedizin) über E‑Mail-Listen der Stanford University, des Beth Israel Deaconess Medical Center und der University of Virginia. Kleine Teilnehmergruppen wur­den von Studienkoordinatoren ent­we­der aus der Ferne oder in einem Computerlabor vor Ort beaufsichtigt…

Die Studie wur­de mit einem Umfragetool (Qualtrics) durch­ge­führt, wobei die Fälle für jeden Teilnehmer in zufäl­li­ger Reihenfolge prä­sen­tiert wur­den. In einer Sekundäranalyse haben wir einen Vergleichsarm ein­be­zo­gen, bei dem nur die LLM zur Beantwortung der Fälle ver­wen­det wur­de…«