Diagnostische Genauigkeit

Was bedeutet diagnostische Genauigkeit?

Die diagnostische Genauigkeit beschreibt, wie zuverlässig ein diagnostisches Verfahren zwischen Personen mit und ohne eine bestimmte Erkrankung oder einen bestimmten Zustand unterscheiden kann. Sie spielt eine zentrale Rolle in der medizinischen Forschung, Diagnostik und Evaluation diagnostischer Tests.

Dabei kann es sich beispielsweise um einen Labortest, ein bildgebendes Verfahren, einen klinischen Score oder ein anderes diagnostisches Instrument handeln. Entscheidend ist die Frage, wie gut das untersuchte Verfahren den tatsächlichen Zustand einer Person abbildet.

Zur Beurteilung der diagnostischen Genauigkeit werden verschiedene statistische Kennwerte verwendet. Zu den wichtigsten gehören:

• Sensitivität: Wie häufig erkennt der Test tatsächlich erkrankte Personen korrekt?
• Spezifität: Wie häufig erkennt der Test tatsächlich nicht erkrankte Personen korrekt?
• Positiver prädiktiver Wert (PPV): Wie wahrscheinlich ist eine Erkrankung bei einem positiven Testergebnis?
• Negativer prädiktiver Wert (NPV): Wie wahrscheinlich ist es, bei einem negativen Testergebnis tatsächlich nicht erkrankt zu sein?
• ROC-Kurve und AUC: Wie gut kann ein diagnostischer Test insgesamt zwischen den beiden Zuständen unterscheiden?

Diese Kennwerte beantworten unterschiedliche Fragen und sollten deshalb nicht isoliert betrachtet werden. Ein Test kann beispielsweise eine sehr hohe Sensitivität besitzen, gleichzeitig aber eine vergleichsweise geringe Spezifität aufweisen. Welche Eigenschaften besonders wichtig sind, hängt vom Einsatzgebiet und den möglichen Konsequenzen falsch positiver und falsch negativer Ergebnisse ab.

Grundlage vieler dieser Kennwerte ist die sogenannte Vierfeldertafel. Dabei werden die Ergebnisse des diagnostischen Tests mit dem tatsächlichen Erkrankungsstatus beziehungsweise einem geeigneten Referenzstandard verglichen. Daraus ergeben sich richtig positive, falsch positive, richtig negative und falsch negative Ergebnisse.

Die diagnostische Genauigkeit lässt sich daher nicht mit einem einzigen Kennwert vollständig beschreiben. Erst die gemeinsame Betrachtung von Sensitivität, Spezifität, prädiktiven Werten und – bei geeigneten Tests – ROC-Kurve und AUC ermöglicht eine differenzierte Bewertung der diagnostischen Leistungsfähigkeit eines Verfahrens.

Die Vierfeldertafel als Grundlage diagnostischer Kennwerte

Die Grundlage vieler Kennwerte zur diagnostischen Genauigkeit ist die Vierfeldertafel. Sie stellt das Ergebnis eines diagnostischen Tests dem tatsächlichen Erkrankungsstatus beziehungsweise einem geeigneten Referenzstandard gegenüber.

Dabei entstehen vier mögliche Kombinationen: Eine Person kann tatsächlich erkrankt oder nicht erkrankt sein und gleichzeitig ein positives oder negatives Testergebnis erhalten.

Richtig positive Ergebnisse

Ein Ergebnis ist richtig positiv (True Positive, TP), wenn der diagnostische Test positiv ausfällt und die untersuchte Person tatsächlich erkrankt ist. Der Test erkennt den vorhandenen Zustand somit korrekt.

Falsch positive Ergebnisse

Von einem falsch positiven Ergebnis (False Positive, FP) spricht man, wenn der Test positiv ausfällt, obwohl die Person tatsächlich nicht erkrankt ist. Ein solches Ergebnis kann beispielsweise zu weiteren diagnostischen Untersuchungen führen, obwohl die Erkrankung nicht vorliegt.

Richtig negative Ergebnisse

Ein richtig negatives Ergebnis (True Negative, TN) liegt vor, wenn der Test negativ ausfällt und die Person tatsächlich nicht erkrankt ist. Der Test ordnet die Person somit korrekt der Gruppe ohne Erkrankung zu.

Falsch negative Ergebnisse

Ein falsch negatives Ergebnis (False Negative, FN) entsteht, wenn der Test negativ ausfällt, obwohl die Erkrankung tatsächlich vorhanden ist. Je nach Erkrankung und diagnostischer Situation können falsch negative Ergebnisse besonders problematisch sein, weil eine notwendige weitere Diagnostik oder Behandlung möglicherweise nicht eingeleitet wird.

Vom Testergebnis zum diagnostischen Kennwert

Aus diesen vier Gruppen lassen sich die wichtigsten Kennwerte der diagnostischen Genauigkeit berechnen. Sensitivität und Spezifität betrachten die Testergebnisse ausgehend vom tatsächlichen Erkrankungsstatus. Die positiven und negativen prädiktiven Werte beantworten dagegen die Frage, wie wahrscheinlich ein bestimmter Erkrankungsstatus bei einem bereits vorliegenden positiven oder negativen Testergebnis ist.

Dieser Unterschied ist für die Interpretation entscheidend. Sensitivität und positiver prädiktiver Wert beziehen sich beispielsweise beide auf positive Ergebnisse, beantworten aber unterschiedliche bedingte Wahrscheinlichkeitsfragen.

Die Vierfeldertafel bildet damit das gemeinsame Fundament für Sensitivität, Spezifität, positiven und negativen prädiktiven Wert und erleichtert es, die Unterschiede zwischen diesen Kennwerten systematisch zu verstehen.

Sensitivität und Spezifität

Sensitivität und Spezifität gehören zu den wichtigsten Kennwerten zur Beurteilung diagnostischer Tests. Beide werden aus der Vierfeldertafel berechnet, betrachten die Testgüte jedoch aus unterschiedlichen Perspektiven. Während die Sensitivität beschreibt, wie gut erkrankte Personen erkannt werden, gibt die Spezifität an, wie zuverlässig nicht erkrankte Personen korrekt ausgeschlossen werden.

Was bedeutet Sensitivität?

Die Sensitivität beschreibt den Anteil der tatsächlich erkrankten Personen, die durch den diagnostischen Test korrekt als positiv erkannt werden. Sie beantwortet damit die Frage:

Wie häufig fällt der Test bei tatsächlich erkrankten Personen positiv aus?

Die Sensitivität wird aus den richtig positiven und falsch negativen Ergebnissen berechnet:

Sensitivität = TP / (TP + FN)

Eine Sensitivität von beispielsweise 90 % bedeutet, dass 90 % der tatsächlich erkrankten Personen durch den Test korrekt erkannt werden. Die übrigen 10 % erhalten ein falsch negatives Testergebnis.

Eine hohe Sensitivität ist insbesondere dann wichtig, wenn möglichst wenige erkrankte Personen übersehen werden sollen. Dies kann beispielsweise bei Erkrankungen relevant sein, bei denen ein nicht erkannter Befund schwerwiegende Folgen haben könnte.

Was bedeutet Spezifität?

Die Spezifität beschreibt den Anteil der tatsächlich nicht erkrankten Personen, die durch den Test korrekt als negativ erkannt werden. Sie beantwortet die Frage:

Wie häufig fällt der Test bei tatsächlich nicht erkrankten Personen negativ aus?

Die Spezifität wird aus den richtig negativen und falsch positiven Ergebnissen berechnet:

Spezifität = TN / (TN + FP)

Eine Spezifität von beispielsweise 95 % bedeutet, dass 95 % der tatsächlich nicht erkrankten Personen korrekt ein negatives Testergebnis erhalten. Bei 5 % fällt der Test dagegen falsch positiv aus.

Eine hohe Spezifität ist besonders relevant, wenn falsch positive Ergebnisse vermieden werden sollen – beispielsweise wenn ein positives Testergebnis weitere invasive, belastende oder kostenintensive Untersuchungen nach sich zieht.

Sensitivität und Spezifität müssen gemeinsam betrachtet werden

Ein diagnostischer Test sollte nicht allein anhand seiner Sensitivität oder seiner Spezifität beurteilt werden. Bei vielen diagnostischen Verfahren besteht ein Zusammenhang zwischen beiden Kennwerten. Wird beispielsweise der Schwellenwert für ein positives Testergebnis verändert, kann die Sensitivität steigen, während gleichzeitig die Spezifität sinkt – oder umgekehrt.

Welche Kombination sinnvoll ist, hängt vom konkreten diagnostischen Einsatzgebiet ab. Entscheidend ist insbesondere, welche Konsequenzen falsch negative und falsch positive Ergebnisse haben.

Sensitivität ist nicht der positive prädiktive Wert

Ein häufiges Missverständnis besteht darin, Sensitivität und positiven prädiktiven Wert gleichzusetzen. Die Sensitivität betrachtet ausschließlich Personen, bei denen die Erkrankung tatsächlich vorliegt, und fragt, welcher Anteil davon positiv getestet wird.

Der positive prädiktive Wert geht dagegen vom positiven Testergebnis aus und fragt, welcher Anteil der positiv getesteten Personen tatsächlich erkrankt ist. Die Richtung der bedingten Wahrscheinlichkeit ist somit unterschiedlich.

Diese Unterscheidung ist besonders wichtig, weil die prädiktiven Werte – anders als Sensitivität und Spezifität – wesentlich von der Häufigkeit der Erkrankung in der untersuchten Population beeinflusst werden.

Positiver und negativer prädiktiver Wert (PPV und NPV)

Während Sensitivität und Spezifität vom tatsächlichen Erkrankungsstatus ausgehen, betrachten die prädiktiven Werte die diagnostische Situation ausgehend vom Testergebnis. Sie beantworten damit eine besonders praxisnahe Frage: Wie wahrscheinlich ist es, dass ein positives oder negatives Testergebnis tatsächlich zutrifft?

Unterschieden werden der positive prädiktive Wert (Positive Predictive Value, PPV) und der negative prädiktive Wert (Negative Predictive Value, NPV).

Was bedeutet der positive prädiktive Wert?

Der positive prädiktive Wert beschreibt den Anteil der Personen mit einem positiven Testergebnis, bei denen die Erkrankung tatsächlich vorliegt. Er beantwortet somit die Frage:

Wie wahrscheinlich ist es, bei einem positiven Testergebnis tatsächlich erkrankt zu sein?

Der positive prädiktive Wert wird aus den richtig positiven und falsch positiven Ergebnissen berechnet:

PPV = TP / (TP + FP)

Ein PPV von beispielsweise 80 % bedeutet, dass 80 % der Personen mit einem positiven Testergebnis tatsächlich erkrankt sind. Bei den übrigen 20 % handelt es sich um falsch positive Ergebnisse.

Was bedeutet der negative prädiktive Wert?

Der negative prädiktive Wert beschreibt den Anteil der Personen mit einem negativen Testergebnis, bei denen die Erkrankung tatsächlich nicht vorliegt. Er beantwortet die Frage:

Wie wahrscheinlich ist es, bei einem negativen Testergebnis tatsächlich nicht erkrankt zu sein?

Der negative prädiktive Wert wird aus den richtig negativen und falsch negativen Ergebnissen berechnet:

NPV = TN / (TN + FN)

Ein NPV von beispielsweise 98 % bedeutet, dass 98 % der Personen mit einem negativen Testergebnis tatsächlich nicht erkrankt sind. Bei 2 % liegt trotz des negativen Testergebnisses die Erkrankung vor.

Warum hängen PPV und NPV von der Prävalenz ab?

Ein entscheidender Unterschied zu Sensitivität und Spezifität besteht darin, dass PPV und NPV wesentlich von der Prävalenz der Erkrankung in der untersuchten Population abhängen. Die Prävalenz beschreibt dabei den Anteil der Personen, bei denen die Erkrankung tatsächlich vorliegt.

Bei einer seltenen Erkrankung können selbst diagnostische Tests mit hoher Sensitivität und Spezifität vergleichsweise viele falsch positive Ergebnisse erzeugen. Der positive prädiktive Wert kann dadurch niedrig sein. Umgekehrt ist der negative prädiktive Wert bei einer niedrigen Prävalenz häufig besonders hoch.

Steigt die Prävalenz, nimmt unter sonst gleichen Bedingungen typischerweise der positive prädiktive Wert zu und der negative prädiktive Wert ab. Deshalb können PPV und NPV nicht ohne Weiteres von einer Population auf eine andere übertragen werden.

Warum ist die untersuchte Population wichtig?

Die diagnostische Aussage eines Testergebnisses hängt deshalb auch davon ab, bei welchen Personen der Test eingesetzt wird. Ein Test kann beispielsweise in einer Hochrisikopopulation einen deutlich anderen positiven prädiktiven Wert besitzen als beim Screening einer Population, in der die Erkrankung nur sehr selten vorkommt.

Bei der Interpretation von PPV und NPV sollte daher immer berücksichtigt werden, aus welcher Population die Daten stammen und wie häufig die untersuchte Erkrankung dort auftritt.

Prädiktive Werte und Sensitivität beziehungsweise Spezifität

Sensitivität, Spezifität, PPV und NPV beschreiben somit unterschiedliche Eigenschaften eines diagnostischen Tests. Keiner dieser Kennwerte sollte isoliert als vollständiges Maß für die diagnostische Qualität betrachtet werden.

Sensitivität und Spezifität beschreiben, wie sich der Test bei Personen mit bekanntem Erkrankungsstatus verhält. PPV und NPV beschreiben dagegen, welche Aussage ein bereits vorliegendes Testergebnis über den Erkrankungsstatus erlaubt.

Gemeinsam ermöglichen die vier Kennwerte eine differenzierte Beurteilung der diagnostischen Leistungsfähigkeit. Bei Tests mit kontinuierlichen oder ordinalen Ergebnissen kommt zusätzlich die Frage hinzu, welcher Schwellenwert für die Unterscheidung zwischen einem positiven und einem negativen Testergebnis gewählt werden soll. Genau dieser Zusammenhang kann mithilfe einer ROC-Analyse untersucht werden.

ROC-Kurve und AUC

Bei vielen diagnostischen Verfahren entsteht nicht unmittelbar ein positives oder negatives Ergebnis. Stattdessen liefert der Test einen kontinuierlichen oder ordinalen Messwert, anhand dessen entschieden werden muss, ab welchem Wert ein Testergebnis als positiv eingestuft wird. Für die Beurteilung solcher diagnostischen Tests spielen die ROC-Kurve und die Fläche unter der ROC-Kurve (AUC) eine wichtige Rolle.

Was ist eine ROC-Kurve?

Die ROC-Kurve (Receiver Operating Characteristic Curve) zeigt, wie sich Sensitivität und Spezifität eines diagnostischen Tests bei unterschiedlichen Schwellenwerten verändern. Für verschiedene mögliche Grenzwerte wird berechnet, welcher Anteil der tatsächlich erkrankten Personen korrekt erkannt wird und welcher Anteil der nicht erkrankten Personen fälschlicherweise ein positives Testergebnis erhält.

Auf der y-Achse der ROC-Kurve wird die Sensitivität dargestellt. Auf der x-Achse befindet sich 1 − Spezifität, also die Falsch-Positiv-Rate.

Jeder Punkt auf der ROC-Kurve entspricht damit einem bestimmten Schwellenwert und der daraus resultierenden Kombination aus Sensitivität und Spezifität.

Der Einfluss des Schwellenwertes

Wird der Schwellenwert eines diagnostischen Tests verändert, verändert sich häufig auch das Verhältnis zwischen Sensitivität und Spezifität. Wird beispielsweise ein niedrigerer Schwellenwert gewählt, werden möglicherweise mehr erkrankte Personen erkannt. Gleichzeitig können jedoch auch mehr nicht erkrankte Personen fälschlicherweise als positiv eingestuft werden.

Ein höherer Schwellenwert kann dagegen die Anzahl falsch positiver Ergebnisse reduzieren, gleichzeitig aber dazu führen, dass mehr tatsächlich erkrankte Personen übersehen werden.

Die ROC-Kurve macht diesen Trade-off zwischen Sensitivität und Spezifität über verschiedene Schwellenwerte hinweg sichtbar.

Was bedeutet die AUC?

Die AUC (Area Under the Curve) bezeichnet die Fläche unter der ROC-Kurve. Sie fasst die Trennfähigkeit eines diagnostischen Tests über alle betrachteten Schwellenwerte hinweg in einem einzelnen Kennwert zusammen.

Die AUC kann Werte zwischen 0 und 1 annehmen. Eine AUC von 0,5 entspricht einer Trennfähigkeit auf Zufallsniveau. Je näher die AUC an 1 liegt, desto besser kann der Test grundsätzlich zwischen Personen mit und ohne den untersuchten Zustand unterscheiden.

Eine anschauliche Interpretation der AUC besteht darin, zwei Personen zufällig auszuwählen – eine mit und eine ohne Erkrankung. Die AUC beschreibt dann die Wahrscheinlichkeit, dass die erkrankte Person vom diagnostischen Verfahren einen höheren Risikowert beziehungsweise Testwert erhält als die nicht erkrankte Person, sofern höhere Werte für eine stärkere Ausprägung beziehungsweise höhere Erkrankungswahrscheinlichkeit stehen.

Wie wird die AUC interpretiert?

Häufig werden AUC-Werte anhand bestimmter Grenzwerte als akzeptabel, gut oder sehr gut bezeichnet. Solche pauschalen Kategorien sollten jedoch vorsichtig verwendet werden. Die praktische Bedeutung einer AUC hängt von der konkreten diagnostischen Fragestellung und dem Einsatzgebiet des Tests ab.

Auch eine hohe AUC bedeutet nicht automatisch, dass für den praktischen Einsatz ein geeigneter Schwellenwert existiert. Die AUC beschreibt die allgemeine Trennfähigkeit über verschiedene Schwellenwerte hinweg, während eine konkrete diagnostische Entscheidung einen bestimmten Schwellenwert und damit eine bestimmte Kombination aus Sensitivität und Spezifität erfordert.

ROC-Kurve und optimaler Schwellenwert

Eine ROC-Analyse kann auch verwendet werden, um mögliche Schwellenwerte miteinander zu vergleichen. Welcher Schwellenwert als geeignet betrachtet wird, hängt jedoch davon ab, wie falsch positive und falsch negative Entscheidungen gewichtet werden.

Statistische Kriterien wie der Youden-Index können bei der Auswahl eines Schwellenwertes unterstützen. Der statistisch günstigste Schwellenwert muss jedoch nicht automatisch der klinisch oder praktisch sinnvollste sein. Bei einem Screeningverfahren können beispielsweise andere Anforderungen an die Sensitivität bestehen als bei einem diagnostischen Bestätigungstest.

Vergleich diagnostischer Verfahren

ROC-Kurven und AUC-Werte können außerdem verwendet werden, um die Trennfähigkeit verschiedener diagnostischer Verfahren oder Modelle miteinander zu vergleichen. Dabei sollte nicht allein betrachtet werden, welcher Test numerisch die größere AUC besitzt.

Insbesondere bei Untersuchungen derselben Personen muss berücksichtigt werden, dass die resultierenden AUC-Werte statistisch voneinander abhängig sein können. Für einen formalen Vergleich stehen entsprechende statistische Verfahren zur Verfügung.

ROC-Kurve und AUC ergänzen damit die klassischen Kennwerte der diagnostischen Genauigkeit. Während Sensitivität und Spezifität die Testleistung bei einem bestimmten Schwellenwert beschreiben, ermöglicht die ROC-Analyse eine Beurteilung der Trennfähigkeit über unterschiedliche Schwellenwerte hinweg.

Welche Rolle spielt die Prävalenz bei der diagnostischen Genauigkeit?

Die Prävalenz beschreibt, wie häufig eine Erkrankung oder ein bestimmter Zustand in einer Population vorkommt. Bei der Interpretation diagnostischer Tests ist sie besonders wichtig, weil sie den positiven und negativen prädiktiven Wert wesentlich beeinflusst.

Ein diagnostischer Test kann deshalb in unterschiedlichen Populationen dieselbe Sensitivität und Spezifität aufweisen, aber dennoch deutlich unterschiedliche prädiktive Werte besitzen.

Niedrige Prävalenz und positiver prädiktiver Wert

Ist eine Erkrankung in einer untersuchten Population selten, gibt es sehr viele Personen ohne Erkrankung. Selbst wenn ein Test eine hohe Spezifität besitzt, kann ein kleiner Anteil falsch positiver Ergebnisse deshalb zahlenmäßig relevant werden.

Ein einfaches Beispiel verdeutlicht diesen Zusammenhang: Angenommen, 1.000 Personen werden untersucht und die Prävalenz einer Erkrankung beträgt 1 %. Damit sind 10 Personen erkrankt und 990 Personen nicht erkrankt.

Besitzt der Test eine Sensitivität von 90 %, werden 9 der 10 erkrankten Personen korrekt erkannt. Bei einer Spezifität von 95 % werden gleichzeitig ungefähr 49 bis 50 der 990 nicht erkrankten Personen ein falsch positives Ergebnis erhalten.

Damit stehen lediglich 9 richtig positive Ergebnisse ungefähr 50 falsch positiven Ergebnissen gegenüber. Trotz einer Sensitivität von 90 % und einer Spezifität von 95 % wäre der positive prädiktive Wert vergleichsweise niedrig.

Warum kann der NPV bei niedriger Prävalenz sehr hoch sein?

Bei einer seltenen Erkrankung ist der überwiegende Teil der untersuchten Population nicht erkrankt. Ein negatives Testergebnis wird deshalb häufig tatsächlich von einer nicht erkrankten Person stammen.

Der negative prädiktive Wert kann dadurch sehr hoch sein. Das bedeutet jedoch nicht automatisch, dass der Test außergewöhnlich leistungsfähig ist. Ein hoher NPV kann teilweise auch daraus resultieren, dass die Erkrankung in der untersuchten Population nur selten vorkommt.

Was passiert bei steigender Prävalenz?

Steigt die Prävalenz einer Erkrankung, verändert sich auch die Zusammensetzung der untersuchten Population. Es gibt nun mehr tatsächlich erkrankte Personen und relativ weniger Personen ohne Erkrankung.

Unter ansonsten vergleichbaren Bedingungen gilt deshalb typischerweise:

• Mit steigender Prävalenz steigt der positive prädiktive Wert (PPV).
• Mit steigender Prävalenz sinkt der negative prädiktive Wert (NPV).
• Mit sinkender Prävalenz sinkt der PPV.
• Mit sinkender Prävalenz steigt der NPV.

Sensitivität und Spezifität sind davon zu unterscheiden

Sensitivität und Spezifität werden anders berechnet. Die Sensitivität betrachtet ausschließlich die tatsächlich erkrankten Personen, während die Spezifität ausschließlich die tatsächlich nicht erkrankten Personen betrachtet.

Deshalb werden Sensitivität und Spezifität häufig als weitgehend prävalenzunabhängige Eigenschaften eines diagnostischen Tests beschrieben. In realen Populationen können sie dennoch variieren, beispielsweise wenn sich Krankheitsspektrum, Schweregrad, Patientenauswahl oder andere Merkmale zwischen verschiedenen Untersuchungsgruppen unterscheiden.

Es wäre daher zu stark vereinfacht, Sensitivität und Spezifität grundsätzlich als vollkommen unveränderliche Eigenschaften eines Tests zu betrachten.

Warum sind Screening und klinische Diagnostik unterschiedlich?

Der Einfluss der Prävalenz wird besonders deutlich, wenn ein diagnostisches Verfahren in unterschiedlichen Anwendungssituationen eingesetzt wird. Bei einem Screening in einer weitgehend unselektierten Population kann die Prävalenz einer Erkrankung relativ niedrig sein.

Wird derselbe Test dagegen bei Personen eingesetzt, die bereits Symptome oder bestimmte Risikofaktoren aufweisen, kann die Wahrscheinlichkeit einer Erkrankung deutlich höher sein. Entsprechend können sich auch PPV und NPV verändern.

Ein prädiktiver Wert sollte deshalb immer im Zusammenhang mit der Population und dem diagnostischen Setting interpretiert werden, in dem er bestimmt wurde.

Warum ist die Prävalenz für die Interpretation so wichtig?

Die diagnostische Genauigkeit eines Tests lässt sich nicht sinnvoll beurteilen, indem lediglich einzelne Prozentwerte aus einer Studie übernommen werden. Insbesondere bei PPV und NPV muss berücksichtigt werden, wie häufig die Erkrankung in der untersuchten Population vorkam und ob diese Population mit dem späteren Einsatzgebiet des Tests vergleichbar ist.

Die Prävalenz verbindet damit die statistische Testgüte mit der praktischen diagnostischen Anwendung. Ein Test kann unter bestimmten Bedingungen sehr überzeugende prädiktive Werte erreichen, während dieselben Werte in einer Population mit deutlich anderer Erkrankungshäufigkeit nicht ohne Weiteres zu erwarten sind.

Wie wird die diagnostische Genauigkeit statistisch beurteilt?

Bei der Bewertung eines diagnostischen Tests reicht es nicht aus, lediglich Sensitivität, Spezifität, PPV, NPV oder AUC als einzelne Zahlen anzugeben. Diese Kennwerte werden auf Grundlage einer Stichprobe geschätzt und sind deshalb mit statistischer Unsicherheit verbunden.

Eine vollständige Beurteilung der diagnostischen Genauigkeit sollte daher neben den geschätzten Kennwerten auch Konfidenzintervalle und die zugrunde liegende Stichprobengröße berücksichtigen.

Punktschätzer und Konfidenzintervalle

Angenommen, für einen diagnostischen Test wird eine Sensitivität von 90 % ermittelt. Dieser Wert beschreibt zunächst die Sensitivität innerhalb der untersuchten Stichprobe. Er bedeutet jedoch nicht, dass die Sensitivität in der zugrunde liegenden Population exakt 90 % beträgt.

Ein Konfidenzintervall gibt zusätzliche Informationen darüber, mit welcher Unsicherheit die Sensitivität geschätzt wurde. Je nach Stichprobengröße und beobachteten Ergebnissen kann das Intervall relativ eng oder vergleichsweise breit ausfallen.

Das gleiche Prinzip gilt für Spezifität, PPV und NPV. Statt beispielsweise lediglich eine Spezifität von 95 % zu berichten, sollte nach Möglichkeit auch ein entsprechendes 95-%-Konfidenzintervall angegeben werden.

Warum ist die Stichprobengröße wichtig?

Die Präzision diagnostischer Kennwerte hängt wesentlich von der Anzahl der untersuchten Personen ab. Dabei ist nicht nur die Gesamtstichprobe relevant, sondern insbesondere die Anzahl der tatsächlich erkrankten und tatsächlich nicht erkrankten Personen.

Für die Schätzung der Sensitivität sind beispielsweise die Personen mit vorhandener Erkrankung entscheidend. Besteht eine Studie aus 1.000 Personen, von denen lediglich 10 erkrankt sind, basiert die Sensitivität letztlich auf diesen 10 Fällen. Eine scheinbar große Gesamtstichprobe kann deshalb trotzdem zu einer unpräzisen Schätzung der Sensitivität führen.

Entsprechend hängt die Präzision der Spezifität insbesondere von der Anzahl der nicht erkrankten Personen ab.

Konfidenzintervalle für Sensitivität und Spezifität

Sensitivität und Spezifität sind Anteile beziehungsweise Wahrscheinlichkeiten. Für ihre Konfidenzintervalle können verschiedene statistische Verfahren verwendet werden. Insbesondere bei kleinen Stichproben oder Anteilen nahe 0 oder 1 können sich die Ergebnisse verschiedener Berechnungsmethoden unterscheiden.

Deshalb sollte bei einer statistischen Auswertung nicht nur der Punktschätzer angegeben, sondern auch geprüft werden, wie präzise der jeweilige diagnostische Kennwert geschätzt wurde.

Konfidenzintervalle für die AUC

Auch die Fläche unter der ROC-Kurve ist ein aus einer Stichprobe geschätzter Kennwert. Eine AUC sollte deshalb ebenfalls nach Möglichkeit zusammen mit einem Konfidenzintervall berichtet werden.

Ein breites Konfidenzintervall kann darauf hinweisen, dass die tatsächliche Trennfähigkeit des diagnostischen Verfahrens noch relativ unsicher geschätzt ist. Dies ist insbesondere bei kleineren Stichproben oder einer geringen Anzahl relevanter Fälle zu berücksichtigen.

Vergleich zweier diagnostischer Verfahren

Sollen zwei diagnostische Verfahren miteinander verglichen werden, reicht es nicht aus, lediglich ihre Kennwerte nebeneinanderzustellen. Eine AUC von beispielsweise 0,84 bei einem Verfahren und 0,88 bei einem anderen bedeutet nicht automatisch, dass das zweite Verfahren statistisch nachweisbar besser unterscheidet.

Für den Vergleich von ROC-Kurven beziehungsweise AUC-Werten können geeignete statistische Tests eingesetzt werden. Werden beide diagnostischen Verfahren bei denselben Personen erhoben, muss insbesondere die Abhängigkeit der Messungen berücksichtigt werden.

Auch Unterschiede in Sensitivität oder Spezifität können statistisch untersucht werden. Welches Verfahren dafür geeignet ist, hängt unter anderem vom Studiendesign und davon ab, ob die diagnostischen Tests an denselben oder an unterschiedlichen Personen durchgeführt wurden.

Statistische Signifikanz und diagnostische Relevanz

Wie bei anderen statistischen Analysen sollte auch bei diagnostischen Studien zwischen statistischer Signifikanz und praktischer beziehungsweise klinischer Relevanz unterschieden werden.

Ein statistisch nachweisbarer Unterschied zwischen zwei diagnostischen Verfahren muss nicht automatisch praktisch bedeutsam sein. Umgekehrt kann ein diagnostisch relevanter Unterschied aufgrund einer kleinen Stichprobe mit erheblicher statistischer Unsicherheit verbunden sein.

Eine fundierte Beurteilung diagnostischer Genauigkeit berücksichtigt deshalb nicht nur einzelne Kennwerte oder p-Werte, sondern Punktschätzer, Konfidenzintervalle, Stichprobengröße, Studiendesign und die praktische Bedeutung möglicher Fehlentscheidungen.

Typische Fehler bei der Interpretation diagnostischer Kennwerte

Sensitivität, Spezifität, prädiktive Werte und AUC wirken auf den ersten Blick vergleichsweise einfach. Dennoch entstehen bei ihrer Interpretation häufig Missverständnisse. Besonders problematisch ist es, einzelne Kennwerte isoliert zu betrachten oder unterschiedliche Wahrscheinlichkeiten miteinander zu verwechseln.

Sensitivität mit dem positiven prädiktiven Wert verwechseln

Eine hohe Sensitivität bedeutet nicht, dass eine Person mit einem positiven Testergebnis mit derselben Wahrscheinlichkeit tatsächlich erkrankt ist. Die Sensitivität beantwortet die Frage, wie häufig tatsächlich erkrankte Personen positiv getestet werden.

Der positive prädiktive Wert betrachtet dagegen Personen mit positivem Testergebnis und gibt an, welcher Anteil davon tatsächlich erkrankt ist. Beide Kennwerte beruhen somit auf unterschiedlichen bedingten Wahrscheinlichkeiten.

Spezifität mit dem negativen prädiktiven Wert verwechseln

Entsprechend beschreibt eine hohe Spezifität nicht unmittelbar die Wahrscheinlichkeit, bei einem negativen Testergebnis tatsächlich nicht erkrankt zu sein. Diese Frage beantwortet der negative prädiktive Wert.

Die Spezifität betrachtet dagegen ausschließlich tatsächlich nicht erkrankte Personen und untersucht, welcher Anteil davon durch den Test korrekt negativ klassifiziert wird.

Die Prävalenz bei PPV und NPV ignorieren

Ein häufiger Fehler besteht darin, positive und negative prädiktive Werte als feste Eigenschaften eines diagnostischen Tests zu interpretieren. Tatsächlich hängen beide Kennwerte wesentlich von der Prävalenz der Erkrankung in der untersuchten Population ab.

Ein PPV, der in einer Hochrisikopopulation ermittelt wurde, kann deshalb nicht ohne Weiteres auf ein Screening in einer Population mit sehr niedriger Erkrankungshäufigkeit übertragen werden.

Nur die Accuracy betrachten

Die Accuracy beziehungsweise Gesamtgenauigkeit beschreibt den Anteil aller korrekt klassifizierten Personen an sämtlichen untersuchten Personen:

Accuracy = (TP + TN) / (TP + TN + FP + FN)

Dieser Kennwert kann jedoch insbesondere bei stark ungleichen Gruppenverteilungen irreführend sein. Wenn beispielsweise nur 1 % einer Population erkrankt ist, würde eine Klassifikation sämtlicher Personen als „nicht erkrankt“ bereits eine Accuracy von 99 % erreichen – obwohl keine einzige erkrankte Person erkannt würde.

Eine hohe Accuracy bedeutet deshalb nicht automatisch eine hohe diagnostische Leistungsfähigkeit.

Eine hohe AUC mit perfekter Diagnostik gleichsetzen

Eine hohe AUC zeigt, dass ein diagnostisches Verfahren grundsätzlich gut zwischen Personen mit und ohne den untersuchten Zustand unterscheiden kann. Sie sagt jedoch nicht unmittelbar aus, wie gut der Test bei einem konkret gewählten Schwellenwert funktioniert.

Ein Test mit hoher AUC kann bei einem bestimmten Cut-off beispielsweise eine hohe Sensitivität, aber eine unzureichende Spezifität besitzen. Für praktische diagnostische Entscheidungen müssen deshalb die Eigenschaften des tatsächlich verwendeten Schwellenwertes betrachtet werden.

Den höchsten Youden-Index automatisch als besten Cut-off verwenden

Der Youden-Index kombiniert Sensitivität und Spezifität und kann zur Identifikation eines statistisch günstigen Schwellenwertes verwendet werden. Ein hoher Youden-Index bedeutet jedoch nicht automatisch, dass dieser Cut-off auch klinisch oder praktisch optimal ist.

Wenn beispielsweise falsch negative Ergebnisse deutlich schwerwiegendere Konsequenzen haben als falsch positive Ergebnisse, kann bewusst ein Schwellenwert mit höherer Sensitivität gewählt werden – auch wenn dieser nicht den maximalen Youden-Index besitzt.

Konfidenzintervalle nicht berücksichtigen

Diagnostische Kennwerte werden aus Stichprobendaten geschätzt. Eine Sensitivität von 90 % kann sehr präzise oder sehr unpräzise geschätzt worden sein. Ohne Informationen zur statistischen Unsicherheit lässt sich dies anhand des Punktschätzers allein nicht beurteilen.

Deshalb sollten Sensitivität, Spezifität, prädiktive Werte und AUC nach Möglichkeit zusammen mit Konfidenzintervallen berichtet und interpretiert werden.

Numerische Unterschiede automatisch als relevante Unterschiede interpretieren

Wenn zwei diagnostische Verfahren unterschiedliche Sensitivitäten, Spezifitäten oder AUC-Werte aufweisen, bedeutet dies nicht automatisch, dass sich ihre diagnostische Leistungsfähigkeit statistisch oder praktisch relevant unterscheidet.

Insbesondere bei kleinen Stichproben können numerische Unterschiede durch Stichprobenvariation entstehen. Bei formalen Vergleichen muss außerdem berücksichtigt werden, ob beide Verfahren an denselben Personen untersucht wurden und die Ergebnisse deshalb statistisch voneinander abhängig sind.

Den Referenzstandard nicht hinterfragen

Die Berechnung diagnostischer Kennwerte setzt voraus, dass bekannt ist, welche Personen tatsächlich erkrankt beziehungsweise nicht erkrankt sind. Diese Einteilung erfolgt anhand eines Referenzstandards, der jedoch selbst nicht immer vollkommen fehlerfrei sein muss.

Ist der Referenzstandard unzuverlässig oder werden unterschiedliche Verfahren zur Bestimmung des tatsächlichen Erkrankungsstatus verwendet, kann dies die geschätzte diagnostische Genauigkeit beeinflussen.

Eine fundierte Bewertung diagnostischer Tests sollte deshalb nicht auf einen einzelnen Kennwert reduziert werden. Entscheidend ist die gemeinsame Betrachtung der diagnostischen Kennwerte, ihrer statistischen Unsicherheit, der untersuchten Population, des Referenzstandards und der praktischen Konsequenzen diagnostischer Fehlentscheidungen.

Beispiel für die Beurteilung eines diagnostischen Tests

Wie Sensitivität, Spezifität sowie positiver und negativer prädiktiver Wert zusammenhängen, lässt sich anhand eines einfachen Beispiels zeigen. Angenommen, ein neuer diagnostischer Test wird bei 1.000 Personen untersucht. Der tatsächliche Erkrankungsstatus wird mithilfe eines geeigneten Referenzstandards bestimmt.

Von den 1.000 untersuchten Personen sind 100 tatsächlich erkrankt und 900 nicht erkrankt. Der diagnostische Test liefert folgende Ergebnisse:

Sensitivität berechnen

Von den 100 tatsächlich erkrankten Personen erkennt der Test 90 korrekt. Die Sensitivität beträgt daher:

Sensitivität = 90 / (90 + 10) = 0,90 = 90 %

Der Test erkennt somit 90 % der tatsächlich erkrankten Personen. 10 % der Erkrankten erhalten dagegen ein falsch negatives Testergebnis.

Spezifität berechnen

Von den 900 tatsächlich nicht erkrankten Personen werden 855 korrekt als negativ klassifiziert. Daraus ergibt sich:

Spezifität = 855 / (855 + 45) = 0,95 = 95 %

Der Test erkennt somit 95 % der nicht erkrankten Personen korrekt. Bei 5 % der nicht erkrankten Personen fällt der Test falsch positiv aus.

Positiven prädiktiven Wert berechnen

Insgesamt erhalten 135 Personen ein positives Testergebnis. Davon sind jedoch nur 90 tatsächlich erkrankt. Der positive prädiktive Wert beträgt deshalb:

PPV = 90 / (90 + 45) = 0,667 = 66,7 %

Eine Person mit positivem Testergebnis ist in diesem Beispiel somit mit einer Wahrscheinlichkeit von rund 66,7 % tatsächlich erkrankt. Obwohl der Test eine Sensitivität von 90 % und eine Spezifität von 95 % besitzt, ist ungefähr jedes dritte positive Testergebnis falsch positiv.

Negativen prädiktiven Wert berechnen

Von den insgesamt 865 Personen mit negativem Testergebnis sind 855 tatsächlich nicht erkrankt. Damit ergibt sich:

NPV = 855 / (855 + 10) = 0,988 = 98,8 %

Bei einem negativen Testergebnis beträgt die Wahrscheinlichkeit, tatsächlich nicht erkrankt zu sein, in dieser Population somit ungefähr 98,8 %.

Accuracy berechnen

Für die Gesamtgenauigkeit werden alle korrekt klassifizierten Personen betrachtet. Dazu gehören die 90 richtig positiven und die 855 richtig negativen Ergebnisse:

Accuracy = (90 + 855) / 1.000 = 0,945 = 94,5 %

Insgesamt klassifiziert der Test damit 94,5 % der untersuchten Personen korrekt. Dieser Wert sollte jedoch nicht isoliert interpretiert werden, da die Accuracy stark von der Verteilung der erkrankten und nicht erkrankten Personen beeinflusst werden kann.

Was zeigt dieses Beispiel?

Das Beispiel verdeutlicht insbesondere, dass Sensitivität, Spezifität und prädiktive Werte unterschiedliche Informationen liefern. Eine Sensitivität von 90 % bedeutet nicht, dass bei einem positiven Testergebnis eine Erkrankungswahrscheinlichkeit von 90 % besteht. In diesem Beispiel beträgt der PPV trotz einer Sensitivität von 90 % lediglich 66,7 %.

Der Grund liegt unter anderem in der Prävalenz: In der untersuchten Population sind 100 von 1.000 Personen erkrankt, die Prävalenz beträgt also 10 %. Dadurch entstehen trotz der hohen Spezifität von 95 % insgesamt 45 falsch positive Ergebnisse.

Würde derselbe Test in einer Population mit einer anderen Erkrankungshäufigkeit eingesetzt, könnten sich PPV und NPV deutlich verändern, obwohl Sensitivität und Spezifität unverändert angenommen werden.

Eine diagnostische Untersuchung sollte deshalb möglichst nicht anhand eines einzelnen Kennwertes bewertet werden. Erst die gemeinsame Betrachtung von Sensitivität, Spezifität, PPV, NPV, statistischer Unsicherheit und dem jeweiligen Anwendungskontext ermöglicht eine sinnvolle Interpretation.

Wann ist professionelle Unterstützung bei der Auswertung diagnostischer Daten sinnvoll?

Die Berechnung von Sensitivität, Spezifität oder prädiktiven Werten ist technisch vergleichsweise einfach. Anspruchsvoller wird die statistische Auswertung jedoch, sobald diagnostische Verfahren systematisch bewertet, Schwellenwerte untersucht oder mehrere Tests miteinander verglichen werden sollen.

Professionelle statistische Unterstützung kann deshalb bereits bei der Planung einer diagnostischen Studie sinnvoll sein und sich über die eigentliche Analyse bis zur Interpretation und wissenschaftlichen Darstellung der Ergebnisse erstrecken.

Planung diagnostischer Studien

Vor Beginn der Datenauswertung sollte klar definiert werden, welche diagnostische Fragestellung untersucht werden soll. Dazu gehört beispielsweise die Entscheidung, welcher Referenzstandard verwendet wird, welche Zielpopulation untersucht werden soll und welche Kennwerte für die Beurteilung des diagnostischen Verfahrens relevant sind.

Auch die benötigte Stichprobengröße sollte möglichst bereits bei der Studienplanung berücksichtigt werden. Für die Präzision von Sensitivität und Spezifität ist insbesondere relevant, wie viele Personen mit und ohne den untersuchten Zustand in der Stichprobe erwartet werden.

Berechnung diagnostischer Kennwerte

Zur statistischen Auswertung können je nach Fragestellung Sensitivität, Spezifität, positiver und negativer prädiktiver Wert sowie weitere diagnostische Kennwerte berechnet werden.

Dabei sollten nicht nur Punktschätzer angegeben werden. Konfidenzintervalle ermöglichen zusätzlich eine Beurteilung der statistischen Unsicherheit und zeigen, wie präzise die jeweiligen Kennwerte anhand der vorliegenden Stichprobe geschätzt werden konnten.

ROC-Analyse und AUC

Bei kontinuierlichen oder ordinalen diagnostischen Messwerten kann eine ROC-Analyse eingesetzt werden, um die Trennfähigkeit eines Tests über unterschiedliche Schwellenwerte hinweg zu untersuchen.

Neben der Darstellung der ROC-Kurve können die Fläche unter der ROC-Kurve (AUC) und ihr Konfidenzintervall bestimmt werden. Abhängig von der Forschungsfrage kann außerdem untersucht werden, welche Kombination aus Sensitivität und Spezifität für einen bestimmten diagnostischen Einsatzbereich geeignet ist.

Bestimmung und Bewertung von Cut-off-Werten

Die Auswahl eines diagnostischen Schwellenwertes sollte nicht ausschließlich anhand eines automatisch berechneten statistischen Kriteriums erfolgen. Verfahren wie der Youden-Index können mögliche Cut-offs identifizieren, berücksichtigen jedoch nicht automatisch die unterschiedlichen Konsequenzen falsch positiver und falsch negativer Entscheidungen.

Ein geeigneter Schwellenwert sollte deshalb sowohl statistisch als auch inhaltlich beziehungsweise klinisch beurteilt werden. Je nach Einsatzgebiet kann beispielsweise eine besonders hohe Sensitivität wichtiger sein als eine möglichst ausgeglichene Kombination aus Sensitivität und Spezifität.

Vergleich diagnostischer Tests

Werden mehrere diagnostische Verfahren untersucht, kann geprüft werden, ob sich ihre diagnostische Leistungsfähigkeit unterscheidet. Dabei können beispielsweise AUC-Werte, Sensitivitäten oder Spezifitäten miteinander verglichen werden.

Welche statistische Methode für einen solchen Vergleich geeignet ist, hängt vom Studiendesign ab. Werden mehrere Tests bei denselben Personen durchgeführt, sind die resultierenden Messungen voneinander abhängig und müssen entsprechend analysiert werden.

Interpretation und wissenschaftliche Darstellung

Eine diagnostische Analyse endet nicht mit der Berechnung einzelner Kennwerte. Die Ergebnisse müssen im Zusammenhang mit Population, Prävalenz, Referenzstandard, statistischer Unsicherheit und dem vorgesehenen Einsatzgebiet des Tests interpretiert werden.

Für wissenschaftliche Arbeiten und Publikationen ist außerdem eine nachvollziehbare Darstellung der statistischen Methoden und Ergebnisse erforderlich. Dazu können Vierfeldertafeln, diagnostische Kennwerte mit Konfidenzintervallen, ROC-Kurven sowie tabellarische Vergleiche verschiedener Verfahren gehören.

Statistische Beratung bei diagnostischen Studien

Mehr als Durchschnitt unterstützt Studierende, Promovierende, Forschende und Forschungsprojekte bei der Planung und statistischen Auswertung diagnostischer Fragestellungen. Dazu können unter anderem die Berechnung und Interpretation von Sensitivität, Spezifität, PPV, NPV, ROC-Kurven und AUC-Werten sowie der Vergleich diagnostischer Verfahren gehören.

Im Mittelpunkt steht dabei nicht allein die technische Berechnung der Kennwerte, sondern die Frage, welche statistische Vorgehensweise zur diagnostischen Fragestellung, zum Studiendesign und zu den vorliegenden Daten passt.

Weitere Informationen finden Sie auf unserer Seite zur Statistik-Beratung.

Häufige Fragen zur diagnostischen Genauigkeit (FAQ)