282
5 Bewertung und Validierung
• falsch positiv (engl. false positive (FP)): wir klassifizieren ein Objekt als positiv
und das ist falsch. Im obigen Beispiel: wir halten Phosphor für Bernstein (eine
gefährliche Fehleinschätzung).
• richtig negativ (engl. true negative (TN)): wir klassifizieren ein Objekt als negativ
und das ist richtig. Im obigen Beispiel: wir halten ein Fundstück für Phosphor
und es ist Phosphor.
• falsch negativ (engl. false negative (FN)): wir klassifizieren ein Objekt als negativ
und das ist falsch. Im Beispiel: wir klassifizieren ein Fundstück als Phosphor und
es ist Bernstein4.
Absolute Zahlen (beispielsweise Anzahlen von gefundenen Objekten) müssen zueinander in Beziehung gebracht werden. Daher werden die folgenden Metriken definiert:
Definition 5.17: Unter Genauigkeit (engl. precision) verstehen wir das Verhältnis
p =
T P
T P + FP
(5.30)
Im Fall der Bernsteinsuche zielen wir auf einen Wert von 1 (also auf FP = 0),
weil wir uns nicht verbrennen möchten. Im Zweifelsfall würden wir also ein Objekt
sicherheitshalber als Phosphor klassifizieren. Mithin müssen wir die Möglichkeit
falsch negativer Klassifikationen (d.h. F N > 0) akzeptieren, wenn wir eine gute
Genauigkeit erreichen wollen. Anders ist die Situation beispielsweise bei der Krankheitsdiagnose. Hier zielen wir möglichst auf F N = 0, um keinen Krankheitsfall zu
übersehen, und akzeptieren dafür eher falsch positive Klassifikationen und dementsprechend p < 1.
Definition 5.18: Unter Sensitivität (engl. sensitivity oder recall) verstehen wir das
Verhältnis
r =
T P
T P + F N
(5.31)
Eine gute Genauigkeit führt wegen F N > 0 tendenziell zu einer schlechteren Sensitivität.
Definition 5.19: Unter Korrektklassifikationsrate (engl. accuracy) verstehen wir
das Verhältnis
acc =
T P + T N
T P + FP + T N + F N
(5.32)
Im Fall der Bernsteinsuche können wir eine nicht-optimale Korrektklassifikationsrate
akzeptieren, um die Zahl der falsch positiven Werte so gering wie möglich zu halten.
Wir können daher eine größere Zahl von falsch-negativen Klassifikationen haben.
4 Ein anderes, aktuelles Beispiel der Anwendung der Klassifikation ist der Test auf eine vorliegende
COVID-19 Infektion. In diesem Fall sind falsch negative Klassifikationen gefährlich.
5 Bewertung und Validierung
• falsch positiv (engl. false positive (FP)): wir klassifizieren ein Objekt als positiv
und das ist falsch. Im obigen Beispiel: wir halten Phosphor für Bernstein (eine
gefährliche Fehleinschätzung).
• richtig negativ (engl. true negative (TN)): wir klassifizieren ein Objekt als negativ
und das ist richtig. Im obigen Beispiel: wir halten ein Fundstück für Phosphor
und es ist Phosphor.
• falsch negativ (engl. false negative (FN)): wir klassifizieren ein Objekt als negativ
und das ist falsch. Im Beispiel: wir klassifizieren ein Fundstück als Phosphor und
es ist Bernstein4.
Absolute Zahlen (beispielsweise Anzahlen von gefundenen Objekten) müssen zueinander in Beziehung gebracht werden. Daher werden die folgenden Metriken definiert:
Definition 5.17: Unter Genauigkeit (engl. precision) verstehen wir das Verhältnis
p =
T P
T P + FP
(5.30)
Im Fall der Bernsteinsuche zielen wir auf einen Wert von 1 (also auf FP = 0),
weil wir uns nicht verbrennen möchten. Im Zweifelsfall würden wir also ein Objekt
sicherheitshalber als Phosphor klassifizieren. Mithin müssen wir die Möglichkeit
falsch negativer Klassifikationen (d.h. F N > 0) akzeptieren, wenn wir eine gute
Genauigkeit erreichen wollen. Anders ist die Situation beispielsweise bei der Krankheitsdiagnose. Hier zielen wir möglichst auf F N = 0, um keinen Krankheitsfall zu
übersehen, und akzeptieren dafür eher falsch positive Klassifikationen und dementsprechend p < 1.
Definition 5.18: Unter Sensitivität (engl. sensitivity oder recall) verstehen wir das
Verhältnis
r =
T P
T P + F N
(5.31)
Eine gute Genauigkeit führt wegen F N > 0 tendenziell zu einer schlechteren Sensitivität.
Definition 5.19: Unter Korrektklassifikationsrate (engl. accuracy) verstehen wir
das Verhältnis
acc =
T P + T N
T P + FP + T N + F N
(5.32)
Im Fall der Bernsteinsuche können wir eine nicht-optimale Korrektklassifikationsrate
akzeptieren, um die Zahl der falsch positiven Werte so gering wie möglich zu halten.
Wir können daher eine größere Zahl von falsch-negativen Klassifikationen haben.
4 Ein anderes, aktuelles Beispiel der Anwendung der Klassifikation ist der Test auf eine vorliegende
COVID-19 Infektion. In diesem Fall sind falsch negative Klassifikationen gefährlich.