Concordance 205
Le kappa pondéré
Dans l’évaluation de la concordance, des mesures effectuées par deux
examinateurs avec une échelle qui comporte plus de deux niveaux
ordonnés, on peut juger que tous les désaccords n’ont pas le même
poids. Prenons l’exemple de deux anatomopathologistes qui évaluent
le degré de fibrose dans le foie avec le score METAVIR, avec un jugement en trois catégories de fibrose allant de F2 (fibrose modérée) à F4
(cirrhose). On peut considérer qu’un écart d’une unité, par exemple
sur une même lame, une cotation de F3 par un lecteur et de F4 par
l’autre, est moins grave qu’un écart de deux unités.
Supposons que ces deux anatomopathologistes aient examiné les
mêmes malades et aient abouti aux conclusions suivantes (tableau XII).
Tableau XII – Résultats observés par deux anatomopathologistes
sur une même série de lames.
Anatomopathologiste A
Lésion
F2
F3
F4
Total
Anatomopathologiste B
F2
F3
F4
20
4
2
5
25
10
0
6
28
25
35
40
Total
26
40
34
100
Le calcul du kappa donnerait comme résultat N = (20 + 25 + 28)/100
– (34,1/100)/(1 – 34,1/100) = 0,59. Cette approche considère que seule
l’identité parfaite entre les cotations marque l’accord entre les lecteurs.
Plus le nombre de catégories augmente, plus il sera donc difficile de
parvenir à une bonne concordance. On peut considérer que cette évaluation est trop drastique et préférer choisir de pondérer les erreurs de
telle sorte qu’un désaccord d’un point soit considéré comme presque
concordant et moins grave qu’un désaccord de 2 points, par exemple.
Le kappa pondéré permet cette approche : on va tenir compte de la
concordance et dans les lectures où des désaccords existent, on leur
donne un poids d’autant plus faible que l’écart est fort. Dans notre
exemple, parce que la cotation comporte trois niveaux effectivement
utilisés, on donnera par exemple un poids de 1 en cas d’accord parfait,
un poids de ½ en cas de différence d’un point et un poids de 0 en cas
de différence de deux points. Plus généralement on donnera un poids
inverse à la distance entre deux cotations, s’étalant de 1 en cas d’accord
parfait à 0 en cas de désaccord le plus grand.
Le kappa pondéré
Dans l’évaluation de la concordance, des mesures effectuées par deux
examinateurs avec une échelle qui comporte plus de deux niveaux
ordonnés, on peut juger que tous les désaccords n’ont pas le même
poids. Prenons l’exemple de deux anatomopathologistes qui évaluent
le degré de fibrose dans le foie avec le score METAVIR, avec un jugement en trois catégories de fibrose allant de F2 (fibrose modérée) à F4
(cirrhose). On peut considérer qu’un écart d’une unité, par exemple
sur une même lame, une cotation de F3 par un lecteur et de F4 par
l’autre, est moins grave qu’un écart de deux unités.
Supposons que ces deux anatomopathologistes aient examiné les
mêmes malades et aient abouti aux conclusions suivantes (tableau XII).
Tableau XII – Résultats observés par deux anatomopathologistes
sur une même série de lames.
Anatomopathologiste A
Lésion
F2
F3
F4
Total
Anatomopathologiste B
F2
F3
F4
20
4
2
5
25
10
0
6
28
25
35
40
Total
26
40
34
100
Le calcul du kappa donnerait comme résultat N = (20 + 25 + 28)/100
– (34,1/100)/(1 – 34,1/100) = 0,59. Cette approche considère que seule
l’identité parfaite entre les cotations marque l’accord entre les lecteurs.
Plus le nombre de catégories augmente, plus il sera donc difficile de
parvenir à une bonne concordance. On peut considérer que cette évaluation est trop drastique et préférer choisir de pondérer les erreurs de
telle sorte qu’un désaccord d’un point soit considéré comme presque
concordant et moins grave qu’un désaccord de 2 points, par exemple.
Le kappa pondéré permet cette approche : on va tenir compte de la
concordance et dans les lectures où des désaccords existent, on leur
donne un poids d’autant plus faible que l’écart est fort. Dans notre
exemple, parce que la cotation comporte trois niveaux effectivement
utilisés, on donnera par exemple un poids de 1 en cas d’accord parfait,
un poids de ½ en cas de différence d’un point et un poids de 0 en cas
de différence de deux points. Plus généralement on donnera un poids
inverse à la distance entre deux cotations, s’étalant de 1 en cas d’accord
parfait à 0 en cas de désaccord le plus grand.