A simulation study of rater agreement measures with 2x2 contingency tables

Un estudio de simulacion de medidas de acuerdo entre observadores para tablas de contingencia 2x2. Mediante un estudio de simulacion se aborda una comparacion entre seis medidas obtenidas usando tres enfoques diferentes para la evaluacion del acuerdo. Los coeficientes de acuerdo elegidos fueron sigma de Bennet (1954), Pi de Scott (1955), Kappa de Cohen (1960) y gamma de Gwet (2001; 2008) para representar el enfoque clasico descriptivo, el coeficiente alpha de Aickin (1990), para representar el enfoque de los modelos loglineal y mixtura ("mixture models") y la medida delta de Martin and Femia (2004) para representar el enfoque de los test de eleccion multiple. Los resultados obtenidos confirman que los coeficientes Pi y kappa presentan diferencias notables en relacion a los restantes coeficientes particularmente en presencia de valores extremos de prevalencia y sesgo entre observadores. El mejor comportamento fue observado con los coeficientes alpha de Bennet y delta de Martin and Femia para todos los valores de prevalencia y sesgo entre observadores.