¿Qué es una Matriz de Confusión?

Una de las herramientas analíticas más poderosas en aprendizaje automático y ciencia de datos es la matriz de confusión. La matriz de confusión es capaz de dar a los investigadores información detallada sobre cómo un clasificador de aprendizaje automático ha realizado con respecto a las clases objetivo en el conjunto de datos. Una matriz de confusión demostrará ejemplos que han sido clasificados correctamente contra ejemplos mal clasificados. Veamos más a fondo cómo se estructura una matriz de confusión y cómo se puede interpretar.

¿Qué es una Matriz de Confusión?

Comencemos dando una definición simple de una matriz de confusión. Una matriz de confusión es una herramienta de análisis predictivo. Específicamente, es una tabla que muestra y compara valores reales con los valores predichos del modelo. Dentro del contexto del aprendizaje automático, una matriz de confusión se utiliza como una métrica para analizar cómo un clasificador de aprendizaje automático se desempeñó en un conjunto de datos. Una matriz de confusión genera una visualización de métricas como precisión, exactitud, especificidad y recuerdo.

La razón por la que la matriz de confusión es particularmente útil es que, a diferencia de otras métricas de clasificación como la exactitud simple, la matriz de confusión genera una imagen más completa de cómo se desempeñó el modelo. Solo utilizar una métrica como la exactitud puede llevar a una situación en la que el modelo está completamente y consistentemente malidentificando una clase, pero no se nota porque el rendimiento promedio es bueno. Mientras que la matriz de confusión da una comparación de diferentes valores como Falsos Negativos, Verdaderos Negativos, Falsos Positivos y Verdaderos Positivos.

Veamos definir las diferentes métricas que representa una matriz de confusión.

Recuerdo en una Matriz de Confusión

El recuerdo es el número de ejemplos positivos genuinos dividido por el número de ejemplos falsos negativos y ejemplos positivos totales. En otras palabras, el recuerdo es representativo de la proporción de ejemplos positivos verdaderos que un modelo de aprendizaje automático ha clasificado. El recuerdo se da como el porcentaje de ejemplos positivos que el modelo pudo clasificar de todos los ejemplos positivos contenidos en el conjunto de datos. Este valor también puede ser referido como la “tasa de acierto”, y un valor relacionado es la “sensibilidad“, que describe la probabilidad de recuerdo, o la tasa de predicciones positivas genuinas.

Precisión en una Matriz de Confusión

Al igual que el recuerdo, la precisión es un valor que rastrea el rendimiento del modelo en términos de clasificación de ejemplos positivos. A diferencia del recuerdo, la precisión se preocupa por cuántos de los ejemplos que el modelo etiquetó como positivos fueron realmente positivos. Para calcular esto, se dividen el número de ejemplos positivos verdaderos por el número de ejemplos falsos positivos más los verdaderos positivos.

Para hacer la distinción entre recuerdo y precisión más clara, la precisión busca determinar el porcentaje de todos los ejemplos etiquetados como positivos que fueron realmente positivos, mientras que el recuerdo rastrea el porcentaje de todos los ejemplos positivos verdaderos que el modelo pudo reconocer.

Especificidad en una Matriz de Confusión

Mientras que el recuerdo y la precisión son valores que rastrean ejemplos positivos y la tasa de positivos verdaderos, la especificidad cuantifica la tasa de negativos verdaderos o el número de ejemplos que el modelo definió como negativos que fueron realmente negativos. Esto se calcula tomando el número de ejemplos clasificados como negativos y dividiéndolos por el número de ejemplos falsos positivos combinados con los negativos verdaderos.

Entendiendo la Matriz de Confusión

Foto: Jackverr via Wikimedia Commons, (https://commons.wikimedia.org/wiki/File:ConfusionMatrix.png), CC BY SA 3.0

Ejemplo de una Matriz de Confusión

Después de definir términos necesarios como precisión, recuerdo, sensibilidad y especificidad, podemos examinar cómo estos diferentes valores se representan dentro de una matriz de confusión. Una matriz de confusión se genera en casos de clasificación, aplicable cuando hay dos o más clases. La matriz de confusión que se genera puede ser tan alta y ancha como sea necesario, conteniendo cualquier número deseado de clases, pero para fines de simplicidad, examinaremos una matriz de confusión 2 x 2 para una tarea de clasificación binaria.

Como ejemplo, supongamos que un clasificador se utiliza para determinar si un paciente tiene una enfermedad o no. Las características se alimentarán al clasificador, y el clasificador devolverá una de las dos clasificaciones diferentes: o el paciente no tiene la enfermedad o la tiene.

Comencemos con el lado izquierdo de la matriz. El lado izquierdo de la matriz de confusión representa las predicciones que el clasificador hizo para las clases individuales. Una tarea de clasificación binaria tendrá dos filas aquí. Con respecto a la parte superior de la matriz, rastrea los valores verdaderos, las etiquetas de clase reales, de las instancias de datos.

La interpretación de una matriz de confusión se puede hacer examinando dónde se cruzan las filas y columnas. Verifique las predicciones del modelo contra las etiquetas verdaderas del modelo. En este caso, el valor de Verdaderos Positivos, el número de predicciones positivas correctas, se encuentra en la esquina superior izquierda. Los falsos positivos se encuentran en la esquina superior derecha, donde los ejemplos son en realidad negativos pero el clasificador los etiquetó como positivos.

La esquina inferior izquierda de la cuadrícula muestra instancias que el clasificador ha etiquetado como negativas pero que eran en realidad positivas. Finalmente, la esquina inferior derecha de la matriz de confusión es donde se encuentran los valores de Verdaderos Negativos, o donde se encuentran los ejemplos falsos genuinos.

Cuando el conjunto de datos contiene más de dos clases, la matriz crece por ese número de clases. Por ejemplo, si hay tres clases, la matriz será una matriz 3 x 3. Independientemente del tamaño de la matriz de confusión, el método para interpretarlas es exactamente el mismo. El lado izquierdo contiene los valores predichos y las etiquetas de clase reales se ejecutan a lo largo de la parte superior. Las instancias que el clasificador ha predicho correctamente se ejecutan diagonalmente desde la esquina superior izquierda hasta la esquina inferior derecha. Al mirar la matriz, se pueden discernir las cuatro métricas predictivas discutidas anteriormente.

Por ejemplo, se puede calcular el recuerdo tomando los verdaderos positivos y los falsos negativos, sumándolos y dividiéndolos por el número de ejemplos positivos verdaderos. Mientras que la precisión se puede calcular combinando los falsos positivos con los verdaderos positivos, y luego dividiendo el valor en el número total de verdaderos positivos.

Mientras que uno podría pasar tiempo calculando manualmente métricas como precisión, recuerdo y especificidad, estas métricas son tan comúnmente utilizadas que la mayoría de las bibliotecas de aprendizaje automático tienen métodos para mostrarlas. Por ejemplo, Scikit-learn para Python tiene una función que genera una matriz de confusión.