Evaluar bien: métricas, matriz de confusión y curva ROC

Lo esencial

1. 1La matriz de confusión cuenta los cuatro resultados posibles de un clasificador: verdaderos positivos (VP), falsos positivos (FP), verdaderos negativos (VN) y falsos negativos (FN); en scikit-learn, las filas son lo real y las columnas, lo predicho. La exactitud (accuracy) mide los aciertos en total; la precisión (precision), cuántas de las alarmas eran ciertas, VP / (VP + FP); la exhaustividad (recall), cuántos positivos se encontraron, VP / (VP + FN). F1 combina las dos últimas con la media armónica.
2. 2Con clases desbalanceadas la exactitud engaña: un modelo que siempre dice «negativo» puede acertar el 95 % sin encontrar ningún positivo. Hay que compararse con ese modelo tonto, estratificar al dividir y mirar las métricas de la clase rara.
3. 3El umbral convierte un puntaje en una decisión, y se elige según qué error cuesta más: bajarlo sube la exhaustividad y baja la precisión.
4. 4La curva ROC muestra todos los umbrales a la vez. Su área, el AUC, es la probabilidad de que el modelo le dé más puntaje a un positivo que a un negativo: no depende del umbral y sirve para comparar modelos. Ordenar bien no garantiza probabilidades creíbles: la calibración se revisa con un diagrama de fiabilidad y el puntaje de Brier, y se corrige con datos que el modelo no vio.
5. 5Con varias clases, el promedio macro trata igual a todas y el micro se deja llevar por las más frecuentes. En la matriz de 10 × 10 de los dígitos, la diagonal son los aciertos y cada fila es un dígito real: con una exactitud de 0,969, el 8 solo se reconoce el 94 % de las veces.
6. 6La función de pérdida es lo que el modelo minimiza al entrenar y tiene que poder derivarse (MSE, entropía cruzada, bisagra); la métrica es lo que importa medir y puede no poder derivarse (exactitud, F1, AUC). Se entrena con entropía cruzada y se informa la métrica que pide el problema.