Evaluar bien: métricas, matriz de confusión y curva ROC

Tema 9 · Fase 2, Aprender de ejemplos · Toda la ruta

Lo esencial

  1. 1La matriz de confusión cuenta los cuatro resultados posibles de un clasificador: verdaderos positivos (VP), falsos positivos (FP), verdaderos negativos (VN) y falsos negativos (FN). En scikit-learn, las filas son lo real y las columnas, lo predicho.
  2. 2La exactitud (accuracy) mide los aciertos en total; la precisión (precision), cuántas de las alarmas eran ciertas, VP / (VP + FP); la exhaustividad (recall), cuántos positivos se encontraron, VP / (VP + FN). F1 combina las dos últimas con la media armónica.
  3. 3Con clases desbalanceadas la exactitud engaña: un modelo que siempre dice «negativo» puede acertar el 95 % sin encontrar ningún positivo. Hay que compararse con ese modelo tonto, estratificar al dividir y mirar las métricas de la clase rara.
  4. 4El umbral convierte un puntaje en una decisión, y se elige según qué error cuesta más: bajarlo sube la exhaustividad y baja la precisión.
  5. 5La curva ROC muestra todos los umbrales a la vez. Su área, el AUC, es la probabilidad de que el modelo le dé más puntaje a un positivo que a un negativo: no depende del umbral y sirve para comparar modelos.
  6. 6Con varias clases, el promedio macro trata igual a todas y el micro se deja llevar por las más frecuentes.
Seguir con la teoríaIr directo al código

En la teoría

  1. La pregunta
  2. Actividad: el umbral
  3. Cuatro maneras de acertar o fallar
  4. Cuatro métricas
  5. Un caso real: tumores benignos y malignos
  6. La trampa de la exactitud: clases desbalanceadas
  7. El umbral es una decisión
  8. La curva ROC y el AUC
  9. ¿Qué error cuesta más?
  10. Más de dos clases: macro y micro
  11. Medir las probabilidades: log-loss
  12. Lo que aprendiste y lo que sigue