Clasificar: vecinos cercanos y regresión logística

Tema 8 · Fase 2, Aprender de ejemplos · Toda la ruta

Lo esencial

  1. 1Clasificar es predecir una categoría: binaria si hay dos clases, multiclase si hay más. La forma más simple de medirlo es la tasa de aciertos, siempre en datos de validación.
  2. 2k-NN predice la clase más votada entre los k ejemplos más cercanos según la distancia euclidiana. Un k chico memoriza el ruido y uno grande simplifica de más; hay que escalar las características, y con muchas dimensiones todas las distancias se parecen.
  3. 3La regresión logística pasa el puntaje lineal z = w·x + b por la sigmoide y obtiene una probabilidad. z es el logaritmo de las chances, y la frontera de decisión, z = 0, es una recta.
  4. 4Se entrena con descenso de gradiente sobre la entropía cruzada, que castiga sin límite la confianza equivocada. Su gradiente, (p − y)·x promediado, tiene la misma forma que el del MSE en la regresión lineal.
  5. 5Con varias clases, softmax convierte un puntaje por clase en probabilidades que suman 1. predict_proba da esas probabilidades, y el umbral 0,5 es una decisión que se ajusta según cuánto cuesta cada error.
Seguir con la teoríaIr directo al código

En la teoría

  1. La pregunta
  2. Actividad: pinta las clases
  3. Clasificar es predecir una categoría
  4. Vecinos cercanos: dime con quién andas
  5. Regresión logística: una probabilidad en lugar de un voto
  6. Medir el error: la entropía cruzada
  7. Programar la logística desde cero
  8. Varias clases: softmax
  9. La probabilidad y el umbral
  10. Lo que aprendiste y lo que sigue