Máquinas de vectores de soporte

Tema 12 · Fase 3, Más modelos, tiempo y estructura · Toda la ruta

Lo esencial

  1. 1Una SVM elige, entre todas las rectas que separan las clases, la que deja la calle más ancha. Con las clases escritas como −1 y +1 y el puntaje z = w·x + b, los bordes de la calle son z = −1 y z = +1, y su ancho es 2/‖w‖.
  2. 2Los vectores de soporte son los puntos que tocan la calle o se meten en ella. Solo ellos definen la frontera: los demás se pueden mover o borrar sin que cambie nada.
  3. 3La pérdida bisagra, max(0, 1 − y·z), vale cero fuera de la calle, a diferencia de la entropía cruzada. El margen suave minimiza ½‖w‖² más C veces la suma de las bisagras: con C grande la SVM persigue cada punto y sobreajusta; con C chico abre la calle y tolera errores.
  4. 4Se puede entrenar con descenso de subgradiente, el mismo bucle del descenso de gradiente, eligiendo una pendiente en la esquina de la bisagra.
  5. 5El truco del kernel da fronteras curvas: levantar los datos a más dimensiones vuelve lineal un problema curvo, y el kernel calcula los productos punto de los puntos levantados sin construirlos. Con el kernel RBF, C y gamma se eligen con validación cruzada, siempre con las características escaladas.
  6. 6SVC se vuelve muy lento con muchos ejemplos; si una frontera lineal alcanza, LinearSVC escala mucho mejor.
Seguir con la teoríaIr directo al código

En la teoría

  1. La pregunta
  2. Actividad: el camino más ancho
  3. Muchas rectas separan, ¿cuál elegir?
  4. El margen y la calle
  5. La pérdida bisagra
  6. Margen suave: lo que pesa C
  7. Programar la SVM desde cero
  8. C: cuánto manda un atípico
  9. Escalar es obligatorio
  10. Fronteras curvas: el truco del kernel
  11. Elegir C y gamma con validación cruzada
  12. Muchos datos: LinearSVC frente a SVC
  13. Lo que aprendiste y lo que sigue