Regresión lineal y descenso de gradiente

Tema 6 · Fase 2, Aprender de ejemplos · Toda la ruta

Lo esencial

  1. 1Una regresión lineal predice con una recta, ŷ = w·x + b. Sus parámetros, w y b, se eligen a partir de ejemplos con respuesta conocida: eso es entrenar el modelo.
  2. 2La función de pérdida resume en un número cuánto se equivoca el modelo. El MSE castiga mucho los errores grandes y el MAE se deja llevar menos por los datos atípicos; el RMSE y el R² ayudan a interpretarlos.
  3. 3La pérdida forma un valle sobre los parámetros. El gradiente apunta cuesta arriba, y el descenso de gradiente baja dando pasos en contra: w ← w − α · (derivada del MSE respecto de w), y lo mismo para b.
  4. 4La tasa de aprendizaje α es el largo del paso. La curva de pérdida distingue tres casos: si baja muy despacio, la tasa es demasiado baja; si baja rápido y se aplana, es adecuada y el modelo convergió; si sube u oscila cada vez más, es demasiado alta y el descenso diverge.
  5. 5Con varias características, el mismo descenso se escribe con matrices. Estandarizarlas antes hace el valle más redondo y el descenso más rápido.
  6. 6LinearRegression de scikit-learn, con fit y predict, da el mismo resultado que el descenso de gradiente programado desde cero.
Seguir con la teoríaIr directo al código

En la teoría

  1. La pregunta
  2. Actividad: el valle
  3. El modelo: una recta con dos perillas
  4. Medir el error: residuos y función de pérdida
  5. La pérdida es un paisaje
  6. El gradiente: hacia dónde sube el valle
  7. Descenso de gradiente: bajar paso a paso
  8. La tasa de aprendizaje
  9. La solución de scikit-learn
  10. Varias variables a la vez
  11. ¿Qué tan bueno es el modelo?
  12. Lo que aprendiste y lo que sigue