Árboles de decisión y ensambles

Tema 11 · Fase 2, Aprender de ejemplos · Toda la ruta

Lo esencial

  1. 1Un árbol de decisión predice con preguntas de sí o no encadenadas («¿x ≤ u?»). Divide el espacio en cajas con fronteras en escalera y en cada hoja predice la clase mayoritaria. No le importa la escala de las variables.
  2. 2Cada corte se elige de forma voraz: el de mayor ganancia, es decir, la mayor caída de la impureza de Gini (1 − Σ pₖ²) o de la entropía, promediada según cuántos ejemplos quedan en cada lado.
  3. 3Un árbol sin límites memoriza los datos de entrenamiento. Se frena con max_depth y min_samples_leaf, elegidos con validación cruzada.
  4. 4Un árbol profundo cambia mucho con los datos (varianza). El bagging promedia árboles entrenados con muestras bootstrap, y el random forest además sortea las variables en cada corte; los dos dan el error OOB sin datos aparte.
  5. 5El gradient boosting encadena árboles chicos: cada uno aprende los residuos de los anteriores, como un descenso de gradiente sobre las predicciones. Con demasiados árboles, a diferencia del bosque, sobreajusta.
  6. 6La importancia por permutación mide cuánto empeora el modelo al desordenar una variable en datos que no vio: dice de qué depende el modelo, no qué causa el resultado.
Seguir con la teoríaIr directo al código

En la teoría

  1. La pregunta
  2. Actividad: corta el plano
  3. Los datos: el Titanic
  4. ¿Qué es un buen corte? La impureza de Gini
  5. El mejor corte, desde cero
  6. Un árbol con scikit-learn
  7. Profundidad y sobreajuste
  8. La varianza de un árbol
  9. Bagging y random forest
  10. Boosting: árboles que corrigen errores
  11. ¿Cuántos árboles?
  12. HistGradientBoosting, XGBoost y LightGBM
  13. Comparar los modelos
  14. ¿Qué variables importan?
  15. Lo que aprendiste y lo que sigue