Tema 11 · Fase 2, Aprender de ejemplos · Toda la ruta
Lo esencial
1Un árbol de decisión predice con preguntas de sí o no encadenadas («¿x ≤ u?»). Divide el espacio en cajas con fronteras en escalera y en cada hoja predice la clase mayoritaria. No le importa la escala de las variables.
2Cada corte se elige de forma voraz: el de mayor ganancia, es decir, la mayor caída de la impureza de Gini (1 − Σ pₖ²) o de la entropía, promediada según cuántos ejemplos quedan en cada lado.
3Un árbol sin límites memoriza los datos de entrenamiento. Se frena con max_depth y min_samples_leaf, elegidos con validación cruzada.
4Un árbol profundo cambia mucho con los datos (varianza). El bagging promedia árboles entrenados con muestras bootstrap, y el random forest además sortea las variables en cada corte; los dos dan el error OOB sin datos aparte.
5El gradient boosting encadena árboles chicos: cada uno aprende los residuos de los anteriores, como un descenso de gradiente sobre las predicciones. Con demasiados árboles, a diferencia del bosque, sobreajusta.
6La importancia por permutación mide cuánto empeora el modelo al desordenar una variable en datos que no vio: dice de qué depende el modelo, no qué causa el resultado.