Generalizar: sobreajuste, validación y regularización

Lo esencial

1. 1Un modelo sirve si generaliza: si acierta con datos que no vio al entrenar. El error con los datos de entrenamiento no lo dice, porque un modelo muy flexible puede bajarlo casi a cero memorizando el ruido.
2. 2Los datos se dividen en tres partes: entrenamiento para ajustar los parámetros, validación para comparar modelos y elegir sus perillas, y prueba para medir una sola vez, al final, el modelo elegido.
3. 3Al subir la complejidad (por ejemplo, el grado de un polinomio), el error de entrenamiento baja y el de validación forma una U. A la izquierda hay subajuste (sesgo alto); a la derecha, sobreajuste (varianza alta).
4. 4La validación cruzada k-fold entrena k veces, con un grupo distinto como validación cada vez, y promedia los errores. Así la elección no depende de la suerte de una sola división.
5. 5La regularización suma a la pérdida un castigo a los pesos grandes. Ridge (L2) los encoge a todos; Lasso (L1) apaga algunos exactamente en cero, porque su región tiene esquinas. Los dos piden características estandarizadas.
6. 6La curva de aprendizaje, el error según la cantidad de datos, dice si conseguir más datos ayudaría o si hace falta un modelo distinto.