Entrenar bien: optimizadores, inicialización y regularización

Lo esencial

1. 1El gradiente se calcula con mini-lotes de 32 a 256 ejemplos: un punto medio entre el descenso completo, caro en cada paso, y el estocástico, de un ejemplo, muy ruidoso. Los lotes grandes piden tasas de aprendizaje más grandes.
2. 2Momentum acumula velocidad y cruza los valles estrechos; Adam ajusta el largo del paso de cada peso por separado; AdamW aplica bien el decaimiento de pesos. Adam o AdamW con tasa 0,001 es un buen punto de partida.
3. 3Un buscador de tasa sube la tasa lote a lote y muestra en una pasada qué zona sirve. Un programador (escalera, coseno, calentamiento) cambia la tasa durante el entrenamiento: pasos largos al principio y cortos al final.
4. 4Los pesos empiezan al azar para romper la simetría, con una escala que mantiene el tamaño de las señales: Xavier para tanh y sigmoide, He para ReLU. La normalización por lotes estandariza las señales en cada capa y se comporta distinto al entrenar y al evaluar.
5. 5Dropout, decaimiento de pesos y parada temprana frenan el sobreajuste. Las curvas de entrenamiento y de validación dicen si el problema es la tasa, la capacidad de la red o la memorización; antes de entrenar en serio, conviene comprobar que la red puede memorizar un lote pequeño.