Preparar datos: limpieza, variables y pipelines

Lo esencial

1. 1Antes de entrenar se mira qué falta y qué columnas sobran. Los faltantes se imputan con la mediana si la columna es asimétrica o tiene atípicos, con la media si es simétrica, y con el valor más frecuente si es texto.
2. 2Las variables nominales, como el puerto de embarque, se pasan a one-hot: una columna de 0 y 1 por valor, sin inventar un orden. Las numéricas se estandarizan (media 0, desviación 1) o se normalizan (de 0 a 1); escalar no cambia la forma de la distribución.
3. 3Sin escalar, la variable con números grandes manda en las distancias: en el Titanic, los vecinos cercanos pasan de 71 % a 81 % de exactitud al estandarizar.
4. 4Fuga de datos: todo paso que aprende de los datos (imputar, escalar, elegir columnas) se ajusta solo con el entrenamiento. Elegir columnas mirando la prueba hizo que un modelo sin nada que aprender marcara 80 % en la prueba y 49 % con datos nuevos.
5. 5Un Pipeline con un ColumnTransformer junta la preparación y el modelo en un solo objeto, que la validación cruzada, GridSearchCV y RandomizedSearchCV reentrenan entero en cada pliegue, sin fuga.
6. 6Una variable nueva (un conteo, un cociente, un umbral, un resumen estadístico como la media o el máximo de muchas lecturas) se queda solo si mejora la validación más que el vaivén entre pliegues.