Texto como datos: tokens, vocabulario y clasificación

Lo esencial

1. 1Tokenizar es partir el texto en pedazos. Por palabras, las secuencias son cortas pero el vocabulario es enorme y toda palabra nueva se pierde como <UNK>; por caracteres, nunca hay desconocidos pero las secuencias se alargan. BPE parte de los caracteres y junta los pares más frecuentes: con más fusiones hay menos tokens y un vocabulario más grande.
2. 2Normalizar es decidir qué diferencias no importan. En español, quitar las tildes confunde palabras distintas («el» y «él», «si» y «sí»), así que casi siempre se quedan.
3. 3La ley de Zipf: en el Quijote, las 100 palabras más frecuentes son más de la mitad del texto, y casi la mitad de las palabras distintas aparece una sola vez.
4. 4Un modelo de lenguaje de n-gramas estima la probabilidad de la palabra siguiente contando, y la perplejidad mide qué tan sorprendido queda con un texto nuevo: más baja es mejor.
5. 5La bolsa de palabras y TF-IDF convierten cada texto en un vector del mismo largo. Naive Bayes, que aplica la regla de Bayes contando palabras (con suavizado de Laplace y logaritmos), es una buena línea base; la regresión logística le gana en la validación, clasifica las reseñas de prueba con un 85 % de exactitud y sus pesos muestran qué palabras empujan hacia cada clase.
6. 6Para pasar frases de distinto largo a una red se rellenan con padding hasta el mismo largo y se acompañan de una máscara que marca los tokens reales.