Texto como datos: tokens, vocabulario y clasificación

Tema 21 · Fase 5, Lenguaje y atención · Toda la ruta

Lo esencial

  1. 1Tokenizar es partir el texto en pedazos. Por palabras, las secuencias son cortas pero el vocabulario es enorme y toda palabra nueva se pierde como <UNK>; por caracteres, nunca hay desconocidos pero las secuencias se alargan. BPE parte de los caracteres y junta los pares más frecuentes: con más fusiones hay menos tokens y un vocabulario más grande.
  2. 2Normalizar es decidir qué diferencias no importan. En español, quitar las tildes confunde palabras distintas («el» y «él», «si» y «sí»), así que casi siempre se quedan.
  3. 3La ley de Zipf: en el Quijote, las 100 palabras más frecuentes son más de la mitad del texto, y casi la mitad de las palabras distintas aparece una sola vez.
  4. 4Un modelo de lenguaje de n-gramas estima la probabilidad de la palabra siguiente contando, y la perplejidad mide qué tan sorprendido queda con un texto nuevo: más baja es mejor.
  5. 5La bolsa de palabras y TF-IDF convierten cada texto en un vector del mismo largo. Con regresión logística clasifican reseñas con un 85 % de exactitud, y los pesos muestran qué palabras empujan hacia cada clase.
  6. 6Para pasar frases de distinto largo a una red se rellenan con padding hasta el mismo largo y se acompañan de una máscara que marca los tokens reales.
Seguir con la teoríaIr directo al código

En la teoría

  1. La pregunta
  2. Actividad: taller de tokens
  3. El texto: Don Quijote
  4. Normalizar y partir en palabras
  5. La ley de Zipf
  6. El vocabulario y el token desconocido
  7. Caracteres: el otro extremo
  8. Subpalabras: BPE
  9. Tokenizadores de verdad
  10. Un modelo de lenguaje con n-gramas
  11. Bolsa de palabras y TF-IDF
  12. Clasificar reseñas
  13. Lotes de largo variable: padding y máscara
  14. Lo que aprendiste y lo que sigue