Reutilizar modelos: BERT, codificador-decodificador y ajuste fino

Tema 25 · Fase 5, Lenguaje y atención · Toda la ruta

Lo esencial

  1. 1No hace falta entrenar desde cero: se parte de un modelo preentrenado con miles de millones de palabras y se ajusta a tu tarea con pocos ejemplos. Eso es el ajuste fino.
  2. 2Hay tres familias de transformers: los codificadores (BERT) entienden un texto entero, los decodificadores (GPT) generan token a token y los codificadores-decodificadores transforman una entrada en otra salida, conectados por la atención cruzada.
  3. 3BERT se preentrena adivinando palabras tapadas con [MASK], sin etiquetas. Para clasificar se usa el vector del token [CLS] con una cabeza nueva.
  4. 4Con 1500 reseñas y una época, DistilBERT llegó al 85,5 % entrenando solo la cabeza, al 88,5 % con el ajuste completo (con una tasa de aprendizaje pequeña) y al 89 % con LoRA, entrenando el 1,1 % de los parámetros.
  5. 5LoRA congela cada matriz W y aprende un cambio de rango bajo B·A, con muchos menos números. Ahorra memoria y espacio, no tanto tiempo.
  6. 6Para traducir (Marian) y describir imágenes (Florence-2) se usan modelos codificador-decodificador con las clases Auto de transformers y generate; con do_sample=False la salida es siempre la misma.
Seguir con la teoríaIr directo al código

En la teoría

  1. La pregunta
  2. Actividad: rango bajo
  3. Tres familias de transformers
  4. BERT: aprender a leer tapando palabras
  5. Los datos: reseñas de Amazon
  6. El bucle, versión texto
  7. Primera forma: entrenar solo la cabeza
  8. Segunda forma: ajustar todo el modelo
  9. Tercera forma: LoRA
  10. Comparar las tres formas
  11. Traducir con atención cruzada
  12. Describir imágenes
  13. Límites de reutilizar modelos
  14. Lo que aprendiste y lo que sigue