Visión moderna: modelos preentrenados, autoaprendizaje y CLIP

Tema 26 · Fase 6, Ver, oír y crear · Toda la ruta

Lo esencial

  1. 1Una red preentrenada con ImageNet ya sabe ver bordes, texturas y formas. Con transfer learning se reutiliza: se entrena solo una cabeza nueva sobre sus variables congeladas, o se ajusta toda la red con una tasa de aprendizaje pequeña. Siempre se preparan las fotos con las transformaciones de sus pesos.
  2. 2Con 400 fotos satelitales de EuroSAT en 4 clases, ResNet-18 llegó al 93,8 % entrenando solo la cabeza y al 96,3 % con el ajuste completo. Con 20 fotos por clase, el transfer superó a una CNN entrenada desde cero con 100.
  3. 3El aprendizaje autosupervisado aprende a ver sin etiquetas. SimCLR acerca dos vistas aumentadas de la misma foto y aleja las demás; DINOv2 aprendió así con 142 millones de fotos, y sus variables con un simple k-NN clasificaron el 91 % de las fotos satelitales.
  4. 4Un Vision Transformer parte la foto en parches y clasifica con el token [CLS], pero solo con las 1000 etiquetas de ImageNet: es un vocabulario cerrado.
  5. 5CLIP pone fotos y frases en el mismo espacio. Se entrena con una pérdida contrastiva sobre la matriz de similitudes foto × texto, con una temperatura aprendida, y sirve para clasificar sin entrenar (zero-shot) con plantillas de texto y para buscar fotos con una frase.