Glosario

La función por la que una neurona pasa su suma ponderada, como la sigmoide, la tanh o la ReLU, que es la opción por defecto en las capas ocultas. Sin activación, varias capas equivalen a una sola.

Un optimizador que adapta el largo del paso a cada peso. AdamW es Adam con el decaimiento de pesos bien aplicado; con tasa 0,001, es un buen punto de partida.

Partir de un modelo preentrenado y seguir entrenándolo con tus pocos ejemplos para adaptarlo a tu problema.

Cuando un modelo de lenguaje produce algo con forma de respuesta pero falso, porque genera lo probable, no lo verdadero.

Aprender sin etiquetas puestas a mano: la red inventa su propia tarea a partir de los datos, como reconocer dos vistas de la misma foto.

Buscar estructura en datos sin etiquetas, cuando nadie dijo qué buscar. Agrupar es su ejemplo más conocido.

Un agente elige acciones en un entorno, pasa de estado en estado y recibe recompensas; aprende a elegir mejor probando.

Aprender de ejemplos que traen la respuesta: cada uno tiene características x (lo que sabemos) y un objetivo y (lo que queremos predecir).

Un modelo que predice con una lista de preguntas de sí o no encadenadas. Divide el espacio en cajas con fronteras en escalera.

Una búsqueda suave: cada palabra compara su consulta con las claves de todas, convierte los parecidos en pesos con softmax y se lleva el promedio ponderado de los valores.

El área bajo la curva ROC, que muestra todos los umbrales a la vez. Mide qué tan bien ordena el modelo a los casos, sin depender del umbral.

Crear versiones algo distintas de cada imagen de entrenamiento (corrida, girada o reflejada) sin cambiar su respuesta correcta, para que a la red le cueste memorizar.

Atención en la que las consultas, las claves y los valores salen de la misma frase. Con varias cabezas, cada una puede mirar con un criterio distinto.

Una red que aprende a copiar su entrada pasando por un cuello de botella, una capa con muy pocas neuronas: el codificador comprime y el decodificador reconstruye.

Que cada número recuerde de qué valores y con qué operación salió, para que la computadora calcule los gradientes sola, recorriendo el grafo hacia atrás.

Una forma ordenada de aplicar la regla de la cadena que obtiene el gradiente de la pérdida respecto de todos los pesos con una pasada hacia adelante y una hacia atrás.

Entrenar muchos árboles, cada uno con una muestra bootstrap distinta, y juntar sus votos. Baja la varianza de un solo árbol.

Un codificador que se preentrena adivinando tokens tapados con [MASK], sin etiquetas. Para clasificar, se usa el vector de su token [CLS] con una cabeza nueva.

Entrenar árboles chicos en cadena: cada árbol nuevo se dedica a corregir lo que los anteriores todavía hacen mal.

Un método que aprende pedazos de palabras juntando, una y otra vez, el par de tokens más frecuente de un texto.

Los pasos que se repiten con cada lote: poner los gradientes en cero, calcular la salida y la pérdida, calcular los gradientes y dar un paso.

Un grupo de neuronas que reciben las mismas entradas, cada una con sus propios pesos. Las capas entre la entrada y la salida se llaman ocultas.

Un modelo que pone fotos y frases en el mismo espacio. Sirve para clasificar sin entrenar y para buscar fotos con texto.

Aprender imitando: se guarda qué acción eligió un experto en cada situación y se entrena un clasificador que la prediga.

Encontrar grupos de puntos cercanos entre sí y lejos del resto, en datos sin etiquetas.

Una red que apila convoluciones, activaciones y pooling. Comparte sus pesos en toda la imagen y aprovecha que los píxeles vecinos están relacionados.

Un vector que se suma a cada embedding para indicar en qué posición está la palabra, porque la atención por sí sola no sabe el orden.

En un transformer, la parte en la que cada palabra mira a todas, sin máscara: sirve para entender un texto entero, como BERT. En un autoencoder, la parte que comprime.

Los tres vectores de cada palabra en la atención: la consulta es lo que la palabra busca, la clave lo que ofrece y el valor el contenido que entrega si la miran.

Deslizar un filtro chico (una tabla de pesos) por la imagen y, en cada posición, calcular el producto punto entre el filtro y el pedazo de imagen que tiene debajo.

Un número entre −1 y 1 que mide qué tan bien una recta describe la relación entre dos columnas. Correlación no es causalidad.

Muestra todos los umbrales a la vez: para cada uno, la tasa de verdaderos positivos frente a la tasa de falsos positivos.

Un método que encuentra grupos de cualquier forma como zonas densas de puntos y marca como ruido los puntos sueltos.

En un transformer, la parte con máscara causal que escribe texto palabra por palabra, como GPT. En un autoencoder, la parte que reconstruye.

Una foto, un audio o un video creíble, fabricado, de una persona real diciendo o haciendo algo que nunca pasó.

El método con el que se entrenan casi todos los modelos: repetir «calcular el gradiente de la pérdida, dar un paso en contra» hasta llegar al fondo del valle.

Un número que dice qué tan lejos del promedio suelen estar los datos: pequeña si casi todos están cerca, grande si están muy dispersos. Es la raíz de la varianza.

Decir qué hay en una imagen y dónde: una caja, una clase y un puntaje por cada objeto.

En cada paso de entrenamiento, apaga al azar algunas neuronas de una capa. Así la red no puede depender de ninguna en particular y memoriza menos.

Un vector corto y denso que representa una cosa (una palabra, una imagen, un sonido), aprendido de los datos para que las cosas parecidas queden cerca.

La pérdida de los clasificadores: el logaritmo negativo de la probabilidad que el modelo le dio a la clase correcta. Castiga mucho equivocarse con seguridad.

Una pasada completa por todos los ejemplos de entrenamiento.

El espacio de los códigos de un autoencoder, donde las cosas parecidas quedan cerca y se puede caminar de un punto a otro.

La transformada de Fourier aplicada por pedacitos: una imagen del sonido con el tiempo, la frecuencia y la intensidad.

Restar la media y dividir por la desviación estándar. Deja cualquier columna con media 0 y desviación 1; cada valor queda medido en desviaciones estándar, su puntaje z.

De todas las predicciones, la fracción que acertó. Con clases desbalanceadas engaña.

De los casos positivos reales, la fracción que el modelo encontró.

Una métrica que combina la precisión y la exhaustividad en un solo número, su media armónica.

El modelo dice «negativo» y el caso era positivo: algo que se escapó, como una enfermedad sin detectar.

El modelo dice «positivo» y el caso era negativo: una falsa alarma.

Un documento corto que acompaña a un modelo y dice qué hace, cómo se midió, para qué no sirve y dónde falla.

Cuántas muestras por segundo tiene un audio digital.

La trampa de dejar que algo de la validación o la prueba se cuele en el entrenamiento, por ejemplo al preparar los datos con todas las filas. Infla el puntaje sin que te des cuenta.

Un número que mide cuánto se equivoca el modelo con los ejemplos. Entrenar es buscar los parámetros que la hacen lo más chica posible.

Dos redes que juegan: un generador que fabrica datos falsos a partir de ruido y un discriminador que intenta distinguirlos de los reales.

La flecha formada por las derivadas parciales de una función. Apunta cuesta arriba; en contra del gradiente, la función baja lo más rápido posible.

Un valor que no se aprende de los datos, sino que eliges tú, como la k de k-NN. Se elige probando varios valores y mirando el resultado en validación.

La idea de que las palabras que aparecen en contextos parecidos tienen significados parecidos: el significado sale del contexto.

Una métrica de equidad: entre quienes sí cumplen, todos los grupos se aprueban en la misma proporción, es decir, la tasa de verdaderos positivos es igual.

Mide qué tan mezcladas están las clases en un grupo: vale 0 si todos son de la misma clase. El árbol elige el corte que más la baja.

Rellenar los valores faltantes: con la mediana si la columna es asimétrica, con la media si es simétrica, o con el valor más frecuente si es texto.

Mide cuánto se superponen dos cajas o dos máscaras: el área de la intersección dividida por la de la unión.

Un clasificador que predice la clase más votada entre los k ejemplos más cercanos al punto nuevo. No entrena pesos: guarda los datos.

Busca k grupos repitiendo dos pasos: asignar cada punto al centroide más cercano y mover cada centroide al promedio de sus puntos.

Una función que calcula el producto punto de dos puntos como si estuvieran levantados a más dimensiones, sin construirlos. Así una SVM traza fronteras curvas.

Regularización que castiga la suma de los valores absolutos de los pesos. Apaga algunos exactamente en cero, así que también sirve para elegir variables.

Una predicción simple que no aprende nada, como «mañana igual que hoy». Todo modelo se compara con ella: si no le gana, no sirve.

Las salidas de una red que clasifica: puntajes sueltos, positivos o negativos, que no suman 1. Softmax los convierte en probabilidades.

Una forma de ajuste fino que congela los pesos del modelo y aprende solo un cambio de rango bajo, entrenando muy pocos parámetros.

Un clasificador que elige, entre todas las fronteras que separan las clases, la que deja la calle más ancha entre ellas.

Tapa el futuro en la atención: cada palabra solo puede mirar a las anteriores. La usan los modelos que escriben texto palabra por palabra.

Una tabla que cuenta los aciertos y los errores de un clasificador: verdaderos positivos y negativos, falsos positivos (falsas alarmas) y falsos negativos (casos que se escapan).

Un grupo pequeño de ejemplos, de 32 a 256, con el que se calcula cada paso del descenso de gradiente. Es el punto medio entre usar todos los datos y usar uno solo.

Una red que pone capas de neuronas una detrás de otra: las salidas de una capa son las entradas de la siguiente.

Un modelo generativo que aprende a quitar ruido: se agrega ruido a las imágenes paso a paso y una red aprende a predecirlo. Para generar, parte de ruido puro y lo quita en pasos.

Un modelo que da probabilidades al token que viene después de un texto.

Un modelo de lenguaje enorme que, dado un texto, calcula la probabilidad de cada posible token siguiente, elige uno, lo pega al final y repite.

Un modelo que ya entrenó alguien con muchísimos datos y que se puede reutilizar, por ejemplo para sacar embeddings o para ajustarlo a otro problema.

Calcula una suma ponderada de sus entradas más un término independiente y pasa el resultado por una activación. Con la sigmoide, es una regresión logística.

Una capa que cuida que las señales tengan un buen tamaño durante todo el entrenamiento, estandarizando cada neurona con los valores del lote. Se comporta distinto al entrenar y al evaluar.

Cuando una red, al entrenarse con algo nuevo, pierde lo que había aprendido antes.

Convierte una variable con categorías en columnas de 0 y 1, una por categoría, sin inventar un orden entre ellas.

El objeto de PyTorch que actualiza los pesos: pone los gradientes en cero y, ya calculados, da un paso en contra. SGD y Adam son optimizadores.

Rellenar: en una imagen, agregar un marco de ceros alrededor antes de filtrar, para que la salida no se achique; en texto, alargar las secuencias cortas hasta que todas tengan el mismo largo.

Dejar de entrenar cuando el error de validación deja de mejorar y quedarse con los mejores pesos.

Una métrica de equidad: todos los grupos se aprueban en la misma proporción, sin importar cuántos cumplen.

Un método que reduce dimensiones: busca las direcciones en que los datos varían más y se queda con la sombra de los datos sobre las primeras.

Mide qué tan sorprendido queda un modelo de lenguaje con un texto que no vio: es como si dudara entre esa cantidad de palabras igual de probables. Más baja es mejor. En t-SNE (tema 15) la misma palabra nombra otra cosa.

Un número que multiplica a una característica dentro del modelo. En la recta es w, la pendiente: cuánto sube la predicción por cada unidad más de x.

Encadena los pasos de preparación y el modelo en un solo objeto, que ajusta cada paso solo con los datos de entrenamiento. Así se evita la fuga de datos.

Resumir cada bloque de 2 × 2 de un mapa con su máximo o su promedio. Achica los mapas y da algo de tolerancia a movimientos pequeños.

De los casos que el modelo marcó como positivos, la fracción que de verdad lo era. Mide cuánto puedes confiar en una alarma.

Multiplicar dos vectores número por número y sumar los resultados. Mide qué tan parecidos son: es grande cuando apuntan hacia el mismo lado.

El texto que le das a un modelo de lenguaje. Cómo lo escribes cambia la respuesta: conviene ser concreto, dar ejemplos y la información necesaria.

Un método de refuerzo que aprende jugando, sin conocer el mapa: llena una tabla Q con su estimación de cuánto gana con cada acción en cada casilla, y la corrige después de cada paso.

Una forma de usar un modelo de lenguaje con tus documentos: antes de preguntar, un buscador encuentra los párrafos relevantes y se ponen en el prompt, para que responda con esa información.

Bagging de árboles que además sortean qué variables pueden usar en cada corte, para que se parezcan menos entre sí.

La regla para derivar funciones encadenadas: se multiplican las derivadas de cada una, como engranajes.

Un clasificador que calcula un puntaje lineal, z = w·x + b, y lo pasa por la sigmoide, una función que lo convierte en una probabilidad entre 0 y 1.

Cambiar lo que el entrenamiento minimiza para pedirle al modelo, además de equivocarse poco, que sus pesos sean chicos. Así se frena el sobreajuste.

Una activación que deja pasar los números positivos y convierte los negativos en cero. Es la opción por defecto en las capas ocultas.

Regularización que castiga la suma de los cuadrados de los pesos. Encoge todos los pesos.

Decir qué hay en cada píxel. La semántica da una clase a cada píxel; la de instancias, una máscara a cada objeto.

Una tabla cuyo índice son fechas, en la que el orden importa. Se describe con su tendencia, su estacionalidad y su ruido.

Un error sistemático. En un modelo, el que viene de ser demasiado simple; también hay sesgos que vienen de los datos. No es el término independiente b.

Una función que convierte cualquier número en un valor entre 0 y 1, que se puede leer como una probabilidad.

El producto punto dividido entre las normas: el coseno del ángulo entre dos vectores. Vale 1 si apuntan al mismo lado, 0 si son perpendiculares y −1 si son opuestos.

Cuando un modelo es tan flexible que memoriza los datos de entrenamiento, ruido incluido, y falla con datos nuevos. Se dice que tiene varianza alta.

Convierte un puntaje por clase en probabilidades que suman 1.

Cuando un modelo es demasiado simple y se equivoca mucho incluso con los datos que vio. Se dice que tiene sesgo alto.

t-SNE y UMAP dibujan datos de muchas dimensiones en un plano conservando los vecindarios. Sirven para mirar, pero ni los tamaños de los grupos ni sus distancias se interpretan.

El largo de cada paso del descenso de gradiente. Muy chica, el entrenamiento tarda; muy grande, diverge.

Un número por el que se dividen los logits antes del softmax: mayor que 1 aplana las probabilidades y menor que 1 las afila. Al generar texto, decide si la elección se enfoca o se reparte.

Un arreglo de tres o más dimensiones; con una dimensión es un vector y con dos, una matriz. En PyTorch, un tensor además puede ir a la GPU y recordar operaciones para calcular gradientes.

El número b que se suma en el modelo: en la recta, la predicción cuando x vale cero. No es lo mismo que el sesgo.

Cada pedazo en que se parte un texto, que puede ser una palabra, un carácter o una subpalabra. Partir el texto así se llama tokenización.

Reutilizar una red preentrenada en un problema nuevo: entrenar solo una cabeza nueva (una red pequeña encima de sus variables congeladas) o ajustar toda la red con una tasa de aprendizaje pequeña.

Una red hecha de bloques que juntan atención y un MLP, cada uno con LayerNorm antes y una conexión residual después. GPT, BERT y ViT son transformers.

La probabilidad a partir de la cual el modelo dice «positivo». El 0,5 de siempre es una decisión, que se ajusta según el costo de cada error.

La parte de los datos que se separa para elegir entre modelos o hiperparámetros. No se usa para ajustar el modelo.

Dividir los datos en k pliegues y usar cada uno una vez para validar, entrenando con los demás. Se promedian los k resultados para no depender de la suerte de una sola división.

Datos muy lejos de los demás. La regla del 1,5·RIC los señala, pero un atípico no es lo mismo que un error: hay que investigarlo antes de borrarlo.

Una variable que lleva escondida la información de un atributo sensible, como el sexo o el origen étnico. Por eso borrar la columna original no basta.

Los puntos que tocan la calle de una SVM o se meten en ella. Solo ellos definen la frontera: los demás se pueden mover sin cambiar nada.

La cantidad de tokens que un modelo de lenguaje puede ver a la vez. Lo que queda más atrás, no lo ve.

Convierte una serie en una tabla: cada fila junta lo que pasó en los últimos días (rezagos y resúmenes) para predecir lo que sigue. Solo puede usar el pasado.

La lista de tokens distintos que conoce un modelo, cada uno con su número. Lo que no está se vuelve el token desconocido, <UNK>.

Clasificar sin un solo ejemplo etiquetado: cada foto se asigna a la frase de texto que más se le parece.