1Un audio digital es un vector de muestras. La frecuencia de muestreo dice cuántas hay por segundo, y solo se pueden representar frecuencias de hasta su mitad (Nyquist): más arriba, un tono rápido se confunde con uno lento.
2La FFT descompone un sonido en frecuencias. La STFT la aplica por ventanas y da el espectrograma, con el tiempo en un eje, la frecuencia en el otro y la intensidad como tinta. Una ventana larga separa frecuencias cercanas; una corta ubica bien los instantes.
3La escala de Mel imita al oído y el log-Mel convierte un audio en una imagen. Una CNN pequeña sobre log-Mel, con los audios recortados o rellenados a 1 segundo, reconoce dígitos hablados; la aumentación con ruido y corrimientos la hace más resistente al ruido.
4HuBERT aprende a escuchar sin etiquetas, adivinando unidades discretas de audio tapadas. Sus embeddings agrupan los dígitos sin haberlos visto y alcanzan para clasificarlos con una regresión logística.
5Whisper transcribe con un codificador-decodificador sobre log-Mel. La tasa de error de palabras (WER) mide sus errores y cambia con el tamaño del modelo, el ruido, el idioma y la forma de normalizar los textos.
6Los modelos de audio y lenguaje, como Qwen-Audio y Voxtral, entienden un audio más allá de las palabras. Para resumir lo que se dijo, en cambio, basta encadenar Whisper y un LLM de texto, midiendo cada paso.