Detectar y segmentar: dónde está cada cosa

Lo esencial

1. 1Detectar es decir qué hay y dónde, con una caja, una clase y un puntaje por objeto; segmentar es dar una clase a cada píxel (semántica) o una máscara a cada objeto (instancias). Una caja son cuatro números, en formato xyxy o xywh, y mezclarlos no da error pero arruina todo.
2. 2El IoU mide cuánto se superponen dos cajas o dos máscaras: el área de la intersección dividida por la de la unión. Vale 1 si coinciden y 0 si no se tocan.
3. 3Un detector da muchas cajas candidatas. El umbral de confianza decide cuáles creer y la supresión de no máximos (NMS) se queda con la de mayor puntaje y borra, dentro de cada clase, las que se le superponen con un IoU mayor que un umbral; luego repite con las que quedan.
4. 4SSDlite (de una etapa, como YOLO) y Faster R-CNN (de dos etapas, de la familia R-CNN) son rápidos pero a 320 píxeles pierden los objetos chicos; DETR, un transformer con 100 consultas que se reparten los objetos, ve mucho más, no trae NMS y tarda varias veces más.
5. 5Un video se procesa como una secuencia de cuadros: contar objetos por cuadro es fácil, pero contar objetos distintos necesita seguimiento.
6. 6La U-Net segmenta con un codificador, un decodificador y conexiones de salto; se entrena con entropía cruzada por píxel y se mide con IoU o Dice por clase, porque cuando el fondo domina la exactitud por píxel engaña.