Aprender actuando: refuerzo e imitación

Lo esencial

1. 1Tema optativo, para quien quiera ir más allá: la ruta sigue en el tema 21 sin él. En el aprendizaje por refuerzo, un agente elige acciones en un entorno, pasa de estado en estado y recibe recompensas; una partida completa es un episodio y la regla para elegir es la política.
2. 2El retorno suma las recompensas multiplicando cada una por el factor de descuento γ una vez por cada paso de espera. Con γ = 0,9, una meta a 14 pasos vale 0,9¹³ ≈ 0,254: el descuento le da prisa al agente.
3. 3La iteración de valor aplica la ecuación de Bellman, V(s) = máx [r + γ · V(s′)], a todas las casillas hasta que los valores dejan de cambiar. Es exacta, pero necesita conocer el mapa.
4. 4El Q-learning aprende jugando: después de cada paso corrige Q(s, a) con una parte α de la sorpresa. Con ε-greedy mezcla explorar y explotar: más exploración da peores episodios mientras aprende, pero un mapa mejor conocido (17 contra 26 de 40 casillas en la teoría).
5. 5La clonación de comportamiento convierte la imitación en clasificación supervisada: una CNN aprendió a predecir la acción de un experto (el camino más corto) a partir del mapa como tensor (3, 8, 8) y llegó a la meta en el 78 % de los mapas ocultos.
6. 6En la imitación los errores se acumulan: cuanto más largo el camino, más se falla, porque la red llega a situaciones que el experto nunca mostró. DAgger le pide al experto que etiquete justamente esas situaciones.