1Una neurona artificial calcula una suma ponderada más un sesgo, z = w·x + b, y la pasa por una activación. Con la sigmoide, una neurona es exactamente una regresión logística.
2El perceptrón usa el escalón y aprende con la regla w ← w + η·(y − ŷ)·x. Si las clases se pueden separar con una recta, la encuentra; ninguna recta resuelve XOR, así que ninguna neurona sola puede aprenderlo.
3La sigmoide (de 0 a 1) y la tanh (de −1 a 1) se saturan lejos del 0, y la derivada de la sigmoide vale como mucho 0,25: en redes profundas el gradiente se desvanece. La ReLU, máx(0, z), es la opción por defecto en las capas ocultas.
4Un MLP apila capas: cada una calcula f(A·W + b) con matrices, y (n, a) @ (a, m) da (n, m). Una capa de a entradas y m neuronas tiene a·m + m parámetros.
5Sin activación, varias capas se juntan en una sola capa lineal. Con ella, cada neurona oculta traza una recta y las siguientes las combinan: así una red 2-2-1 resuelve XOR y un MLP traza fronteras curvas.
6La última capa y la pérdida dependen de la tarea: sin activación y MSE para regresión, sigmoide y entropía cruzada para dos clases, softmax y entropía cruzada para varias.