1 · La curva
Naranja: qué tan bien predice lo que ya vio. Gris: qué tan bien predice texto que nunca vio. Cuando el gris deja de bajar y empieza a subir, el modelo dejó de aprender el idioma y empezó a recitar.
2 · Lo que escribe
Mismo arranque —«En un lugar de la Mancha, de cuyo nombre»— a lo largo del entrenamiento. Abajo queda el registro de cómo cambió.
—
El registro aparece cuando arranca el entrenamiento.
3 · La decisión, paso a paso
Escribí un contexto y mirá las probabilidades que el modelo le asigna al carácter que viene. Después, las 192 neuronas de la capa oculta con su activación real para ese contexto.
temperatura
0,75
—