Una persona. Una TPU prestada. 47 arranques.

Se acaba la beca

La beca de TPU Research Cloud de Google caduca oficialmente y la renovación se rechaza por falta de capacidad. La TPU sigue encendida porque nadie la reclama. A partir de aquí, cada día de entrenamiento es tiempo prestado.

Empieza la etapa 1

Un modelo de 1,6B parámetros, 243.000 pasos planeados, unos 2,1 millones de tokens por paso, 13,3 segundos por paso en una TPU v4-32 de cuatro hosts. El primer archivo de registro no se conservó; el registro empieza en el paso 28.650 el 23 de agosto.

La primera cicatriz

Cinco reinicios en dieciséis horas desde el checkpoint del paso 38.000. Los checkpoints se escriben cada 1.000 pasos, así que cada caída tira hasta cuatro horas de trabajo.

Trece muertes en un paso

Una lectura fallida deja una página de ceros en la caché del montaje de datos. Un worker la lee y sale, los otros tres se quedan colgados, systemd reinicia todo desde el último checkpoint y vuelve a morir en la misma página. Trece veces. El final del registro parece sano todo el tiempo; la única señal real es que la carpeta del checkpoint más nuevo dejó de avanzar. Pasan treinta horas hasta encontrar la causa comparando bytes en la posición fallida contra la copia en la nube.

El guardián de reinicios

El mismo fallo, el mismo día, tres muertes más y nueve horas. Después se escribe un guardián: un archivo de estado cuenta los arranques sin checkpoint nuevo y, al tercero, el script vuelve a montar los datos y se reinicia solo.

La facturación caduca

La cuenta de facturación entra en mora y el almacenamiento empieza a devolver 403. El entrenamiento muere en el paso 122.733 con la misma pinta que el fallo del montaje, así que el primer arreglo es el equivocado. Se paga, la cuenta reabre 24 minutos después de la caída y el siguiente reinicio automático retoma desde el paso 122.000.

Tres rondas más

El fallo de la página de ceros vuelve el 10 y el 21 de septiembre, y hay caídas sueltas el 15 y el 18. El guardián atrapa la última en su tercer arranque, como estaba previsto. Cuatro incidentes y unas 50 horas perdidas en todo el entrenamiento. Todos están en la curva de abajo.

Termina la etapa 1, y el plan aparece roto

Paso 198.999 a las 14:53 UTC. Las notas dicen PRETRAIN FINISHED. Esa tarde resulta que el lanzador de las etapas 2 y 3 se perdió en una migración de portátil y solo corrió la etapa 1, así que la tasa de aprendizaje nunca bajó. El checkpoint de la etapa 1 está a once horas de borrarse solo; se copia a mano, y la etapa 2 arranca a las 22:29 esa misma noche con mucho más matemáticas y código.

Etapa 3 y el recorte por defecto

La etapa 2 termina el 26. Antes de la etapa 3 se descubre que un valor por defecto del framework cortaba cada documento en 4.096 tokens, lo que venía tirando las respuestas de los datos largos de razonamiento. Arreglarlo rompe el estado guardado del iterador de datos; el estado se parchea a mano tras probar en una tubería de juguete. La etapa 3 hace el enfriamiento y termina el 30 de septiembre a las 02:48 UTC con una salida limpia.

El fallo que escondía las puntuaciones

Buscando por qué el modelo respondía a una pregunta de contar con nada, se descubre que el script de exportación incluía una penalización por repetición en la configuración de generación. El harness de evaluación la mantuvo; ninguno de los modelos de referencia la tenía. Todas las puntuaciones de generación llevaban semanas por debajo de lo real. Al quitarla, la precisión al contar pasa de 4,0 a 41,3. El mismo día termina la fase de contexto de 32K y empieza la de 64K.

El último checkpoint

La fase C, contexto de 64K con tareas sintéticas de documentos largos, escribe su checkpoint final a las 15:24 UTC. 524 mil millones de tokens vistos. El ajuste fino de chat empieza el mismo día: nueve pasadas hasta el 6 de octubre.

Diez pruebas, un harness

Todos los modelos de las tablas pasan por el mismo harness de evaluación en la misma máquina. La 4090 de casa se desconecta de noche y las últimas ejecuciones terminan en una segunda máquina. Cinco victorias cada uno frente a Llama 3.2 1B de Meta, que entrenó con unas 18 veces más datos.

Hasta 128K

Las ejecuciones de contexto largo, de 4K a 128K, frente a la misma referencia. Por delante en cuatro longitudes, por detrás en una, empate en la última.

Publicación

Pesos, checkpoints intermedios, la vista previa de chat, builds GGUF, código de entrenamiento y evaluación, salidas de evaluación en bruto y el informe completo, todo Apache 2.0. De bolsillo en todo el entrenamiento: unos $320. La TPU fue una beca. El resto fue una persona y tiempo.