Si una importación de diez mil productos falla en el tercero de cinco lotes, reiniciarla completa aumenta el tiempo y el riesgo de repetir escrituras.
Congela la entrada
Asigna un identificador al fichero o a la ejecución, y guarda la lista o la versión de los datos que estás importando. Divide el catálogo en lotes con un orden estable. Guarda el último lote confirmado en una tabla persistente.
Confirma al terminar el lote
Procesa con un identificador externo estable. Tras completar el lote, registra los elementos correctos y los fallidos. Actualiza el punto de reanudación solo después de confirmar las escrituras. Si se corta antes, el siguiente intento repite el lote de forma segura mediante actualización por clave.
Ejecuta una prueba de recuperación
Carga 12 productos en lotes de 4 y fuerza un error temporal en el séptimo. Reanuda la ejecución y verifica que los cuatro primeros conservan sus identificadores, el séptimo se recupera y quedan 12 productos únicos.
En qué momento se puede guardar un punto de reanudación
Imagina un catálogo de 12 productos dividido en tres lotes. El flujo confirma el primero y se corta después de crear el séptimo producto, antes de confirmar el segundo lote. Al volver, tiene que repetir ese lote. Si cada petición crea una fila nueva, el séptimo se duplicará. Si el destino admite actualizar por un identificador externo, repetirlo es seguro.
Diseña el registro de progreso pensando en los cortes
Una tabla sencilla puede guardar la versión del fichero, el número de lote, su estado y la hora. Añade el identificador de ejecución a los registros de error para poder explicar qué pasó. Con PostgreSQL, este esquema es suficiente para empezar a probar la idea en una base de laboratorio.
CREATE TABLE importacion_lotes (
archivo_hash text NOT NULL,
lote integer NOT NULL CHECK (lote >= 1),
confirmado_en timestamptz NOT NULL,
PRIMARY KEY (archivo_hash, lote)
);
INSERT INTO importacion_lotes VALUES ('fichero-demo-v1', 1, now())
ON CONFLICT (archivo_hash, lote) DO NOTHING;Obtén un hash del fichero real y conserva su orden. Separa el camino de éxito total del camino con elementos pendientes de revisión para no registrar un lote parcial como confirmado. Si el flujo admite ejecuciones simultáneas, limita la concurrencia o reclama cada lote de forma atómica. El registro de confirmación por sí solo no impide que dos ejecuciones empiecen el mismo lote.
Prueba de aceptación. Tras provocar el corte, compara el recuento total y los IDs externos. Deben quedar 12 productos distintos. Cambia después una fila del CSV y comprueba que la nueva versión no usa el punto de reanudación del fichero anterior.

