2 minutos sobre migración de datos

Tuve una gran conversación con mi amigo Dave hoy. Es un Científico de Datos. Definitivamente sabe su oficio.

Hablamos sobre varias cosas, pero una que realmente se destacó fue la migración de datos. Dice que nunca migres a través de código, usa una herramienta. Estás reinventando la rueda. Estás atrapado en tu solución. Todo el riesgo está en tu cancha. Y la solución no es flexible. Dicho esto. Continuó diciendo que la forma más eficiente de mover datos es con una clave primaria y un hash.

El lado de destino solicitará todas las claves primarias y el hash de fila. Tomando la clave primaria, verificará si la fila existe. Si existe, comparará el hash del origen con el hash de la fila de destino. Si coinciden, el proceso se repite para la siguiente fila. Si no coinciden, entonces la clave primaria se agrega a una lista de filas para solicitar de la fuente. Si la clave primaria no existe, entonces la clave primaria se agrega a la lista de filas a recuperar de la fuente. Cuando se completa la comparación de filas, todas las filas que están obsoletas o no existen se solicitan de la fuente y se persisten en el destino.

Si disfrutas del trabajo tedioso, harás lo anterior. Si eres un desarrollador que disfruta construir aplicaciones robustas, dejarás el trabajo tedioso a las herramientas.