2 minutos sobre Migración de Datos

22 de diciembre de 2011 • 2 min de lectura

Tuve una gran conversación con mi amigo Dave hoy. Es un Científico de Datos. Definitivamente sabe lo que hace.

Hablamos sobre varias cosas, pero una que realmente me llamó la atención fue la migración de datos. Dice que nunca migres a través de código, usa una herramienta. Estás reinventando la rueda. Estás atado a tu solución. Todo el riesgo está de tu lado. Y la solución no es flexible. Dicho esto, continuó diciendo que la forma más eficiente de mover datos es con una clave primaria y un hash.

El lado de destino solicitará todas las claves primarias y hashes de filas. Tomando la clave primaria verificará si la fila existe. Si existe, comparará el hash de la fuente con el hash de la fila de destino. Si coinciden, entonces el proceso se repite para la siguiente fila. Si no coinciden, entonces la clave primaria se agrega a una lista de filas para solicitar de la fuente. Si la clave primaria no existe, entonces la clave primaria se agrega a la lista de filas a recuperar de la fuente. Cuando se completa la comparación de filas, todas las filas que están obsoletas o no existen se solicitan de la fuente y se persisten en el destino.

Si disfrutas el trabajo pesado harás lo anterior. Si eres un desarrollador que disfruta construir aplicaciones robustas, dejarás el trabajo pesado a las herramientas.