2 minutos sobre Migração de Dados

Tive uma ótima conversa com meu amigo Dave hoje. Ele é um Cientista de Dados. Ele realmente entende do assunto.

Conversamos sobre várias coisas, mas uma que realmente se destacou foi a migração de dados. Ele diz para nunca migrar via código, use uma ferramenta. Você está reinventando a roda. Você fica preso à sua solução. Todo o risco está nas suas mãos. E a solução não é flexível. Dito isso, ele continuou dizendo que a maneira mais eficiente de mover dados é com uma chave primária e um hash.

O lado de destino solicitará todas as chaves primárias e hashes de linha. Pegando a chave primária, verificará se a linha existe. Se existir, comparará o hash da origem com o hash da linha de destino. Se coincidirem, então o processo é repetido para a próxima linha. Se não coincidirem, então a chave primária é adicionada a uma lista de linhas para solicitar da origem. Se a chave primária não existir, então a chave primária é adicionada à lista de linhas a serem recuperadas da origem. Quando a comparação de linhas é concluída, todas as linhas que estão desatualizadas ou não existem são solicitadas da origem e persistidas no destino.

Se você gosta de trabalho braçal, fará o que foi descrito acima. Se você é um desenvolvedor que gosta de construir aplicações robustas, deixará o trabalho braçal para as ferramentas.