2 minutos sobre Migração de Dados

Tive uma ótima conversa com meu amigo Dave hoje. Ele é um Cientista de Dados. Ele sabe do que está falando, com certeza.

Conversamos sobre várias coisas, mas uma que realmente se destacou foi migração de dados. Ele diz para nunca migrar via código, use uma ferramenta. Você está reinventando a roda. Você fica preso à sua solução. Todo o risco está em suas mãos. E a solução não é flexível. Dito isto. Ele continuou dizendo que a forma mais eficiente de mover dados é com uma chave primária e um hash.

O lado de destino solicitará todas as chaves primárias e hash de linha. Usando a chave primária, ele verificará se a linha existe. Se existir, ele comparará o hash da origem com o hash da linha de destino. Se forem iguais, o processo se repete para a próxima linha. Se não forem iguais, a chave primária é adicionada a uma lista de linhas a serem solicitadas da origem. Se a chave primária não existir, a chave primária é adicionada à lista de linhas a serem recuperadas da origem. Quando a comparação de linhas é concluída, todas as linhas que estão desatualizadas ou não existem são solicitadas da origem e persistidas no destino.

Se você gosta de trabalho braçal, você fará o acima. Se você é um desenvolvedor que gosta de construir aplicações robustas, você deixará o trabalho braçal para as ferramentas.