J’ai eu une excellente discussion avec mon ami Dave aujourd’hui. C’est un Data Scientist. Il s’y connaît, c’est sûr.
Nous avons parlé de plusieurs choses, mais une qui m’a vraiment marqué était la migration de données. Il dit de ne jamais migrer via du code, utilisez un outil. Vous réinventez la roue. Vous êtes enfermé dans votre solution. Tous les risques sont de votre côté. Et la solution n’est pas flexible. Ceci dit. Il a continué en disant que la façon la plus efficace de déplacer des données est avec une clé primaire et un hash.
Le côté destination demandera toutes les clés primaires et les hash de lignes. En prenant la clé primaire, il vérifiera si la ligne existe. Si elle existe, il comparera le hash de la source au hash de la ligne de destination. S’ils correspondent alors le processus est répété pour la ligne suivante. S’ils ne correspondent pas, alors la clé primaire est ajoutée à une liste de lignes à demander à la source. Si la clé primaire n’existe pas alors la clé primaire est ajoutée à la liste des lignes à récupérer de la source. Quand la comparaison des lignes est terminée, toutes les lignes qui sont obsolètes ou qui n’existent pas sont demandées à la source et persistées vers la destination.
Si vous aimez le travail ingrat, vous ferez ce qui précède. Si vous êtes un développeur qui aime construire des applications robustes, vous laisserez le travail ingrat aux outils.
Auteur : Chuck Conway se spécialise dans l’ingénierie logicielle et l’IA générative. Connectez-vous avec lui sur les réseaux sociaux : X (@chuckconway) ou visitez-le sur YouTube.