J’ai eu une excellente conversation avec mon ami Dave aujourd’hui. C’est un Data Scientist. Il sait vraiment de quoi il parle.
Nous avons parlé de plusieurs choses, mais une qui m’a vraiment marqué était la migration de données. Il dit de ne jamais migrer via du code, d’utiliser un outil. Vous réinventez la roue. Vous êtes enfermé dans votre solution. Tous les risques sont de votre côté. Et la solution n’est pas flexible. Cela dit, il a poursuivi en disant que la façon la plus efficace de déplacer des données est avec une clé primaire et un hash.
Le côté destination demandera toutes les clés primaires et le hash de ligne. En prenant la clé primaire, il vérifiera si la ligne existe. Si elle existe, il comparera le hash de la source avec le hash de la ligne de destination. S’ils correspondent, le processus est répété pour la ligne suivante. S’ils ne correspondent pas, alors la clé primaire est ajoutée à une liste de lignes à demander à la source. Si la clé primaire n’existe pas, alors la clé primaire est ajoutée à la liste des lignes à récupérer de la source. Lorsque la comparaison des lignes est terminée, toutes les lignes qui sont obsolètes ou n’existent pas sont demandées à la source et conservées dans la destination.
Si vous aimez le travail fastidieux, vous ferez ce qui précède. Si vous êtes un développeur qui aime construire des applications robustes, vous laisserez le travail fastidieux aux outils.
Auteur : Chuck Conway est un ingénieur IA avec près de 30 ans d’expérience en génie logiciel. Il construit des systèmes IA pratiques — pipelines de contenu, agents d’infrastructure et outils qui résolvent des problèmes réels — et partage ce qu’il apprend en chemin. Connectez-vous avec lui sur les réseaux sociaux : X (@chuckconway) ou visitez-le sur YouTube et sur SubStack.