Jeg hadde en flott samtale med vennen min Dave i dag. Han er datavitenskapsmann. Han vet hva han snakker om, det er sikkert.
Vi snakket om flere ting, men en som virkelig fikk oppmerksomheten min var datamigrering. Han sier aldri å migrere via kode, bruk et verktøy. Du gjenoppfinner hjulet. Du er låst til løsningen din. All risikoen er på din side. Og løsningen er ikke fleksibel. Med det sagt. Han fortsatte med å si at den mest effektive måten å flytte data på er med en primærnøkkel og en hash.
Destinasjonssiden vil be om alle primærnøkler og radhash. Med primærnøkkelen vil den sjekke om raden eksisterer. Hvis den eksisterer, vil den sammenligne hashen fra kilden med hashen til destinasjonsraden. Hvis de samsvarer, gjentas prosessen for neste rad. Hvis de ikke samsvarer, legges primærnøkkelen til en liste over rader som skal forespørres fra kilden. Hvis primærnøkkelen ikke eksisterer, legges primærnøkkelen til listen over rader som skal hentes fra kilden. Når radsammenligningen er fullført, blir alle rader som er foreldet eller ikke eksisterer, forespurt fra kilden og lagret til destinasjonen.
Hvis du liker slitsomt arbeid, gjør du det ovenfor. Hvis du er en utvikler som liker å bygge robuste applikasjoner, overlater du slitsomt arbeid til verktøyene.
Forfatter: Chuck Conway er en AI-ingeniør med nesten 30 års erfaring innen programvareutvikling. Han bygger praktiske AI-systemer—innholdspipelines, infrastrukturagenter og verktøy som løser virkelige problemer—og deler det han lærer underveis. Koble til ham på sosiale medier: X (@chuckconway) eller besøk ham på YouTube og på SubStack.