Сегодня у меня была отличная беседа с моим другом Dave. Он Data Scientist. Он точно знает свое дело.
Мы обсудили множество вещей, но одна действительно выделилась — миграция данных. Он говорит, что никогда не нужно выполнять миграцию через код, используйте инструмент. Вы переизобретаете колесо. Вы привязаны к своему решению. Весь риск лежит на вас. И решение не гибко. При этом он продолжил, говоря, что наиболее эффективный способ перемещения данных — это использование первичного ключа и хеша.
Сторона назначения запросит все первичные ключи и хеши строк. Используя первичный ключ, она проверит, существует ли строка. Если она существует, она сравнит хеш источника с хешем строки назначения. Если они совпадают, процесс повторяется для следующей строки. Если они не совпадают, первичный ключ добавляется в список строк для запроса из источника. Если первичный ключ не существует, первичный ключ добавляется в список строк для извлечения из источника. Когда сравнение строк завершено, все устаревшие строки или несуществующие строки запрашиваются из источника и сохраняются в назначение.
Если вам нравится черновая работа, вы будете делать вышеперечисленное. Если вы разработчик, который любит создавать надежные приложения, вы оставите черновую работу инструментам.
Автор: Chuck Conway — инженер AI с почти 30-летним опытом разработки программного обеспечения. Он создает практические системы AI — конвейеры контента, агенты инфраструктуры и инструменты, которые решают реальные проблемы — и делится тем, что он узнает на этом пути. Свяжитесь с ним в социальных сетях: X (@chuckconway) или посетите его на YouTube и на SubStack.