Сегодня у меня был отличный разговор с моим другом Дэйвом. Он специалист по данным. Он определенно знает свое дело.
Мы говорили о многих вещах, но одна из них действительно запомнилась — миграция данных. Он говорит, что никогда не нужно мигрировать через код, используйте инструмент. Вы изобретаете велосипед. Вы привязаны к своему решению. Все риски лежат на вас. И решение не является гибким. При этом он продолжил, что наиболее эффективный способ перемещения данных — это использование первичного ключа и хеша.
Сторона назначения запросит все первичные ключи и хеши строк. Взяв первичный ключ, она проверит, существует ли строка. Если она существует, то сравнит хеш источника с хешем строки назначения. Если они совпадают, то процесс повторяется для следующей строки. Если они не совпадают, то первичный ключ добавляется в список строк для запроса из источника. Если первичный ключ не существует, то первичный ключ добавляется в список строк для извлечения из источника. Когда сравнение строк завершено, все строки, которые устарели или не существуют, запрашиваются из источника и сохраняются в назначении.
Если вам нравится черновая работа, вы будете делать вышеописанное. Если вы разработчик, который любит создавать надежные приложения, вы оставите черновую работу инструментам.
Автор: Чак Конвей специализируется на разработке программного обеспечения и генеративном ИИ. Свяжитесь с ним в социальных сетях: X (@chuckconway) или посетите его на YouTube.