
今天我和我的朋友Dave进行了一次很棒的谈话。他是一名数据科学家。他确实很懂行。
我们谈论了很多事情,但其中一个真正突出的话题是数据迁移。他说永远不要通过代码进行迁移,要使用工具。你在重新发明轮子。你被锁定在自己的解决方案中。所有的风险都在你这边。而且解决方案不够灵活。话虽如此,他接着说移动数据最有效的方法是使用主键和哈希值。
目标端将请求所有主键和行哈希值。获取主键后,它将检查该行是否存在。如果存在,它将比较源的哈希值与目标行的哈希值。如果匹配,则对下一行重复该过程。如果不匹配,则将主键添加到要从源请求的行列表中。如果主键不存在,则将主键添加到要从源检索的行列表中。当行比较完成后,所有过时或不存在的行都会从源请求并持久化到目标。
如果你喜欢繁重的工作,你会做上述事情。如果你是一个喜欢构建健壮应用程序的开发者,你会把繁重的工作留给工具。
作者:Chuck Conway 专注于软件工程和生成式人工智能。在社交媒体上与他联系:X (@chuckconway) 或访问他的 YouTube。