数据是数据平台最重要的资源,企业需要对如何将数据摄取到新的数据平台中进行设计和规划。
本文将讨论变更数据捕获(CDC)解决方案,如何基于Debezium等开源工具设计标准的复制解决方案,以及CDC可以帮助企业迁移到新的数据平台的原因。
什么是变更数据捕获(CDC)变更数据捕获(CDC)是一个软件过程,它捕获在源数据库中所做的变更(DDL和DML)以同步另一个数据存储库,例如数据库、内存缓存、数据仓库或数据湖。CDC用于本文没有讨论的其他互补的用例,例如:
CQRS模式:其中一种实现涉及具有单独的写入(命令)和读取(查询)数据库和数据模型。写入层支持插入、更新和删除操作,读取层支持查询数据操作。CDC允许将命令操作从写入数据库复制到读取数据库。
分析微服务:提供变更事件流以跟踪变更发生的时间和内容,并分析行为模式。
CDC解决方案由三个主要组件组成:
源连接器:它从数据库中捕获变更并生成包含这些变更详细信息的事件。
通道:它是源连接器将这些事件与变更保持在一起的数据存储库。
接收器连接器:从通道读取事件并处理应用特定逻辑以将数据整合到目标系统或其他目的(例如分析警报过程)。
实现CDC有多种方法,例如基于日志、基于触发器或基于SQL脚本。本文将