CDC(Change Data Capture)是一種數(shù)據(jù)捕獲技術(shù)，用于跟蹤數(shù)據(jù)庫中數(shù)據(jù)的變化。它的主要目的是捕獲數(shù)據(jù)庫中數(shù)據(jù)的增刪改操作，并將這些變化實(shí)時(shí)或定時(shí)地記錄下來，以便進(jìn)行后續(xù)的處理和分析。

　　近日，在原有的整庫方案基礎(chǔ)上，大數(shù)據(jù)研發(fā)治理套件 DataLeap 重點(diǎn)升級(jí)了數(shù)據(jù)集成CDC分庫分表能力，可離線+實(shí)時(shí)將多個(gè)實(shí)例的多個(gè)數(shù)據(jù)庫多個(gè)分表同步到目標(biāo)端中，更精準(zhǔn)適配于業(yè)務(wù)中的實(shí)時(shí)分庫分表場景。

　　同時(shí)，DataLeap支持將 MySQL 同步到 EMR-Doris、EMR-Starrocks、LAS，助力將最新增量數(shù)據(jù)，以最快且最低的帶寬成本同步到目標(biāo)庫，輔助業(yè)務(wù)數(shù)據(jù)分析更加準(zhǔn)確、高效。

　　相比于批量抽取而言，CDC有著成本低、速度快、少干擾三大優(yōu)勢。

　　通過僅發(fā)送增量變更，CDC能力可幫助用戶降低通過網(wǎng)絡(luò)傳輸數(shù)據(jù)的成本。同時(shí)，CDC可將事務(wù)直接傳輸?shù)綄９┓治龅膽?yīng)用上，幫助用戶根據(jù)最新的數(shù)據(jù)做出更快、更準(zhǔn)確的決策;最后，CDC 可以通過監(jiān)聽數(shù)據(jù)庫的日志或 API 接口，捕獲數(shù)據(jù)變更事件，并將其發(fā)送到目標(biāo)系統(tǒng)或存儲(chǔ)庫中，而無需在生產(chǎn)環(huán)境中大量傳輸數(shù)據(jù)，減少了網(wǎng)絡(luò)流量的占用，降低了對(duì)生產(chǎn)環(huán)境的干擾。

　　火山引擎DataLeap——實(shí)時(shí)分庫分表同步能力界面

　　同時(shí)，火山引擎DataLeap CDC分庫分表能力目前支持“使用緩存”、“無需緩存，直接同步”兩種緩存配置方式，可做到直連同步，也可支持中間件緩存到后kafka后再同步，這樣更靈活的緩存同步模式、極大地幫助客戶提高了數(shù)據(jù)消費(fèi)靈活性。

　　火山引擎DataLeap通過快速連接云下自建/云上數(shù)據(jù)源進(jìn)行數(shù)據(jù)采集同步，可幫助客戶連接各類數(shù)據(jù)上云，以及云上數(shù)據(jù)流動(dòng)，輕松完成數(shù)據(jù)入倉入湖，有效發(fā)揮數(shù)據(jù)的價(jià)值，同時(shí)借助CDC分庫分表同步能力，支持?jǐn)?shù)據(jù)端到端快速同步，數(shù)據(jù)實(shí)時(shí)性得到進(jìn)一步增強(qiáng)，業(yè)務(wù)決策時(shí)效性提高且更準(zhǔn)確。

　　除了上述集成能力，火山引擎DataLeap還可提供數(shù)據(jù)治理、數(shù)據(jù)開發(fā)、運(yùn)維、資產(chǎn)等能力，幫助用戶提升數(shù)據(jù)研發(fā)效率、降低管理成本，加速推動(dòng)企業(yè)的數(shù)據(jù)化轉(zhuǎn)型，目前已經(jīng)應(yīng)用于泛互聯(lián)網(wǎng)、制造、新零售、汽車等領(lǐng)域。