flink-cdc-connector 使用场景和限制是什么?

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

flink-cdc-connector 使用场景和限制是什么?

陈帅
传统CDC方式是通过 mysql -> debezium -> kafka, 这样便于DBA管控资源,因为像postgres库需要创建slot资源,但如果像 flink-cdc-connector 每(几)张表就创建一个CDC流的话对数据库的资源要求很高,而且不可控。所以我的理解flink-cdc-connector更适合少量的即席cdc处理,而不是大规模的cdc处理,不知我的理解对不对?


 

Reply | Threaded
Open this post in threaded view
|

Re: flink-cdc-connector 使用场景和限制是什么?

Chesnay Schepler
Moving to chinese user mailing ist.

On 12/14/2020 3:19 AM, 陈帅 wrote:
传统CDC方式是通过 mysql -> debezium -> kafka, 这样便于DBA管控资源,因为像postgres库需要创建slot资源,但如果像 flink-cdc-connector 每(几)张表就创建一个CDC流的话对数据库的资源要求很高,而且不可控。所以我的理解flink-cdc-connector更适合少量的即席cdc处理,而不是大规模的cdc处理,不知我的理解对不对?