Consumer offsets not visible in Kafka

[Bernd.Winterstein]

Hi

We are using Kafka 0.11  consumers with Flink 1.4 and Confluence Kafka 4.0.0. Checkpointing is enabled and enableCommitOnCheckpoints ist set to true.

However there are no offsets from Flink jobs visible in Kafka when checking with the kafka-consumer-groups tool.

Any ideas

 

Regards

 

Bernd

 

  ________________________________  

Landesbank Hessen-Thueringen Girozentrale
Anstalt des oeffentlichen Rechts
Sitz: Frankfurt am Main / Erfurt
Amtsgericht Frankfurt am Main, HRA 29821 / Amtsgericht Jena, HRA 102181

Bitte nutzen Sie die E-Mail-Verbindung mit uns ausschliesslich zum Informationsaustausch. Wir koennen auf diesem Wege keine rechtsgeschaeftlichen Erklaerungen (Auftraege etc.) entgegennehmen.

Der Inhalt dieser Nachricht ist vertraulich und nur fuer den angegebenen Empfaenger bestimmt. Jede Form der Kenntnisnahme oder Weitergabe durch Dritte ist unzulaessig. Sollte diese Nachricht nicht fur Sie bestimmt sein, so bitten wir Sie, sich mit uns per E-Mail oder telefonisch in Verbindung zu setzen.

Please use your E-mail connection with us exclusively for the exchange of information. We do not accept legally binding declarations (orders, etc.) by this means of communication.

The contents of this message is confidential and intended only for the recipient indicated. Taking notice of this message or disclosure by third parties is not
permitted. In the event that this message is not intended for you, please contact us via E-mail or phone.

[Kien Truong]

Hi,

That tool only shows active consumer-groups that make use of the automatic partitions assignment API.

Flink use the manual partitions assignment API, so it will now show up there.

The best way to monitor kafka offset with Flink is using Flink's own metrics system.

Otherwise, you can scan the __committed_offset  topics and search for the committed offset,

however this result can be outdated, since Flink only commits offset on checkpoint

bin/kafka-console-consumer.sh --consumer.config config/consumer.properties
--from-beginning --topic __consumer_offsets --zookeeper zookeeper:2181
--formatter "kafka.coordinator.GroupMetadataManager\$OffsetsMessageFormatter"

Best regards,

Kien

On 4/19/2018 4:37 PM, [hidden email] wrote:

Hi

We are using Kafka 0.11  consumers with Flink 1.4 and Confluence Kafka 4.0.0. Checkpointing is enabled and enableCommitOnCheckpoints ist set to true.

However there are no offsets from Flink jobs visible in Kafka when checking with the kafka-consumer-groups tool.

Any ideas

 

Regards

 

Bernd

 

  ________________________________  

Landesbank Hessen-Thueringen Girozentrale
Anstalt des oeffentlichen Rechts
Sitz: Frankfurt am Main / Erfurt
Amtsgericht Frankfurt am Main, HRA 29821 / Amtsgericht Jena, HRA 102181

Bitte nutzen Sie die E-Mail-Verbindung mit uns ausschliesslich zum Informationsaustausch. Wir koennen auf diesem Wege keine rechtsgeschaeftlichen Erklaerungen (Auftraege etc.) entgegennehmen.

Der Inhalt dieser Nachricht ist vertraulich und nur fuer den angegebenen Empfaenger bestimmt. Jede Form der Kenntnisnahme oder Weitergabe durch Dritte ist unzulaessig. Sollte diese Nachricht nicht fur Sie bestimmt sein, so bitten wir Sie, sich mit uns per E-Mail oder telefonisch in Verbindung zu setzen.

Please use your E-mail connection with us exclusively for the exchange of information. We do not accept legally binding declarations (orders, etc.) by this means of communication.

The contents of this message is confidential and intended only for the recipient indicated. Taking notice of this message or disclosure by third parties is not
permitted. In the event that this message is not intended for you, please contact us via E-mail or phone.