Flink Non-Heap Memory Configuration

[Jan Oelschlegel]

Hi,

 

i’m using Flink 1.11.3. With Prometheus and Grafana I get some metrics from my standalone cluster.

 

For this simple calculation there will be very less RAM (lee than 10 MB):

 

flink_jobmanager_Status_JVM_Memory_NonHeap_Committed - flink_jobmanager_Status_JVM_Memory_NonHeap_Used

 

Is that the right behaviour? And if not, how can I increase the size?

 

 

Best,

Jan

 

 

HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben angegebenen Telefonnummer.

[Arvid Heise-4]

Hi Jan,

10 MB sounds very tight. How much memory are you giving your JVM? Are you loading big data structures in your user-defined functions?

You can read about Flink's memory here [1]. You may need to lower memory fractions or set .max if you provide only little RAM to your JVM.

I'm also pulling Chesnay who knows the memory model much better.

[1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/memory/mem_setup.html

On Wed, Mar 10, 2021 at 7:22 PM Jan Oelschlegel <[hidden email]> wrote:

Hi,

 

i’m using Flink 1.11.3. With Prometheus and Grafana I get some metrics from my standalone cluster.

 

For this simple calculation there will be very less RAM (lee than 10 MB):

 

flink_jobmanager_Status_JVM_Memory_NonHeap_Committed - flink_jobmanager_Status_JVM_Memory_NonHeap_Used

 

Is that the right behaviour? And if not, how can I increase the size?

 

 

Best,

Jan

 

 

HINWEIS: Dies ist eine vertrauliche Nachricht und nur für den Adressaten bestimmt. Es ist nicht erlaubt, diese Nachricht zu kopieren oder Dritten zugänglich zu machen. Sollten Sie diese Nachricht irrtümlich erhalten haben, bitte ich um Ihre Mitteilung per E-Mail oder unter der oben angegebenen Telefonnummer.