TaskManager use more memory than Xmx

[Szczypiński, S. (Szymon)]

Hi,

I have a problem with TaskManagers in my standalone cluster.

 

My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx set to 20GB but when TaskManager is working it use more memory than host have and start to consume SWAP. In the end system kills java process.

 

Mayby someone know why Flink TaskManager use so much more memory than is set by Xmx property.

 

Best regards

Simon

 

 

 

Szymon Szczypiński
Projektant IT

Departament Aplikacji Centralnych

 

E [hidden email]

 

ING Bank Śląski S.A.

ul. Sokolska 34, 40-086 Katowice

 

 Zastanów się czy musisz drukować tego maila. / Do you really need to print this mail?

 

---

Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może spowodować odpowiedzialność prawną.

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.


---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

[miki haiat]

Which flink version ?

I had the same issue  on 1.4.2 .

On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) <[hidden email]> wrote:

Hi,

I have a problem with TaskManagers in my standalone cluster.

 

My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx set to 20GB but when TaskManager is working it use more memory than host have and start to consume SWAP. In the end system kills java process.

 

Mayby someone know why Flink TaskManager use so much more memory than is set by Xmx property.

 

Best regards

Simon

 

 

 

Szymon Szczypiński
Projektant IT

Departament Aplikacji Centralnych

 

E [hidden email]

 

ING Bank Śląski S.A.

ul. Sokolska 34, 40-086 Katowice

 

 Zastanów się czy musisz drukować tego maila. / Do you really need to print this mail?

 

---

Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może spowodować odpowiedzialność prawną.

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.


---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

[Szczypiński, S. (Szymon)]

Hi,

I use 1.3.1 version.

 

 

Od: miki haiat [mailto:[hidden email]]
Wysłano: poniedziałek, 4 czerwca 2018 13:20
Do: Szczypiński, S. (Szymon) <[hidden email]>
DW: user <[hidden email]>
Temat: Re: TaskManager use more memory than Xmx

 

Which flink version ?

I had the same issue  on 1.4.2 .

 

 

On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) <[hidden email]> wrote:

Hi,

I have a problem with TaskManagers in my standalone cluster.

 

My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx set to 20GB but when TaskManager is working it use more memory than host have and start to consume SWAP. In the end system kills java process.

 

Mayby someone know why Flink TaskManager use so much more memory than is set by Xmx property.

 

Best regards

Simon

 

 

 

Szymon Szczypiński
Projektant IT

Departament Aplikacji Centralnych

 

E [hidden email]

 

ING Bank Śląski S.A.

ul. Sokolska 34, 40-086 Katowice

 

 Zastanów się czy musisz drukować tego maila. / Do you really need to print this mail?

 

---

Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może spowodować odpowiedzialność prawną.

 

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.

---

The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.


---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

[Lasse Nedergaard]

Hi

If you use Rocksdbstate backend rocksdb use memory outside the process to my understanding. 

We have the same problem and I guess it started when we introduced job with larger state and moved all jobs over to rocksdb

Med venlig hilsen / Best regards

Lasse Nedergaard

Den 4. jun. 2018 kl. 13.23 skrev Szczypiński, S. (Szymon) <[hidden email]>:

Hi,

I use 1.3.1 version.

 

 

Od: miki haiat [[hidden email]]
Wysłano: poniedziałek, 4 czerwca 2018 13:20
Do: Szczypiński, S. (Szymon) <[hidden email]>
DW: user <[hidden email]>
Temat: Re: TaskManager use more memory than Xmx

 

Which flink version ?

I had the same issue  on 1.4.2 .

 

 

On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) <[hidden email]> wrote:

Hi,

I have a problem with TaskManagers in my standalone cluster.

 

My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx set to 20GB but when TaskManager is working it use more memory than host have and start to consume SWAP. In the end system kills java process.

 

Mayby someone know why Flink TaskManager use so much more memory than is set by Xmx property.

 

Best regards

Simon

 

 

 

Szymon Szczypiński
Projektant IT

Departament Aplikacji Centralnych

 

E [hidden email]

 

ING Bank Śląski S.A.

ul. Sokolska 34, 40-086 Katowice

 

 Zastanów się czy musisz drukować tego maila. / Do you really need to print this mail?

 

---

Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może spowodować odpowiedzialność prawną.

 

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.

---

The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.


---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

[Flavio Pompermaier]

We had similar problems that was caused by Netty (but we were using batch APIs).

Look at this discussion, maybe it can help: http://mail-archives.apache.org/mod_mbox/flink-user/201706.mbox/%3CCAELUF_AAu+U9XyfPjeSDrNXb84gLOd_8jP-XEXrf-6Ey4QeGHQ@...%3E

Best,

Flavio

2018-06-04 13:29 GMT+02:00 Lasse Nedergaard <[hidden email]>:

Hi

If you use Rocksdbstate backend rocksdb use memory outside the process to my understanding. 

We have the same problem and I guess it started when we introduced job with larger state and moved all jobs over to rocksdb

Med venlig hilsen / Best regards

Lasse Nedergaard

Den 4. jun. 2018 kl. 13.23 skrev Szczypiński, S. (Szymon) <[hidden email]>:

Hi,

I use 1.3.1 version.

 

 

Od: miki haiat [[hidden email]]
Wysłano: poniedziałek, 4 czerwca 2018 13:20
Do: Szczypiński, S. (Szymon) <[hidden email]>
DW: user <[hidden email]>
Temat: Re: TaskManager use more memory than Xmx

 

Which flink version ?

I had the same issue  on 1.4.2 .

 

 

On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) <[hidden email]> wrote:

Hi,

I have a problem with TaskManagers in my standalone cluster.

 

My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx set to 20GB but when TaskManager is working it use more memory than host have and start to consume SWAP. In the end system kills java process.

 

Mayby someone know why Flink TaskManager use so much more memory than is set by Xmx property.

 

Best regards

Simon

 

 

 

Szymon Szczypiński
Projektant IT

Departament Aplikacji Centralnych

 

E [hidden email]

 

ING Bank Śląski S.A.

ul. Sokolska 34, 40-086 Katowice

 

 Zastanów się czy musisz drukować tego maila. / Do you really need to print this mail?

 

---

Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może spowodować odpowiedzialność prawną.

 

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.

---

The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.


---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

[Andrei Shumanski]

Hi,

I had such issue once when opening a lot of Parquet writers and some non-Heap memory was never released.

So you might check that you close all resources correctly.

2018-06-04 14:24 GMT+02:00 Flavio Pompermaier <[hidden email]>:

We had similar problems that was caused by Netty (but we were using batch APIs).

Look at this discussion, maybe it can help: http://mail-archives.apache.org/mod_mbox/flink-user/201706.mbox/%3CCAELUF_AAu+U9XyfPjeSDrNXb84gLOd_8jP-XEXrf-6Ey4QeGHQ@....com%3E

Best,

Flavio

2018-06-04 13:29 GMT+02:00 Lasse Nedergaard <[hidden email]>:

Hi

If you use Rocksdbstate backend rocksdb use memory outside the process to my understanding. 

We have the same problem and I guess it started when we introduced job with larger state and moved all jobs over to rocksdb

Med venlig hilsen / Best regards

Lasse Nedergaard

Den 4. jun. 2018 kl. 13.23 skrev Szczypiński, S. (Szymon) <[hidden email]>:

Hi,

I use 1.3.1 version.

 

 

Od: miki haiat [[hidden email]]
Wysłano: poniedziałek, 4 czerwca 2018 13:20
Do: Szczypiński, S. (Szymon) <[hidden email]>
DW: user <[hidden email]>
Temat: Re: TaskManager use more memory than Xmx

 

Which flink version ?

I had the same issue  on 1.4.2 .

 

 

On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) <[hidden email]> wrote:

Hi,

I have a problem with TaskManagers in my standalone cluster.

 

My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx set to 20GB but when TaskManager is working it use more memory than host have and start to consume SWAP. In the end system kills java process.

 

Mayby someone know why Flink TaskManager use so much more memory than is set by Xmx property.

 

Best regards

Simon

 

 

 

Szymon Szczypiński
Projektant IT

Departament Aplikacji Centralnych

 

E [hidden email]

 

ING Bank Śląski S.A.

ul. Sokolska 34, 40-086 Katowice

 

 Zastanów się czy musisz drukować tego maila. / Do you really need to print this mail?

 

---

Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może spowodować odpowiedzialność prawną.

 

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.

---

The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

 

Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.


---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.

[aitozi]

Hi, Szczypiński

Do you have noticed the size of the maxDirectMemorySize in your taskamanger
jvm options， AFAIK the total memory one Taskmanager used is the (heap memory
+ directMemory) which may larger than the heap size specified by -Xmx?

Best wishes
Aitozi



--
Sent from: http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/

[Fabian Hueske-2]

Hi,

Flink uses a few libraries that allocate direct (off-heap) memory (Netty, RocksDB). Flink can also allocate direct memory by itself (only relevant for batch setups though).

Therefore, Xmx controls only one part of Flink's memory footprint.

Best, Fabian

2018-06-04 16:48 GMT+02:00 aitozi <[hidden email]>:

Hi, Szczypiński

Do you have noticed the size of the maxDirectMemorySize in your taskamanger
jvm options， AFAIK the total memory one Taskmanager used is the (heap memory
+ directMemory) which may larger than the heap size specified by -Xmx?

Best wishes
Aitozi



--
Sent from: http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/