graceful shutdown of taskmanager

classic Classic list List threaded Threaded
2 messages Options
Reply | Threaded
Open this post in threaded view
|

graceful shutdown of taskmanager

Bernd.Winterstein
Hi
Is there a possibility to gracefully remove a taskmanager from a running cluster?
My idea would be to trigger affected jobs to restart via a savepoint on the remaining taskmanagers. When the taskmanager is idle it can be stopped without jobs falling back to an older checkpoint.
 
Regards
 
Bernd
 

  ________________________________  


Landesbank Hessen-Thueringen Girozentrale
Anstalt des oeffentlichen Rechts
Sitz: Frankfurt am Main / Erfurt
Amtsgericht Frankfurt am Main, HRA 29821 / Amtsgericht Jena, HRA 102181

Bitte nutzen Sie die E-Mail-Verbindung mit uns ausschliesslich zum Informationsaustausch. Wir koennen auf diesem Wege keine rechtsgeschaeftlichen Erklaerungen (Auftraege etc.) entgegennehmen.

Der Inhalt dieser Nachricht ist vertraulich und nur fuer den angegebenen Empfaenger bestimmt. Jede Form der Kenntnisnahme oder Weitergabe durch Dritte ist unzulaessig. Sollte diese Nachricht nicht fur Sie bestimmt sein, so bitten wir Sie, sich mit uns per E-Mail oder telefonisch in Verbindung zu setzen.

Please use your E-mail connection with us exclusively for the exchange of information. We do not accept legally binding declarations (orders, etc.) by this means of communication.

The contents of this message is confidential and intended only for the recipient indicated. Taking notice of this message or disclosure by third parties is not
permitted. In the event that this message is not intended for you, please contact us via E-mail or phone.
Reply | Threaded
Open this post in threaded view
|

Re: graceful shutdown of taskmanager

Till Rohrmann
Hi Bernd,

at the moment this is not supported out of the box by Flink. What you can do is the following: First cancel a job with savepoint. After the job has been terminated, terminate TaskManagers and then resume the job from the savepoint you've just taken. This assumes that you have a single job running on a cluster. If you have multiple jobs running, then you might need to cancel with savepoint every running job.

Cheers,
Till

On Wed, Feb 6, 2019 at 11:54 AM <[hidden email]> wrote:
Hi
Is there a possibility to gracefully remove a taskmanager from a running cluster?
My idea would be to trigger affected jobs to restart via a savepoint on the remaining taskmanagers. When the taskmanager is idle it can be stopped without jobs falling back to an older checkpoint.
 
Regards
 
Bernd
 

  ________________________________  


Landesbank Hessen-Thueringen Girozentrale
Anstalt des oeffentlichen Rechts
Sitz: Frankfurt am Main / Erfurt
Amtsgericht Frankfurt am Main, HRA 29821 / Amtsgericht Jena, HRA 102181

Bitte nutzen Sie die E-Mail-Verbindung mit uns ausschliesslich zum Informationsaustausch. Wir koennen auf diesem Wege keine rechtsgeschaeftlichen Erklaerungen (Auftraege etc.) entgegennehmen.

Der Inhalt dieser Nachricht ist vertraulich und nur fuer den angegebenen Empfaenger bestimmt. Jede Form der Kenntnisnahme oder Weitergabe durch Dritte ist unzulaessig. Sollte diese Nachricht nicht fur Sie bestimmt sein, so bitten wir Sie, sich mit uns per E-Mail oder telefonisch in Verbindung zu setzen.

Please use your E-mail connection with us exclusively for the exchange of information. We do not accept legally binding declarations (orders, etc.) by this means of communication.

The contents of this message is confidential and intended only for the recipient indicated. Taking notice of this message or disclosure by third parties is not
permitted. In the event that this message is not intended for you, please contact us via E-mail or phone.