integration with a scheduler

[Serkan Taş]

Hi,

I am planning to integrate flink with our job scheduler product to execute
jobs - especially bathc like - on flink which may be the part of some
other DAG style job chain.

I need some control ablities like start, stop, suspend, get status...

Where shold i go through ?

--
Serkan Tas
Likya Bilgi Teknolojileri
ve Iletiþim Hiz. Ltd.
www.likyateknoloji.com
Tel : [phone]
Gsm : 0 542 242 00 92
Faks:  0 216 661 14 92

--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
yukarýda isimleri belirtilen kiþiler arasýnda özel haberleþme amacýný
taþýmaktadýr. Size yanlýþlýkla ulaþmýþsa bu elektonik postanýn içeriðini
açýklamanýz, kopyalamanýz, yönlendirmeniz ve kullanmanýz kesinlikle
yasaktýr. Lütfen mesajý geri gönderiniz ve sisteminizden siliniz. Likya
Bilgi Teknolojileri ve Ýletiþim Hiz. Ltd. Þti. bu mesajýn içeriði ile
ilgili olarak hiç bir hukuksal sorumluluðu kabul etmez.

This electonic mail and any files transmitted with it are intended for the
private use of  the persons named above. If you received this message in
error, forwarding, copying or use of any of the information is strictly
prohibited. Please immediately notify the sender and delete it from your
system. Likya Bilgi Teknolojileri ve Ýletiþim Hiz. Ltd. Þti. does not
accept legal responsibility for the contents of this message.
--------------------------------------


Bu e-postayý yazdýrmadan önce, çevreye olan sorumluluðunuzu tekrar düþünün.
Please consider your environmental responsibility before printing this
e-mail.

[rmetzger0]

Hi Serkan,

I would suggest to have a look at the "./bin/flink" tool. It allows you to start ("run") and stop ("cancel") batch and streaming jobs.

Flink doesn't support suspending jobs.

You can also use the JobManager web interface (default port: 8081) to get the status of the job and also to cancel it.

If you need programmatic access to the job status, have a look at the CliFrontend class. Its the class called by the "./bin/flink" tool. There, you can see how jobs are submitted and cancelled.

Regards,

Robert

2016-01-19 12:10 GMT+01:00 <[hidden email]>:

Hi,

I am planning to integrate flink with our job scheduler product to execute
jobs - especially bathc like - on flink which may be the part of some
other DAG style job chain.

I need some control ablities like start, stop, suspend, get status...

Where shold i go through ?

--
Serkan Tas
Likya Bilgi Teknolojileri
ve Iletişim Hiz. Ltd.
www.likyateknoloji.com
Tel : <a href="tel:0%20216%20471%2081%2055" value="[phone]">0 216 471 81 55
Gsm : <a href="tel:0%20542%20242%2000%2092" value="[phone]">0 542 242 00 92
Faks:  <a href="tel:0%20216%20661%2014%2092" value="[phone]">0 216 661 14 92

--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

This electonic mail and any files transmitted with it are intended for the
private use of  the persons named above. If you received this message in
error, forwarding, copying or use of any of the information is strictly
prohibited. Please immediately notify the sender and delete it from your
system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
accept legal responsibility for the contents of this message.
--------------------------------------

&#61520;
Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
Please consider your environmental responsibility before printing this
e-mail.

[Stephan Ewen]

If you want to programmatically start / stop / cancel jobs, have a look at the class 

"Client" (https://github.com/apache/flink/blob/master/flink-clients/src/main/java/org/apache/flink/client/program/Client.java)

From the classes RemoteEnvironment or the RemoteExecutor, you can see how to use it to send jobs and commands to a Flink cluster.

On Wed, Jan 20, 2016 at 3:03 PM, Robert Metzger <[hidden email]> wrote:

Hi Serkan,

I would suggest to have a look at the "./bin/flink" tool. It allows you to start ("run") and stop ("cancel") batch and streaming jobs.

Flink doesn't support suspending jobs.

You can also use the JobManager web interface (default port: 8081) to get the status of the job and also to cancel it.

If you need programmatic access to the job status, have a look at the CliFrontend class. Its the class called by the "./bin/flink" tool. There, you can see how jobs are submitted and cancelled.

Regards,

Robert

2016-01-19 12:10 GMT+01:00 <[hidden email]>:

Hi,

I am planning to integrate flink with our job scheduler product to execute
jobs - especially bathc like - on flink which may be the part of some
other DAG style job chain.

I need some control ablities like start, stop, suspend, get status...

Where shold i go through ?

--
Serkan Tas
Likya Bilgi Teknolojileri
ve Iletişim Hiz. Ltd.
www.likyateknoloji.com
Tel : <a href="tel:0%20216%20471%2081%2055" value="[phone]" target="_blank">0 216 471 81 55
Gsm : <a href="tel:0%20542%20242%2000%2092" value="[phone]" target="_blank">0 542 242 00 92
Faks:  <a href="tel:0%20216%20661%2014%2092" value="[phone]" target="_blank">0 216 661 14 92

--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

This electonic mail and any files transmitted with it are intended for the
private use of  the persons named above. If you received this message in
error, forwarding, copying or use of any of the information is strictly
prohibited. Please immediately notify the sender and delete it from your
system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
accept legal responsibility for the contents of this message.
--------------------------------------

&#61520;
Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
Please consider your environmental responsibility before printing this
e-mail.

[Serkan Taş]

Thank you very much Stephan and Robert.

As Robert offers, the most common way is to execute a batch script, but i want to go beyond.

i am going to work on both alternatives.

Best regards,

20 Oca 2016 tarihinde 22:53 saatinde, Stephan Ewen <[hidden email]> şunları yazdı:

If you want to programmatically start / stop / cancel jobs, have a look at the class 

"Client" (https://github.com/apache/flink/blob/master/flink-clients/src/main/java/org/apache/flink/client/program/Client.java)

From the classes RemoteEnvironment or the RemoteExecutor, you can see how to use it to send jobs and commands to a Flink cluster.

On Wed, Jan 20, 2016 at 3:03 PM, Robert Metzger <[hidden email]> wrote:

Hi Serkan,

I would suggest to have a look at the "./bin/flink" tool. It allows you to start ("run") and stop ("cancel") batch and streaming jobs.

Flink doesn't support suspending jobs.

You can also use the JobManager web interface (default port: 8081) to get the status of the job and also to cancel it.

If you need programmatic access to the job status, have a look at the CliFrontend class. Its the class called by the "./bin/flink" tool. There, you can see how jobs are submitted and cancelled.

Regards,

Robert

2016-01-19 12:10 GMT+01:00 <[hidden email]>:

Hi,

I am planning to integrate flink with our job scheduler product to execute
jobs - especially bathc like - on flink which may be the part of some
other DAG style job chain.

I need some control ablities like start, stop, suspend, get status...

Where shold i go through ?

--
Serkan Tas
Likya Bilgi Teknolojileri
ve Iletişim Hiz. Ltd.
www.likyateknoloji.com
Tel : <a href="tel:0%20216%20471%2081%2055" value="[phone]" target="_blank" class="">0 216 471 81 55
Gsm : <a href="tel:0%20542%20242%2000%2092" value="[phone]" target="_blank" class="">0 542 242 00 92
Faks:  <a href="tel:0%20216%20661%2014%2092" value="[phone]" target="_blank" class="">0 216 661 14 92

--------------------------------------
Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece
yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını
taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini
açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle
yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya
Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile
ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

This electonic mail and any files transmitted with it are intended for the
private use of  the persons named above. If you received this message in
error, forwarding, copying or use of any of the information is strictly
prohibited. Please immediately notify the sender and delete it from your
system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not
accept legal responsibility for the contents of this message.
--------------------------------------

&#61520;
Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.
Please consider your environmental responsibility before printing this
e-mail.

Serkan Taş

Mobil : [phone]

Likya Bilgi Teknolojileri

ve İletişim Hiz. Ltd. Şti.

www.likyateknoloji.com

 

--------------------------------------

Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

 

This electronic mail and any files transmitted with it are intended for the private use of  the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.

--------------------------------------

P

Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.

Please consider your environmental responsibility before printing this e-mail.