parallelism parameter and output relation

[Serkan Taş]

I am working on this example http://www.itshared.org/2015/03/naive-bayes-on-apache-flink.html to learn get some more experience on platform.

Question is ;

By default, the output of process is double file (named 1 and 2) located in created folder. If i set parallelism to 1, FileNotFound exception is thrown.

I was expecting to get a single file instead, am i right ?

Serkan Taş

Mobil : [phone]

Likya Bilgi Teknolojileri

ve İletişim Hiz. Ltd. Şti.

www.likyateknoloji.com

 

--------------------------------------

Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

 

This electronic mail and any files transmitted with it are intended for the private use of  the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.

--------------------------------------

P

Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.

Please consider your environmental responsibility before printing this e-mail.

 

[rmetzger0]

Hi Serkan,

yes, with parallelism=1, you'll get one file, with everything higher, Flink is creating a directory with a file for each parallel instance.

In your case, Flink can not create (or write to) the file because there is already a directory with the same name. Can you delete the directory and see if writing to the file works afterwards?

Regards,

Robert

2016-01-20 12:53 GMT+01:00 Serkan Taş <[hidden email]>:

I am working on this example http://www.itshared.org/2015/03/naive-bayes-on-apache-flink.html to learn get some more experience on platform.

Question is ;

By default, the output of process is double file (named 1 and 2) located in created folder. If i set parallelism to 1, FileNotFound exception is thrown.

I was expecting to get a single file instead, am i right ?

Serkan Taş

Mobil : <a href="tel:%2B90%20532%20250%2007%2071" value="[phone]" target="_blank">[phone]

Likya Bilgi Teknolojileri

ve İletişim Hiz. Ltd. Şti.

www.likyateknoloji.com

 

--------------------------------------

Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

 

This electronic mail and any files transmitted with it are intended for the private use of  the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.

--------------------------------------

P

Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.

Please consider your environmental responsibility before printing this e-mail.

 

[Serkan Taş]

Hi Robert,

I found the the real reason for the case. Sorry but missed that the example project was using 0.8.1.

It is resolved after replacing with 0.10.1.

20 Oca 2016 tarihinde 16:40 saatinde, Robert Metzger <[hidden email]> şunları yazdı:

Hi Serkan,

yes, with parallelism=1, you'll get one file, with everything higher, Flink is creating a directory with a file for each parallel instance.

In your case, Flink can not create (or write to) the file because there is already a directory with the same name. Can you delete the directory and see if writing to the file works afterwards?

Regards,

Robert

2016-01-20 12:53 GMT+01:00 Serkan Taş <[hidden email]>:

I am working on this example http://www.itshared.org/2015/03/naive-bayes-on-apache-flink.html to learn get some more experience on platform.

Question is ;

By default, the output of process is double file (named 1 and 2) located in created folder. If i set parallelism to 1, FileNotFound exception is thrown.

I was expecting to get a single file instead, am i right ?

Serkan Taş

Mobil : <a href="tel:%2B90%20532%20250%2007%2071" value="[phone]" target="_blank" class="">[phone]

Likya Bilgi Teknolojileri

ve İletişim Hiz. Ltd. Şti.

www.likyateknoloji.com

 

--------------------------------------

Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

 

This electronic mail and any files transmitted with it are intended for the private use of  the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.

--------------------------------------

<image001.jpg>

P

Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.

Please consider your environmental responsibility before printing this e-mail.

 

Serkan Taş

Mobil : [phone]

Likya Bilgi Teknolojileri

ve İletişim Hiz. Ltd. Şti.

www.likyateknoloji.com

 

--------------------------------------

Bu elektronik posta ve onunla iletilen bütün dosyalar gizlidir. Sadece yukarıda isimleri belirtilen kişiler arasında özel haberleşme amacını taşımaktadır. Size yanlışlıkla ulaşmışsa bu elektonik postanın içeriğini açıklamanız, kopyalamanız, yönlendirmeniz ve kullanmanız kesinlikle yasaktır. Lütfen mesajı geri gönderiniz ve sisteminizden siliniz. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. bu mesajın içeriği ile ilgili olarak hiç bir hukuksal sorumluluğu kabul etmez.

 

This electronic mail and any files transmitted with it are intended for the private use of  the persons named above. If you received this message in error, forwarding, copying or use of any of the information is strictly prohibited. Please immediately notify the sender and delete it from your system. Likya Bilgi Teknolojileri ve İletişim Hiz. Ltd. Şti. does not accept legal responsibility for the contents of this message.

--------------------------------------

P

Bu e-postayı yazdırmadan önce, çevreye olan sorumluluğunuzu tekrar düşünün.

Please consider your environmental responsibility before printing this e-mail.