Wrong endpoints to cancel a job

[Dongwon Kim-2]

Hi,

1.5.0 needs to update its web page for rest APIs.

I'm testing YARN dispatcher and had difficulty canceling jobs today.

I've been sending DELETE requests to dispatcher according to https://ci.apache.org/projects/flink/flink-docs-master/monitoring/rest_api.html#cancel-job but I've got only 404 errors for all day long.

I finally print all end points with their handlers by setting log level to DEBUG and it turns out that I have to GET /jobs/:jobid/yarn-cancel to cancel a job.

Below is what I summarize based on DEBUG messages of dispatcher.

Method   Endpoint                                                                                 Handler

GET      /blobserver/port                                                                         o.a.f.runtime.rest.handler.job.BlobServerPortHandler

GET      /config                                                                                  o.a.f.runtime.rest.handler.cluster.DashboardConfigHandler

GET      /jars                                                                                    o.a.f.runtime.webmonitor.handlers.JarListHandler

POST     /jars/upload                                                                             o.a.f.runtime.webmonitor.handlers.JarUploadHandler

DELETE   /jars/:jarid                                                                             o.a.f.runtime.webmonitor.handlers.JarDeleteHandler

GET      /jars/:jarid/plan                                                                        o.a.f.runtime.webmonitor.handlers.JarPlanHandler

POST     /jars/:jarid/run                                                                         o.a.f.runtime.webmonitor.handlers.JarRunHandler

GET      /jobmanager/config                                                                       o.a.f.runtime.rest.handler.cluster.ClusterConfigHandler

GET      /jobmanager/log                                                                          o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

GET      /jobmanager/metrics                                                                      o.a.f.runtime.rest.handler.job.metrics.JobManagerMetricsHandler

GET      /jobmanager/stdout                                                                       o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

GET      /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobIdsHandler

POST     /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobSubmitHandler

GET      /jobs/metrics                                                                            o.a.f.runtime.rest.handler.job.metrics.AggregatingJobsMetricsHandler

GET      /jobs/overview                                                                           o.a.f.runtime.rest.handler.job.JobsOverviewHandler

GET      /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobDetailsHandler

PATCH    /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobTerminationHandler

GET      /jobs/:jobid/accumulators                                                                o.a.f.runtime.rest.handler.job.JobAccumulatorsHandler

GET      /jobs/:jobid/checkpoints                                                                 o.a.f.runtime.rest.handler.job.checkpoints.CheckpointingStatisticsHandler

GET      /jobs/:jobid/checkpoints/config                                                          o.a.f.runtime.rest.handler.job.checkpoints.CheckpointConfigHandler

GET      /jobs/:jobid/checkpoints/details/:checkpointid/subtasks/:vertexid                        o.a.f.runtime.rest.handler.job.checkpoints.TaskCheckpointStatisticDetailsHandler

GET      /jobs/:jobid/checkpoints/:checkpointid                                                   o.a.f.runtime.rest.handler.job.checkpoints.CheckpointStatisticDetailsHandler

GET      /jobs/:jobid/config                                                                      o.a.f.runtime.rest.handler.job.JobConfigHandler

GET      /jobs/:jobid/exceptions                                                                  o.a.f.runtime.rest.handler.job.JobExceptionsHandler

GET      /jobs/:jobid/execution-result                                                            o.a.f.runtime.rest.handler.job.JobExecutionResultHandler

GET      /jobs/:jobid/metrics                                                                     o.a.f.runtime.rest.handler.job.metrics.JobMetricsHandler

GET      /jobs/:jobid/plan                                                                        o.a.f.runtime.rest.handler.job.JobPlanHandler

PATCH    /jobs/:jobid/rescaling                                                                   o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingTriggerHandler

GET      /jobs/:jobid/rescaling/:triggerid                                                        o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingStatusHandler

POST     /jobs/:jobid/savepoints                                                                  o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointTriggerHandler

GET      /jobs/:jobid/savepoints/:triggerid                                                       o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointStatusHandler

GET      /jobs/:jobid/vertices/:vertexid                                                          o.a.f.runtime.rest.handler.job.JobVertexDetailsHandler

GET      /jobs/:jobid/vertices/:vertexid/accumulators                                             o.a.f.runtime.rest.handler.job.JobVertexAccumulatorsHandler

GET      /jobs/:jobid/vertices/:vertexid/backpressure                                             o.a.f.runtime.rest.handler.job.JobVertexBackPressureHandler

GET      /jobs/:jobid/vertices/:vertexid/metrics                                                  o.a.f.runtime.rest.handler.job.metrics.JobVertexMetricsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/metrics                                         o.a.f.runtime.rest.handler.job.metrics.AggregatingSubtasksMetricsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex                                   o.a.f.runtime.rest.handler.job.SubtaskCurrentAttemptDetailsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt                 o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptDetailsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt/accumulators    o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptAccumulatorsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/metrics                           o.a.f.runtime.rest.handler.job.metrics.SubtaskMetricsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasktimes                                             o.a.f.runtime.rest.handler.job.SubtasksTimesHandler

GET      /jobs/:jobid/vertices/:vertexid/taskmanagers                                             o.a.f.runtime.rest.handler.job.JobVertexTaskManagersHandler

GET      /jobs/:jobid/yarn-cancel                                                                 o.a.f.runtime.rest.handler.job.JobTerminationHandler

GET      /jobs/:jobid/yarn-stop                                                                   o.a.f.runtime.rest.handler.job.JobTerminationHandler

GET      /overview                                                                                o.a.f.runtime.rest.handler.cluster.ClusterOverviewHandler

POST     /savepoint-disposal                                                                      o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalTriggerHandler

GET      /savepoint-disposal/:triggerid                                                           o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalStatusHandler

GET      /taskmanagers                                                                            o.a.f.runtime.rest.handler.taskmanager.TaskManagersHandler

GET      /taskmanagers/metrics                                                                    o.a.f.runtime.rest.handler.job.metrics.AggregatingTaskManagersMetricsHandler

GET      /taskmanagers/:taskmanagerid                                                             o.a.f.runtime.rest.handler.taskmanager.TaskManagerDetailsHandler

GET      /taskmanagers/:taskmanagerid/log                                                         o.a.f.runtime.rest.handler.taskmanager.TaskManagerLogFileHandler

GET      /taskmanagers/:taskmanagerid/metrics                                                     o.a.f.runtime.rest.handler.job.metrics.TaskManagerMetricsHandler

GET      /taskmanagers/:taskmanagerid/stdout                                                      o.a.f.runtime.rest.handler.taskmanager.TaskManagerStdoutFileHandler

GET      /:*                                                                                      o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

Best,

- Dongwon

[Timo Walther]

Hi Dongwon,

please send such mails to the dev@ instead of the user@ as Flink 1.5.0 is not released yet. As far as I know the documentation around deployment and FLIP-6 has not been updated yet.

But thank you for letting us know!

Regards,
Timo

Am 25.04.18 um 11:03 schrieb Dongwon Kim:

Hi,

1.5.0 needs to update its web page for rest APIs.

I'm testing YARN dispatcher and had difficulty canceling jobs today.

I've been sending DELETE requests to dispatcher according to https://ci.apache.org/projects/flink/flink-docs-master/monitoring/rest_api.html#cancel-job but I've got only 404 errors for all day long.

I finally print all end points with their handlers by setting log level to DEBUG and it turns out that I have to GET /jobs/:jobid/yarn-cancel to cancel a job.

Below is what I summarize based on DEBUG messages of dispatcher.

Method   Endpoint                                                                                 Handler

GET      /blobserver/port                                                                         o.a.f.runtime.rest.handler.job.BlobServerPortHandler

GET      /config                                                                                  o.a.f.runtime.rest.handler.cluster.DashboardConfigHandler

GET      /jars                                                                                    o.a.f.runtime.webmonitor.handlers.JarListHandler

POST     /jars/upload                                                                             o.a.f.runtime.webmonitor.handlers.JarUploadHandler

DELETE   /jars/:jarid                                                                             o.a.f.runtime.webmonitor.handlers.JarDeleteHandler

GET      /jars/:jarid/plan                                                                        o.a.f.runtime.webmonitor.handlers.JarPlanHandler

POST     /jars/:jarid/run                                                                         o.a.f.runtime.webmonitor.handlers.JarRunHandler

GET      /jobmanager/config                                                                       o.a.f.runtime.rest.handler.cluster.ClusterConfigHandler

GET      /jobmanager/log                                                                          o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

GET      /jobmanager/metrics                                                                      o.a.f.runtime.rest.handler.job.metrics.JobManagerMetricsHandler

GET      /jobmanager/stdout                                                                       o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

GET      /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobIdsHandler

POST     /jobs                                                                                    o.a.f.runtime.rest.handler.job.JobSubmitHandler

GET      /jobs/metrics                                                                            o.a.f.runtime.rest.handler.job.metrics.AggregatingJobsMetricsHandler

GET      /jobs/overview                                                                           o.a.f.runtime.rest.handler.job.JobsOverviewHandler

GET      /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobDetailsHandler

PATCH    /jobs/:jobid                                                                             o.a.f.runtime.rest.handler.job.JobTerminationHandler

GET      /jobs/:jobid/accumulators                                                                o.a.f.runtime.rest.handler.job.JobAccumulatorsHandler

GET      /jobs/:jobid/checkpoints                                                                 o.a.f.runtime.rest.handler.job.checkpoints.CheckpointingStatisticsHandler

GET      /jobs/:jobid/checkpoints/config                                                          o.a.f.runtime.rest.handler.job.checkpoints.CheckpointConfigHandler

GET      /jobs/:jobid/checkpoints/details/:checkpointid/subtasks/:vertexid                        o.a.f.runtime.rest.handler.job.checkpoints.TaskCheckpointStatisticDetailsHandler

GET      /jobs/:jobid/checkpoints/:checkpointid                                                   o.a.f.runtime.rest.handler.job.checkpoints.CheckpointStatisticDetailsHandler

GET      /jobs/:jobid/config                                                                      o.a.f.runtime.rest.handler.job.JobConfigHandler

GET      /jobs/:jobid/exceptions                                                                  o.a.f.runtime.rest.handler.job.JobExceptionsHandler

GET      /jobs/:jobid/execution-result                                                            o.a.f.runtime.rest.handler.job.JobExecutionResultHandler

GET      /jobs/:jobid/metrics                                                                     o.a.f.runtime.rest.handler.job.metrics.JobMetricsHandler

GET      /jobs/:jobid/plan                                                                        o.a.f.runtime.rest.handler.job.JobPlanHandler

PATCH    /jobs/:jobid/rescaling                                                                   o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingTriggerHandler

GET      /jobs/:jobid/rescaling/:triggerid                                                        o.a.f.runtime.rest.handler.job.rescaling.RescalingHandlers$RescalingStatusHandler

POST     /jobs/:jobid/savepoints                                                                  o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointTriggerHandler

GET      /jobs/:jobid/savepoints/:triggerid                                                       o.a.f.runtime.rest.handler.job.savepoints.SavepointHandlers$SavepointStatusHandler

GET      /jobs/:jobid/vertices/:vertexid                                                          o.a.f.runtime.rest.handler.job.JobVertexDetailsHandler

GET      /jobs/:jobid/vertices/:vertexid/accumulators                                             o.a.f.runtime.rest.handler.job.JobVertexAccumulatorsHandler

GET      /jobs/:jobid/vertices/:vertexid/backpressure                                             o.a.f.runtime.rest.handler.job.JobVertexBackPressureHandler

GET      /jobs/:jobid/vertices/:vertexid/metrics                                                  o.a.f.runtime.rest.handler.job.metrics.JobVertexMetricsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/metrics                                         o.a.f.runtime.rest.handler.job.metrics.AggregatingSubtasksMetricsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex                                   o.a.f.runtime.rest.handler.job.SubtaskCurrentAttemptDetailsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt                 o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptDetailsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/attempts/:attempt/accumulators    o.a.f.runtime.rest.handler.job.SubtaskExecutionAttemptAccumulatorsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasks/:subtaskindex/metrics                           o.a.f.runtime.rest.handler.job.metrics.SubtaskMetricsHandler

GET      /jobs/:jobid/vertices/:vertexid/subtasktimes                                             o.a.f.runtime.rest.handler.job.SubtasksTimesHandler

GET      /jobs/:jobid/vertices/:vertexid/taskmanagers                                             o.a.f.runtime.rest.handler.job.JobVertexTaskManagersHandler

GET      /jobs/:jobid/yarn-cancel                                                                 o.a.f.runtime.rest.handler.job.JobTerminationHandler

GET      /jobs/:jobid/yarn-stop                                                                   o.a.f.runtime.rest.handler.job.JobTerminationHandler

GET      /overview                                                                                o.a.f.runtime.rest.handler.cluster.ClusterOverviewHandler

POST     /savepoint-disposal                                                                      o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalTriggerHandler

GET      /savepoint-disposal/:triggerid                                                           o.a.f.runtime.rest.handler.job.savepoints.SavepointDisposalHandlers$SavepointDisposalStatusHandler

GET      /taskmanagers                                                                            o.a.f.runtime.rest.handler.taskmanager.TaskManagersHandler

GET      /taskmanagers/metrics                                                                    o.a.f.runtime.rest.handler.job.metrics.AggregatingTaskManagersMetricsHandler

GET      /taskmanagers/:taskmanagerid                                                             o.a.f.runtime.rest.handler.taskmanager.TaskManagerDetailsHandler

GET      /taskmanagers/:taskmanagerid/log                                                         o.a.f.runtime.rest.handler.taskmanager.TaskManagerLogFileHandler

GET      /taskmanagers/:taskmanagerid/metrics                                                     o.a.f.runtime.rest.handler.job.metrics.TaskManagerMetricsHandler

GET      /taskmanagers/:taskmanagerid/stdout                                                      o.a.f.runtime.rest.handler.taskmanager.TaskManagerStdoutFileHandler

GET      /:*                                                                                      o.a.f.runtime.rest.handler.legacy.files.StaticFileServerHandler

Best,

- Dongwon