Skip to main content

Flink Jar

新建任务​

需补充如下信息：

  • 资源：基于原生Flink Java API编写的Jar包，需要用户提前上传（上传方式可参考资源管理）。
  • mainClass：用户jar包的入口函数。
  • 命令行参数：请输入对应MainClass的入口命令行参数，例如 String[] args。

add-flink-jar

title: Spark Jar

新建任务​

交互方式与新建Flink Jar任务类似,Spark任务需引用的资源包，需提前经「资源管理」上传至平台。一个任务只能引用一个资源包。 ，但还需补充如下信息：

  • 资源：基于Spark的MapReduce编程接口（Java API或Scala API），并打为Jar包，提前将资源包通过「资源管理」模块上传至平台，之后创建Spark任务时引用此资源。

  • mainClass：Jar包的入口类，格式为： org.apache.hadoop.examples 需填写完整类名

  • 命令行参数：请输入对应MainClass的入口命令行参数，例如 String[] args。

    离线开发底层集成的Spark版本为2.1，需按照此版本的Spark API编写代码Spark类型任务支持编写Java或Scala代码