脚本开发功能

脚本开发功能
文档首页 / 脚本开发功能

脚本开发功能

更新时间:2018-01-22


可开发shell、python、Hive、Spark、Spark-SQL、MR脚本,同时可在线调式脚本。如下图

图 脚本开发界面.png

图 脚本开发界面


图 自定义Spark脚本开发界面.png

图 自定义Spark脚本开发界面


自定义Spark相关参数说明:

字段

说明

程序类型

提供 “Scala” 、 “Java” 、“Python” 、 “R”四种程序类型

Spark程序

Spark程序jar包在HDFS路径。

Spark程序jar包需提前在系统“文件管理”中上传。

Main函数

Spark程序jar包中的Main函数所在类的全路径。

如:com.baifendian.WordCount

Driver内核数

Spark应用中Driver可以使用的内核数

Executor内核数

Spark应用中每个Executor可以使用的内核数

Executor数量

Spark应用中可以启动的Executor数量

Executor内存大小

Spark应用中每个Executor可以使用的内存大小

程序参数

输入多个参数,参数之间以“,”隔开。

 

图 MR脚本开发界面.png

图 MR脚本开发界面


自定义MR相关参数说明:

字段

说明

程序类型

提供“Java” 、“Python”两种程序类型

MR程序

MR程序jar包在HDFS路径。

MR程序jar包需提前在系统“文件管理”中上传。

Main函数

MR程序jar包中的Main函数所在类的全路径。

如:com.baifendian.WordCount

Map内存

MR程序每个Map可以使用的内存大小

Reduce内存

MR程序每个Reduce使用的内存大小

Reduce个数

MR程序Reduce个数

程序参数

输入多个参数,参数之间以“,”隔开。

删除路径

MR程序中需要创建的路径,多个路径以“,”号隔开,如果此路径已经存在,会在执行前删除此路径。


立即咨询

请填写以下信息,我们将安排相关团队与您联系。

提交咨询
%{tishi_zhanwei}%