帮助与文档
大数据操作系统 > 用户操作指南 > 数据工厂 > 脚本开发功能
可开发shell、python、Hive、Spark、Spark-SQL、MR脚本，同时可在线调式脚本。如下图
图 脚本开发界面
图 自定义Spark脚本开发界面
自定义Spark相关参数说明：
字段 | 说明 |
程序类型 | 提供 “Scala” 、 “Java” 、“Python” 、 “R”四种程序类型 |
Spark程序 | Spark程序jar包在HDFS路径。 Spark程序jar包需提前在系统“文件管理”中上传。 |
Main函数 | Spark程序jar包中的Main函数所在类的全路径。 如：com.baifendian.WordCount |
Driver内核数 | Spark应用中Driver可以使用的内核数 |
Executor内核数 | Spark应用中每个Executor可以使用的内核数 |
Executor数量 | Spark应用中可以启动的Executor数量 |
Executor内存大小 | Spark应用中每个Executor可以使用的内存大小 |
程序参数 | 输入多个参数，参数之间以“,”隔开。 |
图 MR脚本开发界面
自定义MR相关参数说明：
字段 | 说明 |
程序类型 | 提供“Java” 、“Python”两种程序类型 |
MR程序 | MR程序jar包在HDFS路径。 MR程序jar包需提前在系统“文件管理”中上传。 |
Main函数 | MR程序jar包中的Main函数所在类的全路径。 如：com.baifendian.WordCount |
Map内存 | MR程序每个Map可以使用的内存大小 |
Reduce内存 | MR程序每个Reduce使用的内存大小 |
Reduce个数 | MR程序Reduce个数 |
程序参数 | 输入多个参数，参数之间以“,”隔开。 |
删除路径 | MR程序中需要创建的路径，多个路径以“，”号隔开，如果此路径已经存在，会在执行前删除此路径。 |