咨询电话
400-6240-800
GEO业务专线
400-6298-600
商务邮箱
business@percent.cn
更多联系方式 > >
logo
  • 首页
  • 产品
    arrow
    数据智能引擎
    • 百思数据治理大模型
    • 百思数据治理平台
    • 大数据操作系统
    • 资源服务系统
    • 主数据管理系统
    • 指标管理系统
    • 百思智能应用
    行业智能应用
    • 智能安全分析系统
    • 智慧应急决策系统
    • 舆情洞察系统(Mediaforce)
    • AI搜索洞察系统(Generforce)
    • AI境界
  • 行业服务
    arrow
    智慧政务
    • 数字城市
    • 应急管理
    • 智慧公安
    • 生态环境
    • 数字营商
    • 智慧统计
    数字产业
    • 央国企数字化
    • 零售快消
    • 汽车制造
    • 医药健康
    • 地产行业
    • 媒体报业
  • 案例
  • 生态合作
  • 关于我们
    arrow
    • 公司介绍
    • 新闻动态
    • 加入我们
    • 联系我们
    • 资源中心
  • EN
  • 产品 toggletoggle
    百思数据治理大模型
    百思数据治理平台
    大数据操作系统
    资源服务系统
    主数据管理系统
    指标管理系统
    百思智能应用
    智能安全分析系统
    智慧应急决策系统
    舆情洞察系统
    AI搜索洞察系统
  • 行业服务toggletoggle
    数字城市
    应急管理
    智慧公安
    生态环境
    数字营商
    智慧统计
    央国企数字化
    零售快消
    汽车制造
    医药健康
    地产行业
    媒体报业
  • 案例toggletoggle
    智慧政务
    数字产业
  • 生态合作
  • 关于我们toggletoggle
    公司介绍
    新闻动态
    加入我们
    联系我们
    资源中心
phone咨询电话
400-6240-800
phoneGEO业务专线
400-6298-600
关注我们
关注我们
©2026 百分点科技集团股份有限公司 保留所有权利
京ICP备09109727号-15
京公网安备11010802036555号
法律声明
隐私政策
帮助文档
  • 百思数据治理平台


    可开发shell、python、Hive、Spark、Spark-SQL、MR脚本,同时可在线调式脚本。如下图

    图 脚本开发界面.png

    图 脚本开发界面


    图 自定义Spark脚本开发界面.png

    图 自定义Spark脚本开发界面


    自定义Spark相关参数说明:

    字段

    说明

    程序类型

    提供 “Scala” 、 “Java” 、“Python” 、 “R”四种程序类型

    Spark程序

    Spark程序jar包在HDFS路径。

    Spark程序jar包需提前在系统“文件管理”中上传。

    Main函数

    Spark程序jar包中的Main函数所在类的全路径。

    如:com.baifendian.WordCount

    Driver内核数

    Spark应用中Driver可以使用的内核数

    Executor内核数

    Spark应用中每个Executor可以使用的内核数

    Executor数量

    Spark应用中可以启动的Executor数量

    Executor内存大小

    Spark应用中每个Executor可以使用的内存大小

    程序参数

    输入多个参数,参数之间以“,”隔开。

     

    图 MR脚本开发界面.png

    图 MR脚本开发界面


    自定义MR相关参数说明:

    字段

    说明

    程序类型

    提供“Java” 、“Python”两种程序类型

    MR程序

    MR程序jar包在HDFS路径。

    MR程序jar包需提前在系统“文件管理”中上传。

    Main函数

    MR程序jar包中的Main函数所在类的全路径。

    如:com.baifendian.WordCount

    Map内存

    MR程序每个Map可以使用的内存大小

    Reduce内存

    MR程序每个Reduce使用的内存大小

    Reduce个数

    MR程序Reduce个数

    程序参数

    输入多个参数,参数之间以“,”隔开。

    删除路径

    MR程序中需要创建的路径,多个路径以“,”号隔开,如果此路径已经存在,会在执行前删除此路径。