网站建设资讯

NEWS

网站建设资讯

Spark实践-客户端使用spark-submit提交-创新互联

一、客户端提交spark应用程序

创新互联公司是一家专注于做网站、网站制作与策划设计,玉龙网站建设哪家好?创新互联公司做网站,专注于网站建设10多年,网设计领域的专业建站公司;建站业务涵盖:玉龙等地区。玉龙做网站价格咨询:13518219792

是指在spark集群之外的机器,提交spark应用程序到spark集群运行。

二、spark-submit提交程序语法

使用spark-submit工具提交Spark应用程序的语法:

./bin/spark-submit \

--class \

--master \

--deploy-mode \

--conf = \

... # other options

\

[application-arguments]

--class 应用程序的入口类名;

--master spark 集群的url;

--deploy-mode 部署方式;

--conf 应用程序的sparkContext配置选项;

--application-jar 外部依赖;

--application-arguments 应用程序参数; 

三、在客户端使用spark-submit提交spark应用程序时需要注意的事项

1)、客户端机器与spark集群必须互相知道,即相互ping得通;

2)、如果应用程序中用到了本地文件,那么集群中的worker机器都必须有该文件,否则会报找不到文件;

3)、windows客户端,如果应用程序中用到本地文件,那么无法提交到linux环境下的spark集群;

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章标题:Spark实践-客户端使用spark-submit提交-创新互联
网页链接:http://njwzjz.com/article/jggde.html