网站建设资讯

NEWS

网站建设资讯

怎么解决算子函数返回NULL导致问题

今天就跟大家聊聊有关怎么解决算子函数返回NULL导致问题,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

成都创新互联公司-专业网站定制、快速模板网站建设、高性价比莲池网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式莲池网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖莲池地区。费用合理售后完善,十载实体公司更值得信赖。

在算子函数中,返回null

return actionRDD.mapToPair(new PairFunction() {

    private static final long serialVersionUID = 1L;
            
    @Override
    public Tuple2 call(Row row) throws Exception {
        return new Tuple2("-999", RowFactory.createRow("-999"));  
    }
            
});

大家可以看到,在有些算子函数里面,是需要我们有一个返回值的。但是,有时候,我们可能对某些值,
就是不想有什么返回值。我们如果直接返回NULL的话,会报错的!!!

Scala.Math(NULL),异常

如果碰到你的确是对于某些值,不想要有返回值的话,有一个解决的办法:

  1. 在返回的时候,返回一些特殊的值,不要返回null,比如“-999”

  2. 在通过算子获取到了一个RDD之后,可以对这个RDD执行filter操作,进行数据过滤。filter内,可以对数据进行判定,如果是-999,那么就返回false,给过滤掉就可以了。

  3. 大家不要忘了,之前咱们讲过的那个算子调优里面的coalesce算子,在filter之后,可以使用coalesce算子压缩一下RDD的partition的数量,让各个partition的数据比较紧凑一些。也能提升一些性能。

看完上述内容,你们对怎么解决算子函数返回NULL导致问题有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


网站标题:怎么解决算子函数返回NULL导致问题
链接URL:http://njwzjz.com/article/jposis.html