A => Option[B] => B 这个过程
scala的 aList.map(B(_)).filter(!_.isEmpty).map(_.get) 和 aList.flatMap(B(_)) 有什么差别? 在 spark rdd 以及 sparksql 同样的操作又有什么异同呢?
scala的 aList.map(B(_)).filter(!_.isEmpty).map(_.get) 和 aList.flatMap(B(_)) 有什么差别? 在 spark rdd 以及 sparksql 同样的操作又有什么异同呢?
--
- Scala
对Option而言,逻辑上flatMap就是map.filter.map的简写。
def flatMap[B](f: A => GenTraversableOnce[B]): Iterator[B] = new AbstractIterator[B] { private var cur: Iterator[B] = empty private def nextCur() { cur = f(self.next()).toIterator } def hasNext: Boolean = { // Equivalent to cur.hasNext || self.hasNext && { nextCur(); hasNext } // but slightly shorter bytecode (better JVM inlining!) while (!cur.hasNext) { if (!self.hasNext) return false nextCur() } true } def next(): B = (if (hasNext) cur else empty).next() }
def filter(p: A => Boolean): Iterator[A] = new AbstractIterator[A] { // TODO 2.12 - Make a full-fledged FilterImpl that will reverse sense of p private var hd: A = _ private var hdDefined: Boolean = false def hasNext: Boolean = hdDefined || { do { if (!self.hasNext) return false hd = self.next() } while (!p(hd)) hdDefined = true true } def next() = if (hasNext) { hdDefined = false; hd } else empty.next() }
def map[B](f: A => B): Iterator[B] = new AbstractIterator[B] { def hasNext = self.hasNext def next() = f(self.next()) }
- Spark RDD
和scala的类似,本身RDD的flatMap、map、filter的compute方法都是调用Scala集合类的对应方法。
- SparkSQL
用explain查看执行计划,不理解的话打断点(打日志)查看生成的java类。
- http://www.winseliu.com/blog/2016/10/12/sparksql-view-and-debug-generatecode/
- https://www.zhihu.com/question/51544925
相关推荐
spark-md5.min.js jsMD5计算
ApacheSpark设计与实现.pdf+ApacheSpark源码剖析.pdf+Spark原著中文版.pdf
在github上找到的资源,但是感觉不太方便,就单独拎出来一份 github地址:https://github.com/satazor/js-spark-md5
spark2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6
可用于大文件的哈希 (function (factory) { if (typeof exports === 'object') { // Node/CommonJS module.exports = factory(); } else if (typeof define === 'function' && define.amd) { ...
spark.md5.js用于计算文件的md5值,使用方式SparkMD5.ArrayBuffer.hash(ev.target.result);
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7 SHA下载
2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--...
hadoop,spark,hive.....
2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--...
spark课程设计作业:银行用户流式判断+垃圾邮件判断+电影推荐系统(三个spark实战项目).zipspark课程设计作业:银行用户流式判断+垃圾邮件判断+电影推荐系统(三个spark实战项目).zipspark课程设计作业:银行用户...
https://github.com/apache/hbase-connectors/tree/master/spark mvn -Dspark.version=2.4.4 -Dscala.version=2.11.7 -Dscala.binary.version=2.11 clean install
Spark常用算子总结,map、mapPartitions、mapPartitionsWithIndex,flatMap,filter ......
2021贺岁大数据入门spark3.0入门到精通资源简介...共课程包含9个章节:Spark环境搭建,SparkCore,SparkStreaming,SparkSQL,StructuredStreaming,Spark综合案例,Spark多语言开发,Spark3.0新特性,Spark性能调优 。
4.2.2. 在spark shell中编写WordCount程序 1.首先启动hdfs 2.向hdfs上传一个文件到hdfs://node1.itcast.cn:9000/words.txt 3.在spark shell中用scala语言编写spark程序 sc.textFile("hdfs://node1.itcast....
Spark SQL源码概览.zip Spark SQL源码概览.zip Spark SQL源码概览.zip Spark SQL源码概览.zipSpark SQL源码概览.zip
2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--...
2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--...
Spark.GraphX.in.Action.2016.6.pdf
2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战.pdf 3.Spark编程模型(下)--...