Spark的join的优化经验

Spark的join的优化经验[TOC] 经验之谈​ Spark作为分布式的计算框架，最为影响其执行效率的地方就是频繁的网络传输。所以一般的，在不存在数据倾斜的情况下，想要更好的提高 Spark Job 的执行效率，就尽量的减少 job 的 shuffle 的过程（减少 job 的 stage），或者减小shuffle带来的影响 尽量减少参与 join 的 RDD 的数据量 尽量避

Spark提交任务的整个流程详解

SparkRDD的持久化机制详解

SparkRDD的持久化机制详解[TOC] RDD 持久化​ Spark 中最重要的功能之一是跨操作 持久（或缓存）内存中的数据集。当你持久化一个 RDD 时，每个节点都会存储它在内存中计算的任何分区，并在该数据集（或从它派生的数据集）的其他操作中重用它们。这使得未来的动作可以更快（通常超过 10 倍）。缓存是迭代算法和快速交互使用的关键工具。 ​ 您可以使用 pers

Spark血统的详解

Spark中coalesce与repartition的区别？

Spark中coalesce与repartition的区别？[TOC] 相同 二者都是对 RDD 的分区进行重新划分 区别 shuffle操作 repartition(numPartitions:Int):RDD[T] repartition 只是 coalesce 接口中 shuffle 为 ture 的实现，故产生 shuffle 操作 **coalesce(numPartitions

Spark中groupByKey，reduceByKey和combineByKey的区别？

Spark中groupByKey，reduceByKey和combineByKey的区别？[TOC] 相同 三者都是涉及到聚合操作，故都为宽依赖算子，都会产生 shuffle 操作 区别 groupByKey 用于对每个 Key 进行操作，将结果生成一个 sequence groupByKey 本身不能自定义函数 会将所有的键值对进行移动，不会进行局部的 merge 会导致集群节点之间的开销很大

Spark中foreach和foreachPartition的区别？

Spark中foreach和foreachPartition的区别？[TOC] 相同 foreach 和 foreachPartition 都属于行为（action）算子 区别 本质 foreach 每次处理的是 RDD 中的一条数据 foreachPartition 每次处理 RDD 中每个分区的迭代器在中的数据

Spark中map和mapPartitions的区别？

Spark中map和mapPartitions的区别？[TOC] 相同点 二者都是 转换（Transformation）算子 区别 本质 map是对 RDD 中的每一个元素进行操作 mapPartitions 则是对 RDD 中的每个分区的迭代器进行操作 RDD中的每个分区数据量不大的情况 map 操作性能低下。eg：一个partition中有1万条数据，那么在分析每个分区时，functio

Spark中foreach和map的区别？

Spark中foreach和map的区别？[TOC] 相同 都用于遍历集合对象，并对每一项执行指定的方法 区别 算子类别 foreach 是行为算子，产生shuffle 操作，消耗大 map 是转换算子，消耗小，运行快 返回值 foreach 无返回值（准确说法是返回 void） map 返回集合对象 用法 foreach 用于遍历集合 map 用于映射（转换）集合到另一个集合 处理

Spark中reduceByKey和groupByKey的区别和用法？​ reduceByKey 用于对每个 Key 对应的多个 Value 进行 merge 操作，最重要的是它能够在本地先进行 merge 操作，并且 merge 操作阔以通过函数自定义； ​ groupByKey 也是对每个 key 对应的多个 value 进行操作，但是只是汇总生成一个 sequen