Spark中foreach和foreachPartition的区别?

Spark中foreach和foreachPartition的区别?

[TOC]

相同

  • foreach 和 foreachPartition 都属于行为(action)算子

区别

  • 本质
    • foreach 每次处理的是 RDD 中的一条数据
    • foreachPartition 每次处理 RDD 中每个分区的迭代器在中的数据