本篇文章主要介绍了" Spark-学习笔记--12 宽依赖与窄依赖",主要涉及到方面的内容,对于其他编程教程感兴趣的同学可以参考一下:
宽依赖与窄依赖窄依赖: 是指父RDD的每个分区只被子RDD的一个分区所使用, 子RDD分区通常对应常...
宽依赖与窄依赖
窄依赖:
是指父RDD的每个分区只被子RDD的一个分区所使用,
子RDD分区通常对应常数个父RDD分区(O(1),与数据规模无关)
宽依赖: 是指父RDD的每个分区都可能被多个子RDD分区所使用,
子RDD分区通常对应所有的父RDD分区(O(n),与数据规模有关)

以上就介绍了 Spark-学习笔记--12 宽依赖与窄依赖,包括了方面的内容,希望对其他编程教程有兴趣的朋友有所帮助。
本文网址链接:http://www.codes51.com/article/detail_4596259.html