更新時(shí)間:2021-03-23 來源:黑馬程序員 瀏覽量:
Spark可以通過并行集合創(chuàng)建RDD。即從一個(gè)已經(jīng)存在的集合、數(shù)組上,通過SparkContext對(duì)象調(diào)用parallelize()方法創(chuàng)建RDD。
若要?jiǎng)?chuàng)建RDD,則需要先創(chuàng)建一個(gè)數(shù)組,再通過執(zhí)行parallelize()方法實(shí)現(xiàn),具體代碼如下:
scala> val array=Array(1,2,3,4,5) array: Array[Int]=Array(1,2,3,4,5) scala> val arrRDD=sc.parallelize(array) arrRDD: org.apache.spark.rdd.RDD[Int]=ParallelcollectionRDD[6] at parallelize at <console>:26
執(zhí)行上述代碼后,從返回結(jié)果arrRDD的屬性中看出RDD創(chuàng)建完成。
猜你喜歡:
RDD如何分區(qū),各種模式下的分區(qū)數(shù)目是怎樣的?
不同系統(tǒng)如何加載數(shù)據(jù)創(chuàng)建RDD?