Spark方法創(chuàng)建RDD【大數(shù)據(jù)技術(shù)文章】

Spark可以通過(guò)并行集合創(chuàng)建RDD。即從一個(gè)已經(jīng)存在的集合、數(shù)組上，通過(guò)SparkContext對(duì)象調(diào)用parallelize()方法創(chuàng)建RDD。

若要?jiǎng)?chuàng)建RDD，則需要先創(chuàng)建一個(gè)數(shù)組，再通過(guò)執(zhí)行parallelize()方法實(shí)現(xiàn)，具體代碼如下：

 scala> val array=Array(1,2,3,4,5)  array: Array[Int]=Array(1,2,3,4,5)
  scala> val arrRDD=sc.parallelize(array)
   arrRDD: org.apache.spark.rdd.RDD[Int]=ParallelcollectionRDD[6] at parallelize
                                at <console>:26

執(zhí)行上述代碼后，從返回結(jié)果arrRDD的屬性中看出RDD創(chuàng)建完成。



猜你喜歡：

RDD如何分區(qū)，各種模式下的分區(qū)數(shù)目是怎樣的？

不同系統(tǒng)如何加載數(shù)據(jù)創(chuàng)建RDD？

RDD轉(zhuǎn)換算子API過(guò)程演示【大數(shù)據(jù)文章】    

Spark RDD是什么？RDD特征介紹

黑馬程序員大數(shù)據(jù)開(kāi)發(fā)培訓(xùn)班