持久化算子

首页 » Spark » 持久化算子
package wordcount
import org.apache.spark.SparkConf
/*持久化算子(单位是partition)
 * cache()默认将RDD中的数据存在内存中,懒执行算子
 * 
 * 
 *persist() 可以手动的指定持久化级别,懒执行
 * 
 * 
 * checkpoint
 */
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.storage.StorageLevel

object wordfcount {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local").setAppName("count")
    val sc=new SparkContext(conf)
    
    
    sc.setCheckpointDir("./checkpoint")//checkpoint保存路径
    val lines:RDD[String]=sc.textFile("./words")
    lines.checkpoint()
    
//    lines.cache()
    
    //lines.persist(StorageLevel.MEMORY_ONLY)//级别
    
    val result1=lines.count();//触发cache()持久化算子
    //result1来源于磁盘
    
    val result2=lines.count();
    //result2已经来源于了内存

    sc.stop()
  }

}
分享到:
赞(0) 打赏

评论 8

评论前必须登录!

 

  1. #1

    给你点赞

    靓妹8个月前 (03-27)
  2. #2

    给你点赞

    笨鸟先飞8个月前 (03-27)
  3. #3

    挺明白的

    小蚯蚓8个月前 (03-27)
  4. #4

    我也是学计算机的

    小蚯蚓8个月前 (03-27)
  5. #5

    奥利给

    我也是渣渣8个月前 (03-28)
  6. #6

    给你点赞

    沥青6个月前 (05-26)
  7. #7

    不错

    小白6个月前 (05-26)
  8. #8

    我加你了哦

    小蚯蚓6个月前 (05-26)

觉得文章有用就打赏一下弟弟吧

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.5主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
正在播放:

作者想对您说:

累了就停下来听首歌吧

听完后会给您一个好心情

最后

等到您不容易

还希望您能多待一会儿

      00:00/00:00