创建parquet文件读取parquet文件加载DataFrame

首页 » Spark » 创建parquet文件读取parquet文件加载DataFrame

parquet文件是一个压缩格式

package spark;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.SaveMode;

public class createparquet {
public static void main(String[] args) {
 SparkConf conf = new SparkConf();
 conf.setMaster("local").setAppName("parquet");
 JavaSparkContext sc = new JavaSparkContext(conf);
 SQLContext sqlcontext = new SQLContext(sc);
 JavaRDD<String>jsonrdd = sc.textFile("json");
 DataFrame df=sqlcontext.read().json(jsonrdd);
//	DataFrame dfsqlcontext.read().format("json").load("json");
 //保存成parquet文件
 df.write().mode(SaveMode.Overwrite).format("parquet").save("parquet");
//	df.write().mode(SaveMode.Overwrite).parquet("parquet");
 
 //读取parquet文件
 DataFrame load = sqlcontext.read().format("parquet").load("parquet");
//	load=sqlcontext.read().parquet("parquet");
 load.show();
 
 sc.stop();
}
}

 

分享到:
赞(0) 打赏

评论 5

评论前必须登录!

 

  1. #1

    还可以

    努力8个月前 (03-29)
  2. #2

    你哥8个月前 (03-29)
  3. #3

    我也是小白以后多多交流

    我也是渣渣8个月前 (03-29)
  4. #4

    挺明白的

    靓妹8个月前 (03-29)
  5. #5

    最好再详细点

    你哥8个月前 (03-29)

觉得文章有用就打赏一下弟弟吧

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.5主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
正在播放:

作者想对您说:

累了就停下来听首歌吧

听完后会给您一个好心情

最后

等到您不容易

还希望您能多待一会儿

      00:00/00:00