spark监控目录并保存成文件

首页 » Spark » spark监控目录并保存成文件

spark监控目录的对象是程序运行起来后目录文件的添加,已有的文件进行修改保存这个是不被监控到的。

package spark;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.streaming.Durations;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.dstream.DStream;

public class 监控目录 {
public static void main(String[] args) {
 SparkConf conf = new SparkConf().setMaster("local").setAppName("监控目录");
 JavaStreamingContext jsc= new JavaStreamingContext(conf,Durations.seconds(5));
 JavaDStream<String> textFileStream=jsc.textFileStream("data");
 textFileStream.filter(new Function<String, Boolean>() {
  
  @Override
  public Boolean call(String data) throws Exception {
   // TODO Auto-generated method stub
   return data.startsWith("hello zha");//过滤
  }
 }).print(100);
 DStream<String> dstream = textFileStream.dstream();
 dstream.saveAsTextFiles("save/前缀", "后缀");
 jsc.start();
 jsc.awaitTermination();
 jsc.close();
}
}

 

spark监控目录并保存成文件
分享到:
赞(1) 打赏

评论 1

评论前必须登录!

 

  1. #1

    挺明白的

    靓仔4个月前 (05-26)

觉得文章有用就打赏一下弟弟吧

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.5主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
正在播放:

作者想对您说:

累了就停下来听首歌吧

听完后会给您一个好心情

最后

等到您不容易

还希望您能多待一会儿

      00:00/00:00