mr调优

mr调优

mr程序调优,主要考虑的就是减少网络传输和减少磁盘IO操作 服务器调优主要包括服务器参数调优和jvm调优 hdfs调优1. dfs.datanode.failed.volumes.tolerated: 允许发生磁盘错误的磁盘数量,默认为0,表示不允许datanode发生磁盘异常。当挂载多个磁盘的时候,可以修改该值。2. dfs.replicat……

MR天气案例

MR天气案例

计算每月温度最高的两天。 一、客户端 package zhazhalong.mr.tq; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org……

MR统计单词个数

MR统计单词个数

对一组数据进行统计单词出现个数,总共20万行 map阶段 package hellozhazhalong; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.io.IntWritable; import org.apache……