mr调优

mr调优

mr程序调优,主要考虑的就是减少网络传输和减少磁盘IO操作服务器调优主要包括服务器参数调优和jvm调优hdfs调优1. dfs.datanode.failed.volumes.tolerated: 允许发生磁盘错误的磁盘数量,默认为0,表示不允许datanode发生磁盘异常。当挂载多个磁盘的时候,可以修改该值。2. dfs.replicat……

MR天气案例

MR天气案例

计算每月温度最高的两天。一、客户端package zhazhalong.mr.tq;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org……

MR统计单词个数

MR统计单词个数

对一组数据进行统计单词出现个数,总共20万行map阶段package hellozhazhalong;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache……