• 有问题请联系QQ:2374146085
  • 有问题请联系QQ:2374146085
mr调优

mr调优

mr程序调优，主要考虑的就是减少网络传输和减少磁盘IO操作服务器调优主要包括服务器参数调优和jvm调优hdfs调优1. dfs.datanode.failed.volumes.tolerated: 允许发生磁盘错误的磁盘数量，默认为0，表示不允许datanode发生磁盘异常。当挂载多个磁盘的时候，可以修改该值。2. dfs.replicat……

03-04 立刻查看
MR天气案例

MR天气案例

计算每月温度最高的两天。一、客户端package zhazhalong.mr.tq;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org……

02-20 立刻查看
MR统计单词个数

MR统计单词个数

对一组数据进行统计单词出现个数，总共20万行map阶段package hellozhazhalong;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apache……

02-18 立刻查看