hive优化

首页 » Hive » hive优化
  • 查看执行计划
explain extended select count(name) from psn1;
  • hive运行方式:

-本地模式

-集群模式


本地模式

开启本地模式

 

hive优化
未开启本地模式运行
set hive.exec.mode.local.auto=true;
开启本地模式

 

hive优化
本地模式运行时间

tips:本地模式加载文件的默认最大值是128M,当大于这个配置时,仍会以集群模式来运行。

hive.exec.mode.local.auto.inputbvtes.max=128M

 


并行计算

未开启并行计算时执行下面代码
select t1.ct1,t2.ct2 from
(select count(id) ct1 from psn1) t1,
(select count(name) ct2 from psn1) t2;

 

hive优化
总共有5个任务
hive优化
执行时间

在服务器资源足够用的时候可以开启并行计算,并行计算也建立在代码是否可以支持并行计算。

set hive.exec.parallel=true;
开启并行计算
set hive.exec.parallel.thread.number;
一次计算中并行执行的job个数的最大追
hive优化
上面的查询代码可以并行两个

严格模式

防止用户误操作,可以开启严格模式,默认是不开启的

set hive.mapred.mode=strict/nonstrict
设置严格或非严格模式,和分区的严格模式不一样

设置严格模式后对mr查询的限制

    • 对于分区表,必须添加where对于分区字段的条件过滤
    • order by语句必须包含limit输出限制
    • 限制执行笛卡尔积的查询

 

hive优化
不写where会报错

排序

Order By – 对于查询结果做全排序,只允许有一个reduce处理

(当数据量较大时,应慎用。严格模式下,必须结合limit来使用)

Sort By – 对于单个reduce的数据进行排序

Distribute By – 分区排序,经常和Sort By结合使用

Cluster By – 相当于 Sort By + Distribute By

(Cluster By不能通过asc、desc的方式指定排序规则;

可通过 distribute by column sort by column asc|desc 的方式)


join

Join计算时,将小表(驱动表)放在join的左边

Map Join:在Map端完成Join

两种实现方式:

1、SQL方式,在SQL语句中添加MapJoin标记(mapjoin hint)

语法:

SELECT  /*+ MAPJOIN(smallTable) */  smallTable.key,  bigTable.value

FROM  smallTable  JOIN  bigTable  ON  smallTable.key  =  bigTable.key;

2、开启自动的MapJoin

自动的mapjoin

通过修改以下配置启用自动的mapjoin:

set hive.auto.convert.join = true;

(该参数为true时,Hive自动对左边的表统计量,如果是小表就加入内存,即对小表使用Map join)

相关配置参数:

hive.mapjoin.smalltable.filesize; 

(大表小表判断的阈值,如果表的大小小于该值则会被加载到内存中运行)

hive.ignore.mapjoin.hint;

(默认值:true;是否忽略mapjoin hint 即mapjoin标记)

hive.auto.convert.join.noconditionaltask;

(默认值:true;将普通的join转化为普通的mapjoin时,是否将多个mapjoin转化为一个mapjoin)

hive.auto.convert.join.noconditionaltask.size;

(将多个mapjoin转化为一个mapjoin时,其表的最大值)


 

Map-Side聚合

通过设置以下参数开启在Map端的聚合:

set hive.map.aggr=true;

相关配置参数:

hive.groupby.mapaggr.checkinterval:

map端group by执行聚合时处理的多少行数据(默认:100000)

hive.map.aggr.hash.min.reduction:

进行聚合的最小比例(预先对100000条数据做聚合,若聚合之后的数据量/100000的值大于该配置0.5,则不会聚合)

hive.map.aggr.hash.percentmemory:

map端聚合使用的内存的最大值

hive.map.aggr.hash.force.flush.memory.threshold:

map端做聚合操作是hash表的最大可用内容,大于该值则会触发flush

hive.groupby.skewindata

是否对GroupBy产生的数据倾斜做优化,默认为false


 

控制Hive中Map以及Reduce的数量

Map数量相关的参数

mapred.max.split.size

一个split的最大值,即每个map处理文件的最大值

mapred.min.split.size.per.node

一个节点上split的最小值

mapred.min.split.size.per.rack

一个机架上split的最小值

Reduce数量相关的参数

mapred.reduce.tasks

强制指定reduce任务的数量

hive.exec.reducers.bytes.per.reducer

每个reduce任务处理的数据量

hive.exec.reducers.max

每个任务最大的reduce数


 

Hive – JVM重用

适用场景:

1、小文件个数过多

2、task个数过多

通过 set mapred.job.reuse.jvm.num.tasks=n; 来设置

(n为task插槽个数)

缺点:设置开启之后,task插槽会一直占用资源,不论是否有task运行,直到所有的task即整个job全部执行完成时,才会释放所有的task插槽资源!


 

分享到:
赞(0) 打赏

评论 5

评论前必须登录!

 

  1. #1

    记住这个网站了

    渣渣辉8个月前 (03-27)
  2. #2

    最好再详细点

    渣渣混8个月前 (03-28)
  3. #3

    还可以

    hello8个月前 (03-28)
  4. #4

    可以

    白云8个月前 (03-28)
  5. #5

    我加你了哦

    靓仔6个月前 (05-26)

觉得文章有用就打赏一下弟弟吧

支付宝扫一扫打赏

微信扫一扫打赏

Vieu4.5主题
专业打造轻量级个人企业风格博客主题!专注于前端开发,全站响应式布局自适应模板。
正在播放:

作者想对您说:

累了就停下来听首歌吧

听完后会给您一个好心情

最后

等到您不容易

还希望您能多待一会儿

      00:00/00:00