Hive | 渣渣龙

hive优化

查看执行计划explain extended select count(name) from psn1;hive运行方式：-本地模式-集群模式本地模式开启本地模式未开启本地模式运行set hive.exec.mode.local.auto=true;开启本地模式本地模式运行时间tips：本地模式加载文件……

02-24 立刻查看

hive扩展

一、hive lateral viewliateral view 用于和UDTF函数(explode,split)结合来使用首先通过UDTF函数拆分成多行，再将多行结果组合成一个支持别名的虚拟表主要解决在select使用UDTF做查询过程中，查询只能包含单个UDTF，不能包含其他字段、以及多个UDTF的问题lateral view expl……

02-23 立刻查看

hive分桶

存储数据时要求每个目录下的文件不能超过128M，所以要使用分桶来把这一个大文件拆分成一个个的小文件。(小文件过多会造成资源调度耗费很高）分桶表是对列值提取哈希值的方式，将不同的数据放到不同的文件存储对于hive的每一个表，分区都可以再进一步进行分桶由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。适用场景：数据抽样、map-join……

02-23 立刻查看

hive实现wordcount

我们都会感到手写wordcount很难，当然还是怪我们java学的不好。不过hive也可以让非Java编程人员实现词频统计。一、数据准备hello world hivehadoop hello hiveworld对上面这些数据进行词频统计。二、对数据输出为数组输出数组形式三、使用一进多出函数进行处理拆分四、统……

02-22 立刻查看

hive函数

1.内置运算符1.1关系运算符运算符类型说明 A = B 所有原始类型如果A与B相等,返回TRUE,否则返回FALSE A == B 无失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A <> B 所有原……

02-21 立刻查看

hive静态分区与动态分区

分区可以很好的解决全盘扫描，mysql里的where子句也可以得到同样的结果，但是一个是部分扫描，一个是全盘扫描。一、静态分区创建表时指定分区create table pname3( id int, name string, likes array<string>, address map<s……

02-21 立刻查看