Hadoop | 渣渣龙

HBase过滤器

过滤器主要的功能就是添加更多的限制条件来减少查询得到的数据量，这些限制可以指定列族、列、时间戳、以及版本号。例如下面的代码，获取的是列为basicInfo:name中全部的数据。TableName tableName = TableName.valueOf(Bytes.toBytes("step1_stu"));Table table = conn.……

05-04 立刻查看

java管理hbase

在HBase中想要获取一张表的基本信息需要用到一个类：TableDescriptor，通过它可以获取表的名字、列族等信息。List<TableDescriptor> tableDescriptors = admin.listTableDescriptors();tableDescriptor.getTableName() //可以获取表名t……

05-04 立刻查看

获取excel保存到hbase中

如何创建 HBase表com.util.HBaseUtil类封装了对应的创建 Hbase表方法 createTable示例如下：HBaseUtil.createTable("t_shared_bicycle", "info");//创建拥有一个列族的info的表t_shared_bicycle，一个列族可拥有任意数量的列。获取本地文件可以通过……

05-04 立刻查看

使用Java获取excel数据表

获取工作薄里的数据，可以使用Java poi提供的workbook类来操作读取一个 Wookbook中数据读取工作簿中的内容大致分为下列几个步骤：使用 WorkbookFactory新建一个工作簿（ Wookbook）InputStream resourceAsStream = SaveData.class.getClassLoader().……

05-04 立刻查看

flume拦截器

拦截器位于 source和 channel之间，用于拦截修改和删除 event，多个拦截器可一起使用；假如想要知道日志采集来源于哪台机器，可以增加一个 Host Interceptor，配置文件如下：Host Interceptor将当前 agent所在机器的 ip或者 hostname加入到 event的 header中， key为……

05-04 立刻查看

flume基础

flume的特点可靠性可恢复性每个组件必须要配置以下内容名称类型属性集一个agent包含以下组件sourcechannelsink测试采集/opt/flume/data目录下的文件第一步：首先在flume安装目录下创建文件spooldir-mem-logger.properties根据业务需求配置 agent；第……

05-04 立刻查看