拦截器位于 source和 channel之间，用于拦截修改和删除 event，多个拦截器可一起使用；

假如想要知道日志采集来源于哪台机器，可以增加一个 Host Interceptor，配置文件如下：

Host Interceptor

将当前 agent所在机器的 ip或者 hostname加入到 event的 header中， key为： host，值为当前机器的 ip或者 hostname。 粗体为必配属性，其余为可配选项；

UUID Interceptor

UUID 拦截器，基于该拦截器，可以为每一个 event生成一个通用唯一的标识符并配置在 header中

Search and Replace Interceptor

此拦截器基于正则表达式提供简单的基于字符串的搜索和替换功能(针对 event body)。

Regex Filtering Interceptor

正则过滤拦截器，该拦截器使用正则表达式匹配原始 event body中的内容，通过匹配结果和相关配置项来决定是否过滤之。

Regex Ext\fractor Interceptor

正则提取拦截器，该拦截器使用正则表达式提取原始 event body中的内容。

测试：

使用拦截器过滤目录下文件中不以 y.开头的内容

配置如下：

# Define source, channel, sink
#agent名称为a1
a1.sources = r1
a1.channels = c1
a1.sinks = k1
# Define source
#source类型配置为avro,监听8888端口，后台会自动发送数据到该端口
#拦截后台发送过来的数据，将y.开头的保留下来
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 8888
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex = y.*
#a1.sources.r1.interceptors.i1.excludeEvents =  false
# Define channel
#channel配置为memery
a1.channels.c1.type = memory
a1.channels.c1.capacity = 100
# Define sink
#落地到 hdfs://localhost:9000/flume目录下
#根据时间落地，3s
#数据格式DataStream
a1.sinks.k1.channel = c1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://localhost:9000/flume
a1.sinks.k1.hdfs.rollInterval = 3
a1.sinks.k1.hdfs.fileType=DataStream

分享到：

赞(0) 打赏