Flume系列二之案例实战

发布日期:2019-10-07

Flume案例实战

写在前面通过前面一篇文章http://blog.csdn.net/liuge36/article/details/78589505的介绍我们已经知道flume到底是什么?flume可以用来做什么?但是,具体怎么做,这就是我们这篇文章想要介绍的。话不多说,直接来案例学习。

实战一:实现官网的第一个简单的小案例-从指定端口采集数据输出到控制台

如何开始呢?看官网!!!!地址:http://flume.apache.org/FlumeUserGuide.html#flume-sources

从官网的介绍中,我们知道需要new一个.conf文件,1.这里我们就在flume的conf文件夹下新建一个test1.conf

2.把官网的A simple example拷贝进去,做简单的修改

[hadoop@hadoop000 conf]$ vim test1.conf # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1## # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = hadoop000 a1.sources.r1.port = 44444# # Describe the sink a1.sinks.k1.type = logger# # Use a channel which buffers events in memory a1.channels.c1.type = memory# # Bind the source and sink to the channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1#不修改也是应该没有什么问题的#:wq保存退出

3.flume的agent启起来之后,就可以开始测试啦:

[hadoop@hadoop000 data]$ telnet hadoop000 44444Trying 192.168.1.57...Connected to hadoop000.Escape character is "^]".你好 OK

这里会发现,刚刚启动的agent界面有输出

到这里,就实现第一个简单的flume案例,很简单是吧

可以看出,使用Flume的关键就是写配置文件1) 配置Source2) 配置Channel3) 配置Sink4) 把以上三个组件串起来

简单来说,使用flume,就是使用flume的配置文件

实战二:监控一个文件实时采集新增的数据输出到控制台

思路??前面说到,做flume就是写配置文件就面临选型的问题Agent选型,即source选择什么,channel选择什么,sink选择什么

这里我们选择 exec source memory channel logger sink

怎么写呢?按照之前说的那样1234步骤

从官网中,我们可以找到我们的选型应该如何书写:1) 配置Sourceexec source

Property Name Default Descriptionchannels – type – The component type name, needs to be execcommand – The command to executeshell – A shell invocation used to run the command. e.g. /bin/sh -c. Required only for commands relying on shell features like wildcards, back ticks, pipes etc.

从官网的介绍中,我们知道我们的exec source得配置type=exec,配置自己的command,shell也是建议配置上的,其余的配置就不用配置了。是不是很简单。我们这里自己的配置就如下:

# Describe/configure the sourcea1.sources.r1.type = execa1.sources.r1.command = tail -F /home/hadoop/data/data.loga1.sources.r1.shell = /bin/sh -c

2) 配置Channelmemory channel官网介绍的是:

Property Name Default Descriptiontype – The component type name, needs to be memory

对应着写自己的Channel:

a1.channels.c1.type = memory

3) 配置Sinklogger sink官网介绍的是:

Property Name Default Descriptionchannel – type – The component type name, needs to be logger

对应着写自己的Sink:

a1.sinks.k1.type = logger

4) 把以上三个组件串起来

a1.sources.r1.channels = c1a1.sinks.k1.channel = c1

按照1.2.3.4这个固定的套路写任何的agent都是没有问题的

1.我们new一个文件叫做test2.conf把我们自己的代码贴进去:

[hadoop@hadoop000 conf]$ vim test2.confa1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = execa1.sources.r1.command = tail -F /home/hadoop/data/data.loga1.sources.r1.shell = /bin/sh -ca1.sinks.k1.type = loggera1.channels.c1.type = memorya1.sources.r1.channels = c1a1.sinks.k1.channel = c1 #:wq保存退出

2.开启我们的agent

flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/test2.conf -Dflume.root.logger=INFO,console

3.开始测试数据

export 到这里,我相信你一定学会如何去写flume了。强调一下,官网是一个好的学习资源,一定不要浪费。这里,我就先简单介绍这么两个小的案例实战,后面还会继续更新更多flume的使用...一起加油