博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
flume--多路复用
阅读量:4160 次
发布时间:2019-05-26

本文共 1349 字,大约阅读时间需要 4 分钟。

同一时刻,source只能传输给一个channelsource是通过event header来决定传输到哪一个channelsource   本地channel c1 localfile c2 memsink    k1 logger k2本地目录如果文件名1_txt 传输到logger 如果是2_txt 传输到本地a1.sources = s1  a1.channels = c1 c2a1.sinks = k1 k2a1.sources.s1.type = spooldira1.sources.s1.channels = c1 c2a1.sources.s1.spoolDir = /home/wangfutai/a/flume/logsa1.sources.s1.basenameHeader = truea1.sources.s1.basenameHeaderKey = myselect#添加选择器  多路复用a1.sources.s1.selector.type= multiplexing#复用规则  selector.header 头名称   mapping.变量名#mapping后的变量名  就是 每个event 中header 值# basename=2_txta1.sources.s1.selector.header = myselecta1.sources.s1.selector.mapping.1_txt= c1a1.sources.s1.selector.mapping.2_txt= c2a1.sources.s1.selector.default= c1 c2#配置c1  内存a1.channels.c1.type = memorya1.channels.c1.capacity = 10000a1.channels.c1.transactionCapacity = 10000a1.channels.c1.byteCapacityBufferPercentage = 20a1.channels.c1.byteCapacity = 800000#配置c2  本地磁盘a1.channels.c2.type = filea1.channels.c2.checkpointDir = /home/wangfutai/a/flume/checkpointa1.channels.c2.dataDirs = /home/wangfutai/a/flume/dataa1.sinks.k1.type = file_rolla1.sinks.k1.channel = c1a1.sinks.k1.sink.directory = /home/wangfutai/a/flume/netlogs#本地回滚时间,每隔60s自动生成一个新的文本.a1.sinks.k1.sink.rollInterval = 60a1.sinks.k1.sink.pathManager.prefix = network#配置 sinks a1.sinks.k2.type = logger#注意:一个sinks只能设置一个channela1.sinks.k2.channel = c2

 

转载地址:http://rgjxi.baihongyu.com/

你可能感兴趣的文章
深入理解HashMap
查看>>
XML生成(三):JDOM生成
查看>>
Ubuntu Could not open lock file /var/lib/dpkg/lock - open (13:Permission denied)
查看>>
C#入门
查看>>
C#中ColorDialog需点两次确定才会退出的问题
查看>>
nginx反代 499 502 bad gateway 和timeout
查看>>
k8s web终端连接工具
查看>>
手绘VS码绘(一):静态图绘制(码绘使用P5.js)
查看>>
链睿和家乐福合作推出下一代零售业隐私保护技术
查看>>
Unifrax宣布新建SiFAB™生产线
查看>>
艾默生纪念谷轮™在空调和制冷领域的百年创新成就
查看>>
JavaSE_day14 集合中的Map集合_键值映射关系
查看>>
异常 Java学习Day_15
查看>>
Mysql初始化的命令
查看>>
浅谈HTML
查看>>
css基础
查看>>
Servlet进阶和JSP基础
查看>>
servlet中的cookie和session
查看>>
过滤器及JSP九大隐式对象
查看>>
【Python】学习笔记——-7.0、面向对象编程
查看>>