博客
关于我
《大数据: Flume 面试题》
阅读量:246 次
发布时间:2019-03-01

本文共 359 字,大约阅读时间需要 1 分钟。

一、Flume 面试题

1. 你是如何实现Flume数据传输的监控的

我们采用了Ganglia这样的第三方框架来实时监控Flume的数据传输情况。这种方法能够高效地跟踪数据流的状态,确保Flume运行的稳定性。

2. Flume的Source,Sink,Channel的作用?你们Source是什么类型

Flume的Source组件负责接收数据,它支持多种数据类型和格式,如avro、thrift、exec等。Channel则用于对采集到的数据进行缓存,可以存储在内存或文件中,以便后续处理。Sink组件则是数据的最终目的地,可传输到Hdfs、Logger、avro、thrift等多个目标系统。

在我们的项目中,主要使用了监控后台日志的Source类型来处理大量的日志文件数据,这对系统的性能和可靠性提出了较高要求。

转载地址:http://myut.baihongyu.com/

你可能感兴趣的文章
Openlayers实战:输入WKT数据,输出GML、Polyline、GeoJSON格式数据
查看>>
Openlayers实战:选择feature,列表滑动,定位到相应的列表位置
查看>>
Openlayers实战:非4326,3857的投影
查看>>
Openlayers高级交互(1/20): 控制功能综合展示(版权、坐标显示、放缩、比例尺、测量等)
查看>>
Openlayers高级交互(10/20):绘制矩形,截取对应部分的地图并保存
查看>>
Openlayers高级交互(11/20):显示带箭头的线段轨迹,箭头居中
查看>>
Openlayers高级交互(12/20):利用高德逆地理编码,点击位置,显示坐标和地址
查看>>
Openlayers高级交互(13/20):选择左右两部分的地图内容,横向卷帘
查看>>
Openlayers高级交互(14/20):汽车移动轨迹动画(开始、暂停、结束)
查看>>
Openlayers高级交互(15/20):显示海量多边形,10ms加载完成
查看>>
Openlayers高级交互(16/20):两个多边形的交集、差集、并集处理
查看>>
Openlayers高级交互(17/20):通过坐标显示多边形,计算出最大幅宽
查看>>
Openlayers高级交互(18/20):根据feature,将图形适配到最可视化窗口
查看>>
Openlayers高级交互(19/20): 地图上点击某处,列表中显示对应位置
查看>>
Openlayers高级交互(2/20):清除所有图层的有效方法
查看>>
Openlayers高级交互(20/20):超级数据聚合,页面不再混乱
查看>>
Openlayers高级交互(3/20):动态添加 layer 到 layerGroup,并动态删除
查看>>
Openlayers高级交互(4/20):手绘多边形,导出KML文件,可以自定义name和style
查看>>
Openlayers高级交互(5/20):右键点击,获取该点下多个图层的feature信息
查看>>
Openlayers高级交互(6/20):绘制某点,判断它是否在一个电子围栏内
查看>>