解压
tar -zxvf apache-flume-1.6.0-bin.tar.gz tar -zxvf apache-flume-1.6.0-src.tar.gz
copy src中的内容到bin中
cp -ri apache-flume-1.6.0-src/* apache-flume-1.6.0-bin/
在conf创建example文件
#agent1表示代理名称 agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #配置source1 agent1.sources.source1.type=spooldir agent1.sources.source1.spoolDir=/root/hmbbs agent1.sources.source1.channels=channel1 agent1.sources.source1.fileHeader = false agent1.sources.source1.interceptors = i1 agent1.sources.source1.interceptors.i1.type = timestamp #配置sink1 agent1.sinks.sink1.type=hdfs agent1.sinks.sink1.hdfs.path=hdfs://centos:9000/hmbbs agent1.sinks.sink1.hdfs.fileType=DataStream agent1.sinks.sink1.hdfs.writeFormat=TEXT agent1.sinks.sink1.hdfs.rollInterval=1 agent1.sinks.sink1.channel=channel1 agent1.sinks.sink1.hdfs.filePrefix=%Y-%m-%d #配置channel1 agent1.channels.channel1.type=file agent1.channels.channel1.checkpointDir=/root/hmbbs_tmp/123 agent1.channels.channel1.dataDirs=/root/hmbbs_tmp/
启动
bin/flume-ng agent -n agent1 -c conf -f conf/example -Dflume.root.logger=DEBUG,console
在hmbbs目录创建一个文件，flume会把它自动上传到hdfs上
相关推荐
Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 ...本文档适用于1.4.x以上版本 新用户我们建议使用性能更好、配置更灵活的1.x版本
flumeng-kafka-plugin 技术指标水槽1.4 Kafka 0.8.0 Beta
水槽带有水槽的数据管道集中式日志事件管理解决方案。 从Java / nonJava平台归档日志。 以及对日志数据的无障碍搜索和分析。 将使用以下组件进行日志记录Flume（1.4） Rsyslog Log4J Syslog Appender
1.4 数据分析 项⽬的核⼼内容，即根据需求开发ETL分析语句，得出各种统计结果。 1.5 数据展现 将分析所得数据进⾏数据可视化，⼀般通过图表进⾏展⽰。 扩展： 1、数据处理主要技术 Sqoop：作为⼀款开源的离线数据...
Apache Phoenix通过提供一个利用Apache HBase... 它包括与Hadoop生态系统中的Apache Spark，Pig，Flume，Map Reduce和其他产品的集成。 它可以作为JDBC驱动程序进行访问，并可以通过标准SQL查询，更新和管理HBase表。...
1.4跑⼀下WebMagic 百度后我找到了WebMagic的 照着⾥⾯的例⼦测试⼀下： ⾸先新建⼀个maven项⽬，是不是web项⽬都可以，只要是maven就⾏了。嗯，当然不要maven也可以⼿动导⼊jar包，不过为了⽅便 还是使⽤maven吧。...
1.4 分类效果评估…………·…….. 10 1.5 相关软件： R 和 Mahout·………….. 12 1.5.1 R 简介………………………… 12 1.5.2 Mahout 简介……………….. 13 1.5.3 Hadoop 简介………………· 14 1.6 案例实践...
Finally, these applications can use out-of-the- box integrations with other systems such as Kafka, Flume, HBase, and Cassandra. All of these features have turned Spark Streaming into the Swiss Army ...
升级到spring-boot1.4 neo4j 使用自带的rest 进行图数据库的维护与引擎的调度； 2016-12-27 增加druid监控； 2016-12-20 菜单调整 2016-11-29 完成java 动态脚本调用groovy json 示例,作为flume 插件的规则脚本使用...
异步数据传输框架Ajax ⽂件的上传下载 1.3JavaEE框架 系统整体分层解耦框架spring 轻量级Web框架springmvc 轻量级持久层框架mybatis 服务器操作系统Linux 内存数据库Redis 项⽬架构、jar包管理⼯具Maven 1.4JavaEE⾼...
1.4 文档数据库 14 1.5 图形数据库 15 1.6 小结 16 第2章 NoSQL上手初体验 17 2.1 第一印象——两个简单的例子 17 2.1.1 简单的位置偏好数据集 17 2.1.2 存储汽车品牌和型号数据 22 2.2 使用多种语言 30 ...
Tomcat 安装apr 支持 Tomcat Native Tomcat Native 这个项目可以让 Tomcat 使用 Apache 的 apr 包来处理包括文件和网络IO操作，以提升性能。 预输入搜索 Cleo Cleo 是一个灵活的软件库用于处理一些预输入和自动完成...
Tomcat 安装apr 支持 Tomcat Native Tomcat Native 这个项目可以让 Tomcat 使用 Apache 的 apr 包来处理包括文件和网络IO操作，以提升性能。 预输入搜索 Cleo Cleo 是一个灵活的软件库用于处理一些预输入和自动完成...
Tomcat 安装apr 支持 Tomcat Native Tomcat Native 这个项目可以让 Tomcat 使用 Apache 的 apr 包来处理包括文件和网络IO操作，以提升性能。 预输入搜索 Cleo Cleo 是一个灵活的软件库用于处理一些预输入和自动完成...
Tomcat 安装apr 支持 Tomcat Native Tomcat Native 这个项目可以让 Tomcat 使用 Apache 的 apr 包来处理包括文件和网络IO操作，以提升性能。 预输入搜索 Cleo Cleo 是一个灵活的软件库用于处理一些预输入和自动完成...
Tomcat 安装apr 支持 Tomcat Native Tomcat Native 这个项目可以让 Tomcat 使用 Apache 的 apr 包来处理包括文件和网络IO操作，以提升性能。 预输入搜索 Cleo Cleo 是一个灵活的软件库用于处理一些预输入和自动完成...
Tomcat 安装apr 支持 Tomcat Native Tomcat Native 这个项目可以让 Tomcat 使用 Apache 的 apr 包来处理包括文件和网络IO操作，以提升性能。 预输入搜索 Cleo Cleo 是一个灵活的软件库用于处理一些预输入和自动完成...
Tomcat 安装apr 支持 Tomcat Native Tomcat Native 这个项目可以让 Tomcat 使用 Apache 的 apr 包来处理包括文件和网络IO操作，以提升性能。 预输入搜索 Cleo Cleo 是一个灵活的软件库用于处理一些预输入和自动完成...