flume的启动日志在哪里
大数据学习是自学好还是培训好？
大数据学习是自学好还是培训好？
很多人预见了大数据的发展潜力无穷，想学习大数据，但是由于不想辞职现有的工作或者不想花费巨额金钱报班学习，就选择了自学大数据，那么自学大数据可行么？与参加大数据培训学习相比哪个更好？这两个方法各有利弊，但是哪个更好呢，科多大数据来给大家分析一下。
1、自学大数据
自学大数据可以自由分配时间，在时间上比较灵活自由，没有约束，可以正常上下班，当然也可以想刷剧就刷剧，想玩游戏就玩游戏，想睡懒觉就睡懒觉，这同时也是时间自由的弊端，毕竟人性的弱点没有几个人可以战胜。
自学大数据可行么？
另外自学的资料可以从网上找，网上的学习资料、视频一抓一大把，但是真伪难辨，优劣堪忧，需要大家细心挑选，当然对于零基础自学的，可能也区分不出来优劣真伪。大数据在学习上有一定的难度，自学很容易陷入误区或者死胡同，没有人能够帮助你走出困境，更没有人带你进行项目实践，可以来感受一下大数据需要学习的知识。
文件存储：Hadoop HDFS、Tachyon、KFS
离线计算：Hadoop MapReduce、Spark
流式、实时计算：Storm、Spark Streaming、S4、Hero
NOSQL数据库：HBase、Redis、MongoDB
资源管理：YARN、Meso
日志收集：Flume、Scribe、Logstash、Kibana
消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ
查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式协调服务：Zookeeper
你学到的大数据知识七零八碎，全是皮毛，根本不堪一击。到头来，除了浪费了时间，折磨了自己，其他一无所获。
2、报名大数据培训班学习大数据
报班学习大数据，学习时间上跟在学校是一样的，上下午以及晚自习的学习时间，保证你每天学习8小时以上。时间的保证是学好大数据的第一步，有很多同学和你一起并肩作战，互相竞争着，同时也互相合作着进行学习，而不是一个人孤军奋战。
并且有讲师带着你从基础知识开始学起，一步一步扎实的掌握大数据的系统知识，遇到问题可以随时问老师，还可以和同学互相讨论交流，让大数据学习在轻松的环境下进行。
比如中公优就业，师资背景力量强大，师资数量也是业内数量较多的机构之一，优就业大数据讲师均是拥有相关工作多年从业经验，教学经验丰富，直击大数据核心，擅长总结归纳，确保学生能学到真本领。另外有专业就业指导老师教授学生面试技巧和方法，增强学员的求职竞争力，更顺利的进入大数据行业。
所以，学习大数据自学好？还是培训好？现在你明白差别在哪了吧，想要真正转行大数据行业真心建议报班学习，少走弯路，节省时间，没有什么比时间更宝贵了，学成出来后，你可以早点进入企业，从而更加加深自己的大数据能力。
如何设计日志采集存储分析的架构？
Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模式），exec（命令执行）等数据源上收集数据的能力。
Flume采用了多Master的方式。为了保证配置数据的一致性，Flume引入了ZooKeeper，用于保存配置数据，ZooKeeper本身可保证配置数据的一致性和高可用，另外，在配置数据发生变化时，ZooKeeper可以通知Flume Master节点。Flume Master间使用gossip协议同步数据。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标：
(1) 可靠性 (2) 可扩展性 3) 可管理性 (4) 功能可扩展性