常用的大数据采集工具有哪些

常用的大数据采集工具Apache Flume、Fluentd、Logstash、Chukwa、Splunk Forwarder、八爪鱼等。

1、Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。

2、Fluentd是另一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。

3、Logstash是著名的开源数据栈ELK (ElasticSearch, Logstash, Kibana)中的那个L。

4、Logstash用JRuby开发，所有运行时依赖JVM。

5、Apache Chukwa是apache旗下另一个开源的数据收集平台，它远没有其他几个有名，Chukwa基于Hadoop的HDFS和Map Reduce来构建(显而易见，它用Java来实现)，提供扩展性和可靠性。

6、在商业化的大数据平台产品中，Splunk提供完整的数据采金，数据存储，数据分析和处理，以及数据展现的能力。

7、八爪鱼是一款免费的、可视化免编程的网页采集软件，可以从不同网站中快速提取规范化数据。

以上就是关于大数据采集工具的分享，希望对大家有帮助。