最近更新时间：2021-09-09
应用程序可以把日志集中发布到Kafka中，无需记录到本地，再由专门的日志管理程序从Kafka中取出进行处理。对于多个进程读写同一个日志文件的场景，可以避免日志文件的加锁操作。也可以对Kafka中的日志进行实时分析。构建应用系统和分析系统的桥梁，将它们进行解耦。
场景特点为：
采集日志时业务无感知。
Hadoop等离线仓库存储和Storm/Spark等实时在线分析对接。
近年来KV存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming）、时序数据库等等专用系统应运而生，产生了同一份数据集需要被注入到多个专用系统内的需求。利用Kafka作为数据中转枢纽，同份数据可以被导入到不同专用系统中。
由于数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而Kafka以及Storm/Samza/Spark等流计算引擎的出现，可以根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。
