消息队列Kafka
消息队列 Kafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务,基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。Kafka 具有数据压缩、同时支持离线和实时数据处理等优点,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺的产品之一。
产品特性
一键式部署
支持用户只需要在实例管理界面点击申请按钮,提交订单。后台将在几分钟内自动创建部署完成一整套Kafka实例。
丰富规格可选
可提供多种不同的规格,满足用户不同需求,用户可自行选择适合自己的规格。
高性能
高吞吐量,低延时,消息队列性能高。
全托管服务
提供全托管服务,用户只需专注于业务开发,无需部署运维,更专业、更弹性、更可靠。
应用场景
日志分析
应用程序可以把日志集中发到Kafka中,无需记录到本地,再由专门的日志管理程序从Kafka中取处理。对于多个进程读写同一个日志文件的场景,可以避免日志文件的加锁操作。也可以对Kafka中的日志进行实时分析。构建应用系统和分析系统的桥梁,将它们之间解耦。
1、采集日志时业务无感知; 2、Hadoop等离线仓库存储和Storm/Spark等实时在线分析对接
数据中转
近年来KV存储(HBase)、搜索(ElasticSearch)、流式处理(Storm/Spark Streaming)、时序数据库等等专用系统应运而生,产生了同一份数据集需要被注入到多个专用系统内的需求。利用Kafka 作为数据中转枢纽,同份数据可以被导入到不同专用系统中。
流计算处理
由于数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需求。而Kafka 以及 Storm/Samza/Spark 等流计算引擎的出现,可以根据业务需求对数据进行计算分析,最终把结果保存或者分发给需要的组件
产品文档
查看Kafka相关文档
问题解答