首页 > 编程开发 > java教程网 > kafka教程

kafka分布式消息队列

简介:kafka是一种分布式消息队列,同类产品有rabbitmq、activemq。kafka常常结合storm等流式大数据处理框架使用。kafka是目前相当流程的消息队列框架。

kafka简介与部署

查看全部

KafKa 关键技术点

2016-10-08
1、zero-copy 在Kafka上,有两个原因可能导致低效:1)太多的网络请求 2)过多的字节拷贝。 为了提高效率,Kafka把message分成一组一组的,每次请求会把一组message发给相应的consumer。 此外, 为了减少字节拷贝,采用了sendfile系统调用。为了理解sendfile原理,先说一下传统的利用socket发送文件要进行拷贝: Sendfile系统调用: 2、Ex
分类:kafka教程 浏览次数(402)

使用Shell客户端操作kafka

2016-10-04
在master上创建一个test1主题 /opt/kafka/kafka_2.10-0.9.0.1/bin/kafka-topics.sh --create --topic test1 --replication-factor 3 --partitions 2 --zookeeper master:2181 replication-factor的几个不能超过Kafkar集群的broker数据 在m
分类:kafka教程 浏览次数(292)

Kafka 集群环境配置

2016-10-04
下载解压 官网地址:http://kafka.apache.org/ Kafka 0.9.0.1在下面的地址可以下载: https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tgz tar -zxvf kafka_2.10-0.9.0.1.tgz 配置 [hadoop@master kafka_2.
分类:kafka教程 浏览次数(264)

快速了解Kafka

2016-10-04
什么是kafka kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)MQ。Kafka仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。 kafka目前支持多种客户端语言:java,python,c++,p
分类:kafka教程 浏览次数(261)

java客户端调用kafka

查看全部

使用spring-integration-kafka操作kafka

2016-10-05
依赖 <dependency> <groupId>org.springframework.integration</groupId> <artifactId>spring-integration-kafka</artifactId> <version>1.2.0.RELEASE</version>
分类:kafka教程 浏览次数(1072)

使用spring-kafka操作kafka

2016-10-05
添加依赖 <dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><version>1.1.1.RELEASE</version></dependency> 消息生产者 消息
分类:kafka教程 浏览次数(512)

使用kafka-clients api操作Kafka

2016-10-04
引入kafka-clients相关依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.9.0.1</version> <exclus
分类:kafka教程 浏览次数(1072)

kafka高级教程

查看全部

Kafka delivery guarantee

2016-10-08
有这么几种可能的delivery guarantee: At most once 消息可能会丢,但绝不会重复传输 At least one 消息绝不会丢,但可能会重复传输 Exactly once 每条消息肯定会被传输一次且仅传输一次,很多时候这是用户所想要的。 当Producer向broker发送消息时,一旦这条消息被commit,因数replication的存在,它就不会丢。但是如果Produ
分类:kafka教程 浏览次数(306)

Kafka实现消息广播和单播

2016-10-08
使用Consumer high level API时,同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但多个Consumer Group可同时消费这一消息。 这是Kafka用来实现一个Topic消息的广播(发给所有的Consumer)和单播(发给某一个Consumer)的手段。一个Topic可以对应多个Consumer Group。如果需要实现广播,只
分类:kafka教程 浏览次数(1086)

Kafka发送消费的路由

2016-10-08
Producer发送消息到broker时,会根据Paritition机制选择将其存储到哪一个Partition。如果Partition机制设置合理,所有消息可以均匀分布到不同的Partition里,这样就实现了负载均衡。如果一个Topic对应一个文件,那这个文件所在的机器I/O将会成为这个Topic的性能瓶颈,而有了Partition后,不同的消息可以并行写入不同broker的不同Partitio
分类:kafka教程 浏览次数(642)

Kafka数据存储结构

2016-10-07
要了解kafka的数据存储结构,首先得了解一下kafka中的Topic 和 Partition Topic在逻辑上可以被认为是一个queue,每条消费都必须指定它的Topic,可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高,物理上把Topic分成一个或多个Partition,每个Partition在物理上对应一个文件夹,该文件夹下存储这个Partiti
分类:kafka教程 浏览次数(753)