Kafka delivery guarantee

2016-10-08
有这么几种可能的delivery guarantee: At most once 消息可能会丢,但绝不会重复传输 At least one 消息绝不会丢,但可能会重复传输 Exactly once 每条消息肯定会被传输一次且仅传输一次,很多时候这是用户所想要的。 当Producer向broker发送消息时,一旦这条消息被commit,因数replication的存在,它就不会丢。但是如果Produ
分类:kafka教程

Kafka实现消息广播和单播

2016-10-08
使用Consumer high level API时,同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但多个Consumer Group可同时消费这一消息。 这是Kafka用来实现一个Topic消息的广播(发给所有的Consumer)和单播(发给某一个Consumer)的手段。一个Topic可以对应多个Consumer Group。如果需要实现广播,只
分类:kafka教程

Kafka发送消费的路由

2016-10-08
Producer发送消息到broker时,会根据Paritition机制选择将其存储到哪一个Partition。如果Partition机制设置合理,所有消息可以均匀分布到不同的Partition里,这样就实现了负载均衡。如果一个Topic对应一个文件,那这个文件所在的机器I/O将会成为这个Topic的性能瓶颈,而有了Partition后,不同的消息可以并行写入不同broker的不同Partitio
分类:kafka教程

Kafka数据存储结构

2016-10-07
要了解kafka的数据存储结构,首先得了解一下kafka中的Topic 和 Partition Topic在逻辑上可以被认为是一个queue,每条消费都必须指定它的Topic,可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高,物理上把Topic分成一个或多个Partition,每个Partition在物理上对应一个文件夹,该文件夹下存储这个Partiti
分类:kafka教程

KafKa 关键技术点

2016-10-06
1、zero-copy 在Kafka上,有两个原因可能导致低效:1)太多的网络请求 2)过多的字节拷贝。 为了提高效率,Kafka把message分成一组一组的,每次请求会把一组message发给相应的consumer。 此外, 为了减少字节拷贝,采用了sendfile系统调用。为了理解sendfile原理,先说一下传统的利用socket发送文件要进行拷贝: Sendfile系统调用: 2、Ex
分类:kafka教程

使用spring-integration-kafka操作kafka

2016-10-05
依赖 <dependency> <groupId>org.springframework.integration</groupId> <artifactId>spring-integration-kafka</artifactId> <version>1.2.0.RELEASE</version>
分类:kafka教程

使用spring-kafka操作kafka

2016-10-05
添加依赖 <dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><version>1.1.1.RELEASE</version></dependency> 消息生产者 消息
分类:kafka教程

使用kafka-clients api操作Kafka

2016-10-04
引入kafka-clients相关依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.9.0.1</version> <exclus
分类:kafka教程

使用Shell客户端操作kafka

2016-10-04
在master上创建一个test1主题 /opt/kafka/kafka_2.10-0.9.0.1/bin/kafka-topics.sh --create --topic test1 --replication-factor 3 --partitions 2 --zookeeper master:2181 replication-factor的几个不能超过Kafkar集群的broker数据 在m
分类:kafka教程

Kafka 集群环境配置

2016-10-04
下载解压 官网地址:http://kafka.apache.org/ Kafka 0.9.0.1在下面的地址可以下载: https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tgz tar -zxvf kafka_2.10-0.9.0.1.tgz 配置 [hadoop@master kafka_2.
分类:kafka教程

专题教程

JAVA概述
第一部分:java入门基础
第二部分:java常用类
第三部分:jdbc系列教程
第四部分:java高级特征
Gson教程
快速了解 jdk8 新特征

最近更新

更多
  • Mac截图快捷键
  • MacBook 跳到行尾、行首、Home和end快捷键
  • Spring Boot使用FastJson解析JSON数据
  • ueditor加载配置:spring boot 整合 ueditor 教程四
  • spring boot 整合 ueditor 教程三:ueditor执行流程
  • spring boot 整合 ueditor 教程二:使用springmvc替换controller.jsp
  • spring boot 整合 ueditor 教程一
  • IntelliJ IDEA 版本控制(svn、git) 修改文件后,所属目录的颜色也变化
  • 传智播客maven视频教程
  • 传智播客java项目视频教程_JavaWeb网上商城实战项目
  • 传智播客java基础视频教程
  • 传智播客分布式缓存视频教程
  • 传智播客基于支付宝移动支付视频教程
  • 传智播客分布式架构视频教程
  • 传智播客JAVA二维码视频教程
  • 传智播客Java文件上传视频教程
  • 传智播客Java爬虫视频教程
  • 即时通信技术-Websocket在线聊天视频教程
  • 网上购物商城(前端+后端+云部署)-传智播客商城视频教程
  • 揭开Docker神秘的面纱-传智播客Docker视频教程
  • MySQL优化-教你如何全面的对数据库进行优化
  • 探秘双“11”征服马云刘强东的电商架构 
  • elasticsearch-2.x下载与安装
  • Elasticseach可视化操作客户端kibana部署
  • 基于windows环境部署Elasticseach
  • 实战Java高并发程序设计 pdf 下载
  • 《实战java高并发程序设计》源码下载
  • spring boot使用freemarker生成静态html—基于springmvc+tomcat切到springboot实战三
  • spring boot入口类Application—基于springmvc+tomcat切到springboot实战二
  • 开篇—基于springmvc+tomcat切到springboot实战一