kafka分布式消息队列[专题]

kafka是一种分布式消息队列,同类产品有rabbitmq、activemq。kafka常常结合storm等流式大数据处理框架使用。kafka是目前相当流程的消息队列框架。

kafka高级教程

更多

Kafka delivery guarantee

2016-10-08
有这么几种可能的delivery guarantee: At most once 消息可能会丢,但绝不会重复传输 At least one 消息绝不会丢,但可能会重复传输 Exactly once 每条消息肯定会被传输一次且仅传输一次,很多时候这是用户所想要的。 当Producer向broker发送消息时,一旦这条消息被commit,因数replication的存在,它就不会丢。但是如果Produ
分类:kafka教程 浏览次数(403)

Kafka实现消息广播和单播

2016-10-08
使用Consumer high level API时,同一Topic的一条消息只能被同一个Consumer Group内的一个Consumer消费,但多个Consumer Group可同时消费这一消息。 这是Kafka用来实现一个Topic消息的广播(发给所有的Consumer)和单播(发给某一个Consumer)的手段。一个Topic可以对应多个Consumer Group。如果需要实现广播,只
分类:kafka教程 浏览次数(2255)

Kafka发送消费的路由

2016-10-08
Producer发送消息到broker时,会根据Paritition机制选择将其存储到哪一个Partition。如果Partition机制设置合理,所有消息可以均匀分布到不同的Partition里,这样就实现了负载均衡。如果一个Topic对应一个文件,那这个文件所在的机器I/O将会成为这个Topic的性能瓶颈,而有了Partition后,不同的消息可以并行写入不同broker的不同Partitio
分类:kafka教程 浏览次数(953)

Kafka数据存储结构

2016-10-07
要了解kafka的数据存储结构,首先得了解一下kafka中的Topic 和 Partition Topic在逻辑上可以被认为是一个queue,每条消费都必须指定它的Topic,可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高,物理上把Topic分成一个或多个Partition,每个Partition在物理上对应一个文件夹,该文件夹下存储这个Partiti
分类:kafka教程 浏览次数(1067)
点击显示更多

kafka简介与部署

更多

KafKa 关键技术点

2016-10-08
1、zero-copy 在Kafka上,有两个原因可能导致低效:1)太多的网络请求 2)过多的字节拷贝。 为了提高效率,Kafka把message分成一组一组的,每次请求会把一组message发给相应的consumer。 此外, 为了减少字节拷贝,采用了sendfile系统调用。为了理解sendfile原理,先说一下传统的利用socket发送文件要进行拷贝: Sendfile系统调用: 2、Ex
分类:kafka教程 浏览次数(527)

使用Shell客户端操作kafka

2016-10-04
在master上创建一个test1主题 /opt/kafka/kafka_2.10-0.9.0.1/bin/kafka-topics.sh --create --topic test1 --replication-factor 3 --partitions 2 --zookeeper master:2181 replication-factor的几个不能超过Kafkar集群的broker数据 在m
分类:kafka教程 浏览次数(432)

Kafka 集群环境配置

2016-10-04
下载解压 官网地址:http://kafka.apache.org/ Kafka 0.9.0.1在下面的地址可以下载: https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.1/kafka_2.10-0.9.0.1.tgz tar -zxvf kafka_2.10-0.9.0.1.tgz 配置 [hadoop@master kafka_2.
分类:kafka教程 浏览次数(393)

快速了解Kafka

2016-10-04
什么是kafka kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)MQ。Kafka仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。 kafka目前支持多种客户端语言:java,python,c++,p
分类:kafka教程 浏览次数(390)
点击显示更多

java客户端调用kafka

更多

使用spring-integration-kafka操作kafka

2016-10-05
依赖 <dependency> <groupId>org.springframework.integration</groupId> <artifactId>spring-integration-kafka</artifactId> <version>1.2.0.RELEASE</version>
分类:kafka教程 浏览次数(1704)

使用spring-kafka操作kafka

2016-10-05
添加依赖 <dependency><groupId>org.springframework.kafka</groupId><artifactId>spring-kafka</artifactId><version>1.1.1.RELEASE</version></dependency> 消息生产者 消息
分类:kafka教程 浏览次数(738)

使用kafka-clients api操作Kafka

2016-10-04
引入kafka-clients相关依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.9.0.1</version> <exclus
分类:kafka教程 浏览次数(1719)
点击显示更多

专题教程

更多
  • freemarker教程

    freemarker是现在企业中用得最多的模板引擎,可以根据模板生成相当的静态页面等

  • dubbo教程

    DUBBO是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治理方案的核心框架,本教程带你入门学习dubbo框架的相关知识

  • RabbitMQ 教程

    RabbitMQ是一个开源的,在AMQP基础上完整的,可复用的企业消息系统。支持主流的操作系统,Linux、Windows、MacOX等。多种开发语言支持,Java、Python、Ruby、.NET、PHP、C/C++、node.js等。本教程带你学习RabbitMQ环境搭建、RabbitMQ简单队列、work队列、发布订阅消息、各种Exchange应用、与spring整合等

  • WebSocket教程

    WebSocket 规范的目标是在浏览器中实现和服务器端双向通信.双向通信可以拓展浏览器上的应用类型,例如实时的数据推送(股票行情),游戏,聊天/im 等.本教程通过java简单的示例带你快速学会WebSocket编程

  • i18n 国际化

    国际化(internationalization)又称为 i18n(读法为i 18 n,据说是因为internationalization(国际化)这个单词从i到n之间有18个英文字母,i18n的名字由此而来)

  • junit教程

    junit基本介绍,hamcrest和testSuite介绍,基于测试开发讲解和cobertura框架介绍,stub和mock简介,dbunit的使用,dbunit实际运用,easymock的使用,easymock的实际应用,利用easymock测试简单的servlet,cactus的使用,基于Jetty的cactus的使用

  • java并发编程

    java并发编程是基于java语言在高并发、多线程环境下的编程实践。

  • java8新特征详解

    本教程详细讲解Java8的新特新,结合简单的示例代码来讲解如何使用默认接口方法,lambda表达式,方法引用以及多重Annotation,同时你将会学到JAVA8最新的API上的改进,比如流,函数式接口,Map以及全新的日期API

  • json教程

    JSON 即 JavaScript Object Natation,它是一种轻量级的数据交换格式,非常适合于服务器与 JavaScript 的交互。本专题详细讲解json、jackson、fastjson等工具包的操作教程

  • Struts2教程

    Struts2,Struts2教程,Struts2学习,Struts2实例,Struts2视频教程

  • Hibernate教程

    Hibernate,Hibernate教程,Hibernate学习,Hibernate实例,Hibernate视频教程

  • spring教程

    spring,spring教程,spring学习,spring实例,spring视频教程

  • java视频教程

    java,视频教程,java视频教程,java web 视频教程,java基础视频教程

大家都在看

最近更新

热门访问