首页 > 编程开发 > 大数据 > zookeeper

如何使用Cruator监听zookeeper事件变化 - 三劫散仙

2014-12-16 21:54:24
掌握zookeeper事件监听机制,非常重要,可以说是跨入了进阶的门槛,只有掌握了如何监听某个节点或路径,我们才能在节点变化后,做一些我们想做的事,包括: 1,配置文件同步 2,主从切换 3,分布式队列 4,分布式锁 5,其他 散仙,在以前的文章里面有写过使用zookeeper原生的api,监听zk节点
分类:zookeeper 浏览次数(3835)

hadoop2.2生态系统快速安装脚本 - 三劫散仙

2014-12-16 18:28:51
对于使用hadoop进行开发的朋友们,可能要自己搭建一套hadoop的运行环境,如果不是经常变动的还好,如果,经常搭建而且还是多台机器,那么我们一个个的安装,就显得有点捉襟见肘了,这也是这个脚本诞生的目的,主要帮助我们在快速搭建hadoop集群,以及安装底层的配置依赖环境如JDK,Maven,Ant等,在安装hadoop前,还有一些关于linux基础的工作需要做,包括SSH无密码登陆和批量用户创建
分类:zookeeper 浏览次数(848)

分布式助手Zookeeper(一) - 三劫散仙

2014-12-15 23:15:10
Zookeeper最早是Hadoop的一个子项目,主要为Hadoop生态系统中一些列组件提供统一的分布式协作服务,在2010年10月升级成Apache Software Foundation(ASF)顶级项目,它主要提供以下的四个功能: Zookeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户; Zookeeper的架构图如下:
分类:zookeeper 浏览次数(920)

分布式助手Zookeeper(二) - 三劫散仙

2014-12-15 23:15:08
散仙在上篇文章介绍了,zookeeper的一系列基础知识,如果,你还不清楚zookeeper的基本架构,或者工作原理,那么,建议看一下散仙的上篇文章。本篇,散仙来介绍下怎么安装部署zookeeper,其实散仙在Hbase的安装部署里,已经介绍过独立的zookeeper的安装部署,本次除了zookeeper的集群安装外,还会额外介绍一下,怎么在zookeeper3.3.0之后的版本里,安装观察者角色
分类:zookeeper 浏览次数(726)

分布式助手Zookeeper(三) - 三劫散仙

2014-12-15 23:15:06
本篇,散仙要介绍一下基于zookeeper的一些API的编程。 在此之前,我们先来熟悉一下相关知识: Zookeeper的Session: (1)客户端和server间采用长连接 (2)连接建立后,server产生session ID(64位)返还给客户端 (3)客户端定期发送ping包来检查和保持和server的连接 (4)一旦session结束或超时,所有ephe
分类:zookeeper 浏览次数(793)

分布式助手Zookeeper(四) - 三劫散仙

2014-12-15 23:15:05
Zookeeper是分布式环境下一个重要的组件,因为它能在分布式环境下,给我带来很多便利,大大简化了分布式编程的复杂性,本篇散仙将给出一个模拟例子,来演示下如何使用Zookeeper的API编程,来完成分布式环境下配置的同步。大家都知道在一个中大型的规模的集群中,配置文件通常是必不可少的的东西,很多时候,我都需要将在Master上配置好的配置文件,给分发到各个Slave上,以确保整体配置的一致性,
分类:zookeeper 浏览次数(711)

分布式助手Zookeeper(五) - 三劫散仙

2014-12-15 23:15:03
散仙在上篇文章分享了关于使用zookeeper来完成配置同步的功能,那么本篇,散仙依旧是模拟实现一个基于zookeeper怎么解决单点故障的案例。 单点故障问题,在分布式系统中是一个很有可能发生的场景,比如说在Hadoop2.x之前的HDFS的NameNode和MapReduce的JobTracker的单点故障,当然这个问题已经在Hadoop2.x中得到解决,解决的方式,大部分是基于Zookee
分类:zookeeper 浏览次数(1276)

分布式助手Zookeeper(六) - 三劫散仙

2014-12-15 23:15:01
散仙,在关于zookeeper的前几篇文章中,除了记录了zookeeper的一些基础知识,也介绍了怎么使用zookeeper来完成,配置文件同步,和主从自动切换的功能,那么,本篇散仙将会介绍下如何使用,zookeeper来完成分布式锁的功能,其实本质上是与主从切换的实现代码是非常类似的,但是功能上强调的重点不一样。 至于,为什么需要分布式锁(公平锁)?为什么不使用JAVA 自带的锁的应用? 1
分类:zookeeper 浏览次数(756)

分布式助手Zookeeper(七) - 三劫散仙

2014-12-15 23:14:59
上篇文章,散仙介绍了,分布式环境下,基于zookeeper实现的公平的锁,这篇,我们来看下,如何使用zookeeper来完成非公平锁的模拟,在这之前,我们先来,了解下公平锁和非公平锁的区别。 JAVA JDK提供了公平锁,与非公平锁,但这种实现是基于同一个JVM来说的, 如果同一台机器上,不同的JVM,则可以使用文件锁,来实现,但是这些并不是分布式的模式,虽然可以通过RMI的方式来实现, 但
分类:zookeeper 浏览次数(688)

分布式助手Zookeeper(八) - 三劫散仙

2014-12-15 23:14:58
散仙,在前几篇关于zookeeper的文章中,介绍了基于zookeeper实现的分布式公平锁,以及非公平锁,那么本篇呢,散仙就来介绍下关于使用zookeeper如何模拟实现一个分布式队列。 那么为什么需要分布式队列呢?,我们都知道队列,在我们的编程开发中,是一种比不可少的数据结构,最典型莫过于,生产者与消费者的例子了,我们在程序过经常使用的队列是基于非分布式的环境,JAVA JDK也自带了非常多
分类:zookeeper 浏览次数(717)

shell脚本一键安装zookeeper3.4.5 - 三劫散仙

2014-12-15 23:14:56
上篇shell脚本写了一键安装solr,本篇我们来看下如何一键安装zookeeper,散仙最近是最自动化安装脚本上迷了,咱们也不会复杂的,先从简单的开始联手,下面进入正题: 安装条件: 1,确保你的JAVA环境是OK的,JDK什么的 2,在root根目录下有一个zookeeper下好的压缩包 3,安装脚本默认放在root目录下
分类:zookeeper 浏览次数(1551)

如何使用Curator操作zookeeper - 三劫散仙

2014-12-15 23:00:52
Curator是Netflix开源的一套ZooKeeper客户端框架,用它来操作zookeeper更加简单方便,按Curator官方所比喻的,guava to JAVA, Curator to Zookeeper,Curator采用了fluent风格的代码,非常简洁。 有关curator的介绍:请参照官方文档: http://curator.apache.org/in
分类:zookeeper 浏览次数(4006)

安装最新版zookeeper

2014-12-15 23:00:40
zookeeper 3.4.5的官网:http://zookeeper.apache.org/doc/r3.4.5/ 下载zookeeper-3.4.5.tar.gz 创建软链接: >sudo ln -s /Users/carl/tool/zookeeper-3.4.5 /opt/zookeeper-3.4.5 >sudo ln -s /opt/zookeeper-3.4.5 /opt
分类:zookeeper 浏览次数(1114)

zookeeper安装实录

2014-05-21 23:38:20
zookeeper安装实录,根据学习需求,及结合个人的实际情况,先把zookeeper搭起来,以后再慢慢梳理
分类:zookeeper 浏览次数(1370)

专题教程