首页 > 编程开发 > 大数据 > hadoop

hadoop简介

2013-02-22 23:14:44| 发布: 黄奕能| 浏览: 4675

Hadoop的源起——Lucene

l Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎

l 早期发布在个人网站和SourceForge,2001年年底成为apache软件基金会jakarta的一个子项目

l Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎

l 对于大数量的场景,Lucene面对与Google同样的困难。迫使Doug Cutting学习和模仿Google解决这些问题的办法

l 一个微缩版:Nutch


从lucene到nutch,从nutch到hadoop

l 2003-2004年,Google公开了部分GFS和Mapreduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和Mapreduce机制,使Nutch性能飙升

l Yahoo招安Doug Cutting及其项目

l Hadoop 于 2005 年秋天作为 Lucene的子项目 Nutch的 一部分正式引入Apache基金会。2006 年 3 月份,Map-Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中

l 名字来源于Doug Cutting儿子的玩具大象


目前Hadoop达到的高度

l实现云计算的事实标准开源软件

l包含数十个具有强大生命力的子项目

 

l已经能在数千节点上运行,处理数据量和排序时间不断打破世界纪录


本文链接:hadoop简介,本文由领悟书生整理发表,转载请注明出处http://www.656463.com/article/375

如非特别注明,本站内容均为领悟书生原创,转载请务必注明作者和原始出处。
本文地址:http://www.656463.com/article/nEZJJj.htm

相关专题

  • hadoop教程

    hadoop教程

    hadoop专题主要是分享hadoop教程,hadoop学习笔记,hbase等,让你能快速入门hadoop编程,加入大数据行业。

  • hadoop、hbase、hive、spark、strom等视频教程

    hadoop、hbase、hive、spark、strom等视频教程

    本专题收集大数据相关的视频教程,包括hadoop视频教程、hbase视频教程、hive视频教程、spark视频教程、strom视频教程等