基于Hadoop云模型及相关云技术研究

2019-03-28 13:44|来源: 网络

  云计算关键技术

  云计算是由企业界开始发展,然后才进入学术界引起重视的,这与网格计算相反。经过对迄今为止的云计算相关学术论文进行统计分析后,显示学术界对于云计算的研究主要集中在云技术关键技术方面。云计算研究的关键技术包括虚拟机、安全管理、数据管理、云监测、能耗管理和计算模型等。云计算的计算模型是研究如何针对某类应用特点提出效率更高的编程方式,目前云计算模型众多,而Hadoop是一个开源的分布式系统基本架构,正日益成为具有较强实用性的开发平台.淘宝就是国内率先使用Hadoop的公司之一。

   云计算关键技术

  1.1 虚拟机

  虚拟机是云计算的关键技术之一。目前在云计算中使用的主要虚拟机之一就是VMware Infrastructure。它是一个虚拟数据中心操作系统,可以将离散的硬件资源统一起来以创建共享平台。其优点有:①整合服务器以降低IT成本;②暗哨计划内和计划外停机以改进业务连续性;⑧运行较少的服务器并且动态关闭不使用的服务器。

  1.2 安全管理

  云计算是计算机资源的整合,通过云计算设施中的任何一台计算机,任何隐私信息都能够被找到。云计算安全问题已经成为急需解决的重要问题。其中,Siani Persion等提出了在云计算服务设计过程中保护用户隐私的一些设计原则:① 发送尽量少的个人信息到云中,或者对系统进行分析后只对一小部分个人信息进行必要的收集和采集;② 采用安全措施防止未授权的访问、复制、使用或者修改个人信息来保护云中的个人信息:③最大限度地实现用户控制。在云计算环境中,让用户完全控制个人信息是比较困难的。要加强对个人信息的控制:一可以允许用户控制最重要的个人信息;二可以委托信任的第三方来管理:④允许用户对个人信息的使用进行选择,即加入、退出机制;⑤明确以及限制数据使用的目的。个人信息必须被身份明确的人使用和处理;⑥有反馈机制。即设计人及界面清楚地表明云服务中采取的安全措施,用其向用户提供安全提示。

  1.3 数据管理

  云计算具有计算能力可变、数据储存在不信任的主机上、数据是远程复制等3个特点。从这3个特点分析而出,只有两种数据管理应用程序可能适合部署到云计算中:一是和事务处理相关的数据管理系统:另一种是和分析相关的数据管理系统。前者未采用共享的体系结构,在进行远程数据复制时很难满足ACID的需求,同时在不信任的主机上存储数据也有比较大的风险。ACID要求对于基于分析的数据管理系统来说不是必须的,同时可以保证敏感数据在分析之外,从而保证其安全。因此,基于分析的数据管理系统应该很合适部署到云计算环境中去。

  1.4 云监测和能耗管理

  云监测是随着云计算的推广、云设施不断增加、为了更好地体现云计算的强大计算处理能力而设置的对虚拟机监控的能力:能耗管理是如何节省云设施中计算设施所需要的能源、有效整合资源、降低成本。

  1.5 云计算的计算模型

  现行的分布式计算系统可以提供强大的计算能力.但非专业用户并不能有效地利用,一个庞大的任务很可能由于初学者的偶然操作导致性能的大幅下降。为了解决这些问题,应该提供给用户一个高度抽象的产品系统.这些就是云计算的计算模型。提到云计算模型,就不得不说一个开源框架,那就是Hadoop。

  Hadoop是一个分布式系统基本架构。由Apache开发,使用户在不了解分布式底层细节的情况下,开发分布式程序。简单点说。Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

  Hadoop实现了一个分布式文件系统(Hadoop DistributedFile System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据,适合那些有着超大数据集的应用程序。HDFS放宽了POSIX标准的要求。这样可以流的形式访问文件系统中的数据。

图1 Hadoop结构

  Hadoop采用Master/Slave结构(如图1),会有一台Mas.ter,主要负责NameNode的工作以及JobTracker的工作,Job.Tracker的主要职责就是启动、跟踪和调度各个Slave的任务执行。还会有多台Slave,每一台Slave通常具有DataNode的功能并负责TaskTracker的工作。TaskTracker根据应用要求来结合本地数据执行Map任务以及Reduce任务。

相关问答

更多

电脑信息安全技术研究的内容是

国内:信息安全等级保护,分为技术部分和管理部分两类。 1、技术部分包括物理安全(机房、办公环境等物理环境)、网络安全、主机安全(服务器、终端、数据库安全)、应用安全(应用系统、中间件)、数据安全及备份恢复; 2、管理部分包括安全管理制度、安全管理机构、人员安全管理、系统建设管理、系统运维管理 国际:主要参考ISO/IEC 27001,11个控制领域 1、信息安全方针 2、信息安全组织 3、资产管理 4、人力资源安全 5、物理和环境安全 6、通信与操作管理 7、访问控制 8、系统的获取、开发和维护 ...

北京工业大学电脑应用技术研究生

北工大的计算机应用技术是北京市重点学科,而计算机软件与理论是北京市重点建设学科,又有一个多媒体与智能软件技术北京市重点实验室,所以计算机专业的实力还是可以的 大部分专业一般都是过了国家线就能进复试(有些专业比国家线分数略高),在复试时再看学生的表现

中国科学院沈阳计算技术研究所IT培训中心怎么样

保障就业的前提是该学的都学会了,要不然,谁能保障啊....就好比你要是顾人的话,肯定要能用的,不要不好用的~~~道理是一样的 学这个东西,先考虑一下自己的基础,有基础学得快,没基础从低起点开始,但学的时间肯定长一些。 当然这个东西还是看动手能力的,所以培训机构的实训环节要好,多考察~~~

云技术电脑到底是什么

你好,“云计算机”是由中国紫光股份有限公司在2013年率先提出的全新概念,随后拥有自主知识产权的全球首台“紫光云计算机”问世。率先提出“云计算机”概念的紫光股份将其定义为:采用与个人计算机和超级计算机完全不同的分布式体系架构,借助于云计算的虚拟化技术,由多个成本相对较低的计算资源融合而成的一台具有强大计算能力的计算机。它可高效支持大数据处理、高吞吐率和高安全信息服务等多类应用需求,其计算能力和存储能力可动态伸缩并无限扩展。 它的特点&与普通计算机的区别: 1.分布式新型体系结构,多种廉价计算资源并 ...

沈阳电脑技术研究所怎么去

在浑南有一个,应该是那个吧。从东北大学南门车站坐166路,在长青小学车站原地换乘276路,在中科院计算所(高精数控)车站下车。 下车前行,过三环桥即是。 地图中的点A即是。

hadoop云计算

Hadoop是由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSI ...

寻找云计算spark和hadoop培训讲师

你好,王家林老师讲解的spark和hadoop确实在国内是首屈一指的,我们公司5月份专门邀请过王家林老师来给公司的员工解决技术上的难点,员工反映王老师讲解的课程非常好。公司准备7月份再次邀请王家林老师来讲解spark课程。你可以在7月份邀请王家林老师。

使用Mahout / hadoop / HBase等大数据技术研究和实施推荐系统的好书?(Good book to study and implement a Recommender system using big data technology like Mahout/hadoop/HBase? [closed])

我想你想要的书是Mahout in Action 。 我是合着者,不介意向你推荐它,因为我认为它直接解决了你的观点:Mahout API,Hadoop,实施推荐器的步骤。 I think the book you want is Mahout in Action. I'm a coauthor and don't mind recommending it to you since I think it directly addresses your points: Mahout APIs, Had ...