知识点
相关文章
更多最近更新
更多Hadoop 1.2.1 单节点安装(Single Node Setup)步骤
2019-03-28 12:54|来源: 网络
为了使您快速体验Hadoop,可以在一台机子上安装单节点(Node)的hadoop。
相关阅读:单节点Hadoop安装过程 http://www.linuxidc.com/Linux/2013-03/80282.htm
一 安装的前提条件
1.平台要求
(1). hadoop全面支持GNU/Linux,并且已经演示过部署在GNU/Linux上超过2000个节点的集群。
(2). Win32 仅支持作为开发平台,hadoop的分布式相关功能并未在Win32 上作全面测试,因此不建议在产品环境中使用win32平台。
2.软件要求
Linux和windows上都需要安装以下软件:
(1)必须安装JavaTM 1.6.x,最好是sun的.
(2)必须安装SSH,SSHD需要开启,hadoop脚本才能管理远程实例(remote Hadoop daemons)
另外:
Windows上必须安装Cygwin.
3.安装以上软件
Ubuntu Linux上安装举例:
$sudoapt-getinstallssh
$sudoapt-getinstallrsync
windows上安装了cygwin后,还需要安装openssh.
二 下载最新稳定版hadoop 1.2.1
下载地址:http://hadoop.apache.org/core/releases.html
三 准备启动Hadoop集群(单节点)
解压缩下载的hadoop,并编辑conf/hadoop-env.sh文件,将配置项JAVA_HOM设置为你安装的java的当前根目录。
开始运行一下命令:
1 $ bin/hadoop
如果显示的是hadoop命令的帮助,则表示设置正确。
接下来,你可以操作hadoop集群了,hadoop集群有三种模式:
Local (Standalone) Mode(独立模式)
Pseudo-Distributed Mode(伪分布式模式)
Fully-Distributed Mode(分布式模式)
在这里仅介绍前两种模式,第三种模式较复杂,以后单独介绍。
四 独立模式使用
默认情况下,hadoop被配置成非分布式模式,即一个java进程,这样方便调试。
下面的命令将hadoop安装目录下的conf目录作为输入,然后将conf目录下的文件中符合给定正则表达式条件的内容找出来。输出即将内容写入指定的输出目录的文件中。
$mkdirinput
$cpconf/*.xml input
$ bin/hadoopjar hadoop-examples-*.jargrepinput output'dfs[a-z.]+'
$catoutput/*
相关问答
更多-
Hadoop - 单个大节点和多个小节点之间的区别(Hadoop - Difference between single large node and multiple small node)[2021-10-01]
拥有更多数量的数据节点而不是一个强大的节点总是更好。 基本上我们需要配置具有高配置的Name节点,并且数据节点可以具有较少的配置。 因此,如果您有单个节点,则所有恶魔将在具有单个JVM的同一节点中运行,其中好像您有多个节点,恶魔可以与多个JVM并行(顺序)运行。 It is always better to have more number of data nodes instead of one powerful node. Basically we need to configure Name node ... -
如何从Apache Hadoop 1.2.1降级到0.20.2版本(How to downgrade from Apache Hadoop 1.2.1 to 0.20.2 version)[2022-04-20]
只需重复hadoop 1.2。* with hadoop 0.20所遵循的安装步骤,即下载zip,解压缩,编辑配置文件并正确设置局部变量。 如果您愿意,也可以保留旧安装,但最好使用所需的hadoop版本保持设置清洁和简单。 另一个替代方案是,使用预先配置的hadoop分布图像,而不是Cygwin,例如CDH 3. *可以是在Windows上使用虚拟机学习hadoop的好选择(你需要虚拟机或VMware s / w) Just repeat the installation steps you followe ... -
在日志中查看以下行: 2012-03-25 00:10:30,911 INFO org.apache.hadoop.mapred.TaskTracker: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find taskTracker/jobcache/job_201203242348_0001/attempt_201203242348_0001_m_000002_0/output/file.out in any of th ...
-
可以使用弹性IP。 此外,由于您提到它是单节点群集 - 您可以使用localhost或私有IP。 如果使用弹性IP,则UI将始终位于同一公共IP上。 但是,如果您使用私有IP或localhost并且不将您的实例与弹性IP关联,则每次启动实例时都必须查找公共IP,然后使用IP连接到Web UI。 Elastic IP can be used. Also, since you mentioned it being a single node cluster - you can use localhost or ...
-
看起来你的类路径是错误的,请尝试这样做: javac -classpath /usr/local/cellar/hadoop-1.2.1/hadoop-core-1.2.1.jar 或者将您的HADOOP_HOME env变量重新定义为/usr/local/cellar/hadoop-1.2.1 Looks like your classpath is wrong, try this instead: javac -classpath /usr/local/cellar/hadoop-1.2.1/hado ...
-
在Hadoop 2.6.0多节点设置上安装Solr 5.2.1(Solr 5.2.1 installation on Hadoop 2.6.0 multi node setup)[2021-12-27]
我不确定,这会对您有所帮助,但请在SolrCloud 5和Zookeeper配置上传中进行交叉检查 可以使用的某些命令如下。 使用所有conf文件创建conf目录 从其中一个节点/opt/myname/solr-5.2.1/bin/solr create -c my_collection -d /opt/myname/solr-5.2.1/server/solr/myconf/conf -n my_colln_cfg -shards运行2 -relicationFactor 2 其他一些有用的链接如下:ht ... -
我总是阅读关于映射器和缩减器数量的教程和线程,并编写自定义分区器来优化作业,但我一直认为,它是否适用于单个节点集群? 这取决于。 组合器在映射和缩减之间运行,如果它们被正确使用,您肯定会感觉到单个节点上的影响。 自定义分区 - 可能不行,数据在减少之前会击中同一磁盘。 它们会影响逻辑,即减速器接收的数据,但可能不是性能 与多节点群集相比,在单个节点群集上运行MapReduce作业的损失是多少? 处理能力。 如果您可以通过单个节点设置数据,那么您可能不应该首先使用Hadoop进行处理。 在这种情况下,通过拆分 ...
-
最后,我成功运行代码并更正错误。 该错误是由于在机器中本地运行mapreduce程序我将其更改为在纱线中运行并且代码适用于所有类型的数据 Finally i succeeded to run the code and correct the error. The error was due to running the mapreduce program locally in the machine i changed it to run in yarn and the code works fine fo ...
-
谢谢你的建议。 事实证明它是一个blooper,我只放了两个/而不是文件中给出的三个URI。 它现在有效! thanks for the suggestions. It turned out to be a blooper, I have put only two /'s instead of three as given in the document for the URI. It works now !
-
Protobuf RPC在Hadoop 2.2.0单节点服务器上不可用?(Protobuf RPC not available on Hadoop 2.2.0 single node server?)[2022-06-01]
好的,找到原因,我连接到纱线资源管理器的错误端口。 正确的配置是:yarn.resourcemanager.address = localhost:8032 Ok, found the reason, I connected to the wrong port for the yarn resourcemanager. The correct configuration is: yarn.resourcemanager.address=localhost:8032