- 利用apt-get install 命令安装cdh3,所以首先要添加它的库(repository),方法如下:
新建文件/etc/apt/sources.list.d/cloudera.list,内容如下
deb http://archive.cloudera.com/debian <RELEASE>-cdh3 contrib
deb-src http://archive.cloudera.com/debian <RELEASE>-cdh3 contrib
其中<RELEASE>部分要用lsb_release -c命令的结过替换。如我的电脑的执行结果如下所示
hadoop@hzs-755-hzhang-desktop:/usr/lib$ lsb_release -c
Codename: lucid
那么替换的结果如下所示
deb http://archive.cloudera.com/debian lucid-cdh3 contrib
deb-src http://archive.cloudera.com/debian lucid-cdh3 contrib
保存退出。
执行一下下面的命令:
$ curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -
- 更新apt包的索引
$ sudo apt-get update
- 我们要安装hadoop,所以搜索下有哪些可用的版本
apt-cache search hadoop
- 安装hadoop-0.20
sudo apt-get install hadoop-0.20
- 安装完成后,接下来配置一下hadoop的伪分布式模式
conf/core-site.xml
:
<configuration> |
<property> |
<name>fs.default.name</name> |
<value>hdfs://localhost:9000</value> |
</property> |
</configuration> |
conf/hdfs-site.xml
:
<configuration> |
<property> |
<name>dfs.replication</name> |
<value>1</value> |
</property> |
</configuration> |
conf/mapred-site.xml
:
<configuration> |
<property> |
<name>mapred.job.tracker</name> |
<value>localhost:9001</value> |
</property> |
</configuration> |
同时别忘了修改hadoop-env.sh文件,指定一下JAVA_HOME的值。
- 由于cdh版本的hadoop不能用root帐户启动,所以我们接下来要创建hadoop用户和组
- 创建组hadoop,
sudo groupadd hadoop
- 创建用户hadoop,
sudo useradd -g hadoop -d /home/hadoop -m hadoop
- 修改用户hadoop的密码
sudo passwd hadoop
- 切换到用户hadoop
su - hadoop
- 验证下如下命令是否需要输入密码,
ssh localhost
如果需要密码,那么执行
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
- 最后启动hadoop,并通过访问下面两个连接,如果可以访问说明hadoop安装成功。
bin/start-all.sh
NameNode
-
http://localhost:50070/
JobTracker
-
http://localhost:50030
参考:
https://ccp.cloudera.com/display/CDHDOC/CDH3+Installation
http://hadoop.apache.org/common/docs/r0.20.2/quickstart.html
分享到:
相关推荐
ubuntu下安装hadoop集群,设置ssh对其他node无密码访问
CDH6.3.2完整安装包网盘下载,包含 CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha256、CDH-6.3.2-1....
ubuntu16.04 安装Hadoop大数据平台CDH 5.14.1,通过虚拟机VMware安装Ubuntu之后,安装Hadoop大数据平台,使用CDH5.14.1
Ubuntu安装CDH集群 CDH CM NTP HADOOP Spark 等插件集成
Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf
Cloudera 企业级数据中心的安装文档,基于Ubuntu 14.04( trusty) 本地快速安装 CDH 5.4.7,这篇文档将采用5节点,重介绍 Cloudera 管理器与 CDH 的安装注意事项,欢迎大数据工程师下载搭建测试环境.
cdh离线安装教程;enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-server-...
CDH6安装步骤主要包括以下四部分: 1.安全前置准备,包括安装操作系统、关闭防火墙、同步服务器时钟等; 2.外部数据库如MySQL安装 3.安装Cloudera Manager; 4.安装CDH集群; 请务必注意CDH6的安装前置条件包括如下...
Hadoop2.6 Ubuntu 64位 Snappy支持
本人亲自安装测试通过后整理的的cdh5.16.2离线安装教程 CM安装及部署教程.md cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz manifest.json CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 CDH-5.16.2-1.cdh5.16.2...
CDH5.14.2在ubuntu16.04.5-server 下离线安装的详细文档,文档中涉及的deb包可在我的博客中找到。
Cloudera Hadoop 5(CDH5) 现在,您可以运行Cloudera快速入门映像,而无需承担虚拟机的所有开销。 只需使用docker-cloudera-quickstart映像即可。 基于Ubuntu 14.04(Trusty LTS) 与Cloudera CDH 5一起使用 #...
HDFS Ansible 手册 这包含使用 Hadoop 2.5.0 和 CDH 5.3 在高可用性模式下安装 HDFS 的角色。 这些角色最初基于此处找到的剧本: : 。 这些剧本经过测试可以在 ... 但如果需要在 RHEL 上安装,请将apt替换为yum 。
用于Thumbor的HBase存储模块介绍是一种智能成像服务。...在Ubuntu / Debian系统上安装您可以遵循适用于Ubuntu / Debian Systems Systems的,并安装以下软件包: sudo apt-get install hadoop-0.20 hadoop-0.20
无业游民 一些针对不同的Hadoop集群部署模型的无聊的例子 ... 这些脚本已在Ubuntu Desktop 12.04 LTS 64位GNU / Linux上进行了测试。 为什么是64位? 因为仅提供64位deb / rpm软件包。 此外,要运行64位Virt
依赖:tested with Ubuntu 12.04 and CentOS 6.5tested with CDH 5.2.0 (either MRV1 or YARN)ant (1.8.2 min)java (1.6 min)ivy (2.1 min)make (3.8.1 min)g (4.6.3 min)log4cxx (0.10.0)jansson (2.2.1 min)...