标签:hadoop

大数据平台环境搭建–1–安装hadoop2.2.0

发表于3年前(Dec 24, 2014 11:20:04 AM)  阅读 447  评论 0

分类: 开发运维环境 大数据

标签: hadoop datanode hdfs namenode yarn

1、下载安装包:http://mirrors.hust.edu.cn/apache/hadoop/common/ 下载2.2.0版本,解压到你要安装的目录,笔者安装目录为/home/hadoop/hadoop,解压后笔者将*.cmd命令文件全部进行了删除,避免命令提示干扰。

2、配置操作系统环境变量 /etc/profile:

3、 配置集群环境变量:

4、配置slave结点列表,即datanode

5、各个节点均做以上配置

6、使用ssh无密码登陆

7、启动hdfs

8、启动yarn

大数据平台环境搭建–0–安装前的准备

发表于3年前(Dec 24, 2014 11:16:52 AM)  阅读 2632  评论 0

分类: 开发运维环境 大数据

标签: hadoop hostname 安装前的准备

1、安装环境:
a)物理环境:家用台式机,AMD四核,8G内存,使用VMware虚拟两台CentOS做集群安装,每台1核,1G内存,一台ip192.168.0.201,hostname为tserver01,作为管理节点以及数据节点,另一台ip为192.168.0.202,hostname为tserver02作为数据节点
b)软件环境:CentOS6.4 64位,JDK1.7 64位,hadoop2.2.0(之前在笔记本上单机安装过2.5.0,安装其他应用时因为没有相配套的jar包,导致弄jar包很麻烦,所以这次集群安装使用的2.2.0)

2、配置固定静态IP:
集群节点都使用固定静态IP,对于服务器这是最基本的,如何配置ip就不说了,因为我也没配过…我直接使用界面进行设置的

3、配置hostname:
同配置IP一样,集群中各节点基本都使用hostname访问。修改hostname需要修改两个地方:
a)修改/etc/sysconfig/network&nb

......