分类: 大数据

大数据平台环境搭建–4–安装Sqoop1.4.5

发表于3年前(Dec 24, 2014 11:24:32 AM)  阅读 1824  评论 0

分类: 开发运维环境 大数据

标签: sqoop

1、下载Sqoop http://mirrors.hust.edu.cn/apache/sqoop/ 在这里说明一下,sqoop2现在发布了,最新版本是1.99.3,sqoop2使用跟以前的sqoop1完全不同,之前我在单机上安装过sqoop2,在这里笔者安装的是sqoop1,最新版本为1.4.5

2、解压copy在主节点的hadoop目录,重命名为sqoop

3、配置系统环境变量/ect/profile
export SQOOP_HOME=/home/hadoop/sqoop
export PATH=$SQOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

4、配置conf/sqoop-env.sh
复制conf目录下的sqoop-env-template.sh重命名为sqoop-env.sh,sqoop-env.sh里面

......

大数据平台环境搭建–3–安装hive0.13.1

发表于3年前(Dec 24, 2014 11:23:52 AM)  阅读 367  评论 0

分类: 开发运维环境 大数据

标签: hive

hive的安装相比前面几个组件要简单得很多。

1、下载安装包:http://mirror.bit.edu.cn/apache/hive/stable/ 当前稳定版本0.13.1

2、复制解压到要安装的节点,这里安装到主节点的hadoop用户主目录下。注意,有人说hive一般是不用分发到多台服务器的,在一台上安装就可以了。但是笔者在一次poc测试中,进行1000并发压力测试,发现一台hive server在处理一定请求以后将会出现垃圾回收的情况,导致有一些请求会格外慢,拖慢了整个性能测试成绩,后面使用多台hive server分担压力,情况明显好转,所以凡事都不是绝对的,具体情况具体处理。

3、修改系统环境变量/etc/profile
export HIVE_HOME=/home/hadoop/hive
export PATH=$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PAT

......

大数据平台环境搭建–2–安装hbase0.98.7

发表于3年前(Dec 24, 2014 11:22:22 AM)  阅读 326  评论 0

分类: 开发运维环境 大数据

标签: hbase

1、下载安装包:http://mirrors.hust.edu.cn/apache/hbase/stable,这里我使用的是0.98.7最新版本,接上节,这里笔者将hbase安装在hadoop用户主目录,即/home/hadoop/hbase

2、修改ulimit和nproc参数:

3、 配置系统环境变量:

4、 配置conf/hbase-env.sh:

5、配置conf/hbase-site.xml

......

大数据平台环境搭建–1–安装hadoop2.2.0

发表于3年前(Dec 24, 2014 11:20:04 AM)  阅读 388  评论 0

分类: 开发运维环境 大数据

标签: hadoop datanode hdfs namenode yarn

1、下载安装包:http://mirrors.hust.edu.cn/apache/hadoop/common/ 下载2.2.0版本,解压到你要安装的目录,笔者安装目录为/home/hadoop/hadoop,解压后笔者将*.cmd命令文件全部进行了删除,避免命令提示干扰。

2、配置操作系统环境变量 /etc/profile:

3、 配置集群环境变量:

4、配置slave结点列表,即datanode

5、各个节点均做以上配置

6、使用ssh无密码登陆

7、启动hdfs

8、启动yarn

大数据平台环境搭建–0–安装前的准备

发表于3年前(Dec 24, 2014 11:16:52 AM)  阅读 2573  评论 0

分类: 开发运维环境 大数据

标签: hadoop hostname 安装前的准备

1、安装环境:
a)物理环境:家用台式机,AMD四核,8G内存,使用VMware虚拟两台CentOS做集群安装,每台1核,1G内存,一台ip192.168.0.201,hostname为tserver01,作为管理节点以及数据节点,另一台ip为192.168.0.202,hostname为tserver02作为数据节点
b)软件环境:CentOS6.4 64位,JDK1.7 64位,hadoop2.2.0(之前在笔记本上单机安装过2.5.0,安装其他应用时因为没有相配套的jar包,导致弄jar包很麻烦,所以这次集群安装使用的2.2.0)

2、配置固定静态IP:
集群节点都使用固定静态IP,对于服务器这是最基本的,如何配置ip就不说了,因为我也没配过…我直接使用界面进行设置的

3、配置hostname:
同配置IP一样,集群中各节点基本都使用hostname访问。修改hostname需要修改两个地方:
a)修改/etc/sysconfig/network&nb

......