×
文章路径: 开发运维环境

大数据平台环境搭建–4–安装Sqoop1.4.5

发表于3年前(Dec 24, 2014 11:24:32 AM)  阅读 1945  评论 0

分类: 开发运维环境 大数据

标签: sqoop

1、下载Sqoop http://mirrors.hust.edu.cn/apache/sqoop/ 在这里说明一下,sqoop2现在发布了,最新版本是1.99.3,sqoop2使用跟以前的sqoop1完全不同,之前我在单机上安装过sqoop2,在这里笔者安装的是sqoop1,最新版本为1.4.5

2、解压copy在主节点的hadoop目录,重命名为sqoop

3、配置系统环境变量/ect/profile
export SQOOP_HOME=/home/hadoop/sqoop
export PATH=$SQOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

4、配置conf/sqoop-env.sh
复制conf目录下的sqoop-env-template.sh重命名为sqoop-env.sh,sqoop-env.sh里面内容如下:

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=$HADOOP_HOME

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=$HADOOP_HOME

#set the path to where bin/hbase is available
export HBASE_HOME=$HBASE_HOME

#Set the path to where bin/hive is available
export HIVE_HOME=$HIVE_HOME

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/home/hadoop/zookeeper

5、复制数据库jdbc驱动到sqoop/lib目录
将要使用到的数据库,如oracle,mysql驱动复制到lib目录

6、测试:
在这里,另一台虚拟机ip192.168.0.106上面有一个oracle数据库,我们现在将其中的一个表users导入到hive中,使用命令
sqoop import –connect jdbc:oracle:thin:@192.168.0.106:1521:orcl –table USERS –username ibf –password ibf –hive-table USERS –hive-import
运行完成后,使用hive命令查看是否正确导入。其中,如果表面USERS使用小写的话,将会报错,错误内容如下:
14/11/03 21:41:08 ERROR tool.ImportTool: Imported Failed: There is no column found in the target table users. Please ensure that your table name is correct.
所以导入oracle数据表的时候,表名需要使用大写,奇怪的是,hive中生成的表名确是小写,在hive中表名和字段名是不区分大小写的。

发表评论