Map的JavaScript实现

发表于3年前(Dec 24, 2014 12:47:57 PM)  阅读 697  评论 0

分类: WEB前端 JS

标签: js map map

Java中的Map是一个很实用的集合,习惯了使用Java中的Map,换别的语言没Map时感觉很不爽,以前写Flex AS代码时碰到过用要用Map的情况,不过AS其实有Dictionary字典类可以代替Java中的Map,同时也可以使用对象的属性-值形式来实现Map,在这里JS的Map实现就是使用的对象的属性-值。实现很简单,这里只是为了让Java程序员轻松的编写JS代码。

大数据平台环境搭建–4–安装Sqoop1.4.5

发表于3年前(Dec 24, 2014 11:24:32 AM)  阅读 1977  评论 0

分类: 开发运维环境 大数据

标签: sqoop

1、下载Sqoop http://mirrors.hust.edu.cn/apache/sqoop/ 在这里说明一下,sqoop2现在发布了,最新版本是1.99.3,sqoop2使用跟以前的sqoop1完全不同,之前我在单机上安装过sqoop2,在这里笔者安装的是sqoop1,最新版本为1.4.5

2、解压copy在主节点的hadoop目录,重命名为sqoop

3、配置系统环境变量/ect/profile
export SQOOP_HOME=/home/hadoop/sqoop
export PATH=$SQOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

4、配置conf/sqoop-env.sh
复制conf目录下的sqoop-env-template.sh重命名为sqoop-env.sh,sqoop-env.sh里面

......

大数据平台环境搭建–3–安装hive0.13.1

发表于3年前(Dec 24, 2014 11:23:52 AM)  阅读 445  评论 0

分类: 开发运维环境 大数据

标签: hive

hive的安装相比前面几个组件要简单得很多。

1、下载安装包:http://mirror.bit.edu.cn/apache/hive/stable/ 当前稳定版本0.13.1

2、复制解压到要安装的节点,这里安装到主节点的hadoop用户主目录下。注意,有人说hive一般是不用分发到多台服务器的,在一台上安装就可以了。但是笔者在一次poc测试中,进行1000并发压力测试,发现一台hive server在处理一定请求以后将会出现垃圾回收的情况,导致有一些请求会格外慢,拖慢了整个性能测试成绩,后面使用多台hive server分担压力,情况明显好转,所以凡事都不是绝对的,具体情况具体处理。

3、修改系统环境变量/etc/profile
export HIVE_HOME=/home/hadoop/hive
export PATH=$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PAT

......

大数据平台环境搭建–2–安装hbase0.98.7

发表于3年前(Dec 24, 2014 11:22:22 AM)  阅读 382  评论 0

分类: 开发运维环境 大数据

标签: hbase

1、下载安装包:http://mirrors.hust.edu.cn/apache/hbase/stable,这里我使用的是0.98.7最新版本,接上节,这里笔者将hbase安装在hadoop用户主目录,即/home/hadoop/hbase

2、修改ulimit和nproc参数:

3、 配置系统环境变量:

4、 配置conf/hbase-env.sh:

5、配置conf/hbase-site.xml

......

大数据平台环境搭建–1–安装hadoop2.2.0

发表于3年前(Dec 24, 2014 11:20:04 AM)  阅读 481  评论 0

分类: 开发运维环境 大数据

标签: hadoop datanode hdfs namenode yarn

1、下载安装包:http://mirrors.hust.edu.cn/apache/hadoop/common/ 下载2.2.0版本,解压到你要安装的目录,笔者安装目录为/home/hadoop/hadoop,解压后笔者将*.cmd命令文件全部进行了删除,避免命令提示干扰。

2、配置操作系统环境变量 /etc/profile:

3、 配置集群环境变量:

4、配置slave结点列表,即datanode

5、各个节点均做以上配置

6、使用ssh无密码登陆

7、启动hdfs

8、启动yarn

大数据平台环境搭建–0–安装前的准备

发表于3年前(Dec 24, 2014 11:16:52 AM)  阅读 2658  评论 0

分类: 开发运维环境 大数据

标签: hadoop hostname 安装前的准备

1、安装环境:
a)物理环境:家用台式机,AMD四核,8G内存,使用VMware虚拟两台CentOS做集群安装,每台1核,1G内存,一台ip192.168.0.201,hostname为tserver01,作为管理节点以及数据节点,另一台ip为192.168.0.202,hostname为tserver02作为数据节点
b)软件环境:CentOS6.4 64位,JDK1.7 64位,hadoop2.2.0(之前在笔记本上单机安装过2.5.0,安装其他应用时因为没有相配套的jar包,导致弄jar包很麻烦,所以这次集群安装使用的2.2.0)

2、配置固定静态IP:
集群节点都使用固定静态IP,对于服务器这是最基本的,如何配置ip就不说了,因为我也没配过…我直接使用界面进行设置的

3、配置hostname:
同配置IP一样,集群中各节点基本都使用hostname访问。修改hostname需要修改两个地方:
a)修改/etc/sysconfig/network&nb

......

Maven工程deploy时的一种报错

发表于3年前(Dec 24, 2014 11:13:31 AM)  阅读 636  评论 0

分类: 开发运维环境

标签: maven-deploy-plugin redeploy

Maven工程在执行deploy时,发生如下报错:

后面经过网络查询,发现一般是权限问题,不能上传jar包上去,但笔者之前已经发布一个版本上去,这次只是做了一些修正,版本号没变,原来nexus里面还有redeploy权限的设定。

用管理员登陆nexus,点击左边的Repositories选项,然后选中Releases仓库,在下面的Configuration选项卡中Access Setting面板中的Deployment Policy选项,默认的是Disable Redeploy,即不能重新部署,改成Allow Redeploy即可。

eclipse小技巧:设置eclipse软件语言

发表于3年前(Dec 24, 2014 11:11:11 AM)  阅读 379  评论 0

分类: 开发运维环境

标签: eclipse语言切换

eclipse默认安装包是使用的英文,我们可以安装各种语言插件包使用自己熟悉的语言来编写代码。

但是有时有些eclipse插件并没有语言选择,举个例子,你安装了一个flex插件,这个插件是中文版的,导致你启动时,eclipse默认语言全变成中文,习惯了使用英文,一下子使用中文反而变扭,这时我们可以通过修改快捷方式命令来简单快速的切换语言,当然前提是你要安装了需要使用语言的插件包。

例如笔者的eclipse快捷方式如下:

“C:\Program Files\eclipse\eclipse.exe” -nl en 这就是使用英文

“C:\Program Files\eclipse\eclipse.exe” -nl zh 这就是使用中文

Ubuntu系统更新错误E: Encountered a section with no Package: header

发表于3年前(Dec 24, 2014 11:09:56 AM)  阅读 559  评论 0

分类: 开发运维环境

标签: Encountered a section with no Package: header ubuntu

Ubuntu系统用的时候一般有更新都选择了更新,但前几天出现更新出现了错误,核心的错误内容为

Reading package lists… Error!
E: Encountered a section with no Package: header
E: Problem with MergeList /var/lib/apt/lists/ftp.sjtu.edu.cn_ubuntu_dists_precise-security_restricted_binary-i386_Packages
E: The package lists or status file could not be parsed or opened.

因为影响不大,当初不以为意,后面发现使用apt-get安装程序时,将报出同样的错误导致不能安装程序,所以只好网上求助解决方案,找到方案如下,解决之:

sudo rm /var/lib/apt/lists/* -vf

sud

......

Weblogic进入控制台特别慢

发表于3年前(Dec 24, 2014 11:07:49 AM)  阅读 595  评论 0

分类: 开发运维环境

标签: Weblogic 控制台慢

Weblogic进入控制台特别慢实际上是JVM在Linux下的bug,他想调用一个随机函数但取不到

暂时的解决办法是

1)较好的解决办法: 在Weblogic启动参数里添加

“-Djava.security.egd=file:/dev/./urandom” (/dev/urandom 无法启动)

2)最差的解决办法: 执行命令 mv /dev/random /dev/random.ORIG ; ln /dev/urandom /dev/random

将/dev/random 指向/dev/urandom

3)最好的解决办法:  修改Linux上Weblogic使用的jdk $JAVA_HOME/jre/lib/security/java.security 文件

将securerandom.source=file:/dev/urandom 修改为

securerandom.source=fi

......