关键字:恒达平台非法赌博报案有用【┃稳定2⒏7⒏01705┃扣】】

余弦定理与新闻分类

发表于1个月前(Dec 23, 2019 11:47:00 AM)  阅读 62  评论 0

分类: 数学与编程

标签: 余弦定理 智能分类 分词

商品细类6w多个,京东平台商品细类也差不多有5k多个,如果对商品做采集,也可以采用该种方式进行智能分类。一般地,为了使分类更加准确,我们需要采集尽可能多的信息,尽可能有用的信息。商品详情,大部分都是一些

json工具jackson使用

发表于5年前(Dec 24, 2014 2:03:57 PM)  阅读 929  评论 0

分类: Java

标签: jackson json

平台对外提供接口设计返回json串。接口采用thrift提供服务,thrift本身支持直接传递对象,但对实体类侵入性太大,不实用,所以笔者大部分时候都是提供json串,供其他平台自己解析

大数据平台环境搭建–2–安装hbase0.98.7

发表于5年前(Dec 24, 2014 11:22:22 AM)  阅读 731  评论 0

分类: 开发运维环境 大数据

标签: hbase

1、下载安装包:http://mirrors.hust.edu.cn/apache/hbase/stable,这里我使用的是0.98.7最新版本,接上节,这里笔者将hbase安装在hadoop用户主目录,即/home/hadoop/hbase

2、修改ulimit和nproc参数:

3、 配置系统环境变量:

4、 配置conf/hbase-env.sh:

5、配置conf/hbase-site.xml

......

大数据平台环境搭建–4–安装Sqoop1.4.5

发表于5年前(Dec 24, 2014 11:24:32 AM)  阅读 2384  评论 0

分类: 开发运维环境 大数据

标签: sqoop

1、下载Sqoop http://mirrors.hust.edu.cn/apache/sqoop/ 在这里说明一下,sqoop2现在发布了,最新版本是1.99.3,sqoop2使用跟以前的sqoop1完全不同,之前我在单机上安装过sqoop2,在这里笔者安装的是sqoop1,最新版本为1.4.5

2、解压copy在主节点的hadoop目录,重命名为sqoop

3、配置系统环境变量/ect/profile
export SQOOP_HOME=/home/hadoop/sqoop
export PATH=$SQOOP_HOME/bin:$HIVE_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

4、配置conf/sqoop-env.sh
复制conf目录下的sqoop-env-template.sh重命名为sqoop-env.sh,sqoop-env.sh里面

......

大数据平台环境搭建–0–安装前的准备

发表于5年前(Dec 24, 2014 11:16:52 AM)  阅读 2891  评论 0

分类: 开发运维环境 大数据

标签: hadoop hostname 安装前的准备

1、安装环境:
a)物理环境:家用台式机,AMD四核,8G内存,使用VMware虚拟两台CentOS做集群安装,每台1核,1G内存,一台ip192.168.0.201,hostname为tserver01,作为管理节点以及数据节点,另一台ip为192.168.0.202,hostname为tserver02作为数据节点
b)软件环境:CentOS6.4 64位,JDK1.7 64位,hadoop2.2.0(之前在笔记本上单机安装过2.5.0,安装其他应用时因为没有相配套的jar包,导致弄jar包很麻烦,所以这次集群安装使用的2.2.0)

2、配置固定静态IP:
集群节点都使用固定静态IP,对于服务器这是最基本的,如何配置ip就不说了,因为我也没配过…我直接使用界面进行设置的

3、配置hostname:
同配置IP一样,集群中各节点基本都使用hostname访问。修改hostname需要修改两个地方:
a)修改/etc/sysconfig/network&nb

......

大数据平台环境搭建–1–安装hadoop2.2.0

发表于5年前(Dec 24, 2014 11:20:04 AM)  阅读 715  评论 0

分类: 开发运维环境 大数据

标签: hadoop datanode hdfs namenode yarn

1、下载安装包:http://mirrors.hust.edu.cn/apache/hadoop/common/ 下载2.2.0版本,解压到你要安装的目录,笔者安装目录为/home/hadoop/hadoop,解压后笔者将*.cmd命令文件全部进行了删除,避免命令提示干扰。

2、配置操作系统环境变量 /etc/profile:

3、 配置集群环境变量:

4、配置slave结点列表,即datanode

5、各个节点均做以上配置

6、使用ssh无密码登陆

7、启动hdfs

8、启动yarn

Thrift序列化框架的使用

发表于5年前(Dec 24, 2014 2:08:54 PM)  阅读 1563  评论 0

分类: Java

标签: thrift 序列化

1、Thrift是什么:Thrift是一个序列化框架,可以用来进行跨语言的服务开发,进行跨平台的RPC通信,最初由Facebook开发。类似的产品还有google使用的protobuf,以及Kryo