扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
在安装CDH版本的hadoop的时候, 我们下载下来的CDH的hadoop安装包中, 并没有native包,不支持各个任务阶段的压缩功能，但在生产任务中是必须要支持压缩功能的，所以要对CDH进行编译以支持压缩功能；
站在用户的角度思考问题，与客户深入沟通，找到岚县网站设计与岚县网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：成都网站建设、成都网站设计、企业官网、英文网站、手机端网站、网站推广、国际域名空间、网页空间、企业邮箱。业务覆盖岚县地区。
本次编译使用的各软件版本：
cdh：hadoop-2.6.0-cdh6.7.0-src.tar.gz jdk：1.7（经多位同学踩坑，不要使用1.8版本的） maven：apache-maven-3.3.9-bin.tar.gz protobuf：protobuf-2.5.0.tar.gz 系统：Centos 7.5 cdh官方下载地址：http://archive.cloudera.com/cdh6/cdh/5
依赖的软件百度网盘地址
| repo.tar.gz | 链接：https://pan.baidu.com/s/1wGCgV_3R3VUm2ka_aVA8GQ | 提取码：lrej |
| Hadoop Hadoop-2.6.0-cdh6.7.0-src.tar.gz | 链接：https://pan.baidu.com/s/1uRMGIhLSL9QHT-Ee4F16jw | 提取码：jb1d |
| jdk jdk-7u80-linux-x64.tar.gz | 链接：https://pan.baidu.com/s/1xSCQ8rjABVI-zDFQS5nCPA | 提取码：lfze |
| maven apache-maven-3.3.9-bin.tar.gz | 链接：https://pan.baidu.com/s/1ddkdkLW7r7ahFZmgACGkVw | 提取码：fdfz |
| protobuf protobuf-2.5.0.tar.gz | 链接：https://pan.baidu.com/s/1RSNZGd_ThwknMB3vDkEfhQ | 提取码：hvc2 |
首先安装各种依赖：
yum install -y svn ncurses-devel yum install -y gcc gcc-c++ make cmake yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake cmake
配置jdk的环境变量：
[root@hadoop004 soft]# cat /etc/profile.d/java.sh export JAVA_HOME=/usr/java/jdk export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$PATH [root@hadoop004 soft]# java -version java version "1.7.0_79" Java(TM) SE Runtime Environment (build 1.7.0_79-b15) Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)
配置maven的环境变量：
#配置环境变量 [root@hadoop004 soft]# cat /etc/profile.d/maven.sh MAVEN_HOME=/usr/local/maven export PATH=$MAVEN_HOME/bin:$PATH [root@hadoop004 local]# mvn --version Apache Maven 3.3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11-11T00:41:47+08:00) Maven home: /usr/local/maven Java version: 1.7.0_79, vendor: Oracle Corporation Java home: /usr/java/jdk1.7.0_79/jre Default locale: en_US, platform encoding: UTF-8 OS name: "linux", version: "3.10.0-862.3.2.el7.x86_64", arch: "amd64", family: "unix" #配置mvn的本地存放地址/usr/local/maven/repo 将上面下载repo.tar.gz解压后的内容放在此本地仓库目录下，以便于cdh编译时直接使用，否则下载将浪费大量的时间 #配置mvn下载源为阿里云的maven仓库alimaven aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central
编译安装protobuf并配置环境变量：
#编译安装命令 tar -zxvf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./configure --prefix=/root/protobuf/ make make install #配置环境变量 [root@hadoop004 soft]# cat /etc/profile.d/protobuf.sh PROTOC_HOME=/usr/local/protobuf export PATH=$PROTOC_HOME/bin:$PATH #查看是否安装成功 source /etc/profile.d/protobuf.sh [root@hadoop004 soft]# protoc --version libprotoc 2.5.0
编译cdh的hadoop源码：
tar -xzvf hadoop-2.6.0-cdh6.7.0-src.tar.gz cd hadoop-2.6.0-cdh6.7.0 mvn clean package -Pdist,native -DskipTests -Dtar
遇到的错误：