一、环境准备
1.CentOS配置
最好是用新克隆的虚拟机 ,虚拟机内存设置大一点(我设置的4G),配置网络,主机名,关闭防火墙,关闭selinux
注意:采用root角色编译,减少文件夹权限出现问题
2.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)
(1)hadoop-2.7.2-src.tar.gz
(2)jdk-8u144-linux-x64.tar.gz
(3)apache-ant-1.9.9-bin.tar.gz(build工具,打包用的)
(4)apache-maven-3.0.5-bin.tar.gz
(5)protobuf-2.5.0.tar.gz(序列化的框架)
3.jar包安装(注意:所有操作必须在root用户下完成)
JDK
1.解压
tar -zxf jdk-8u141-linux-x64.tar.gz -C /export/compile
2.配置环境变量
vim /etc/profile export JAVA_HOME=/export/compile/jdk1.8.0_141 export PATH=$PATH:$JAVA_HOME/bin
3.更新profile文件
source /etc/profile
4.验证安装是否成功
验证命令:jps 出现jps进程表示安装配置成功
2.Maven
1.解压&重命名
tar -zxf apache-maven-3.0.5-bin.tar.gz -C /export/compile mv /export/compile/apache-maven-3.0.5-bin.tar.gz /export/compile/maven
2.修改配置文件
vim /export/compile/maven/conf/settings.xml
添加阿里云镜像地址:
<mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>central</mirrorOf> <name>Nexus aliyun</name> <url>http://maven.aliyun.com/nexus/content/groups/public</url> </mirror> </mirrors>
3.配置环境变量
vim /etc/profile export MAVEN_HOME=/export/compile/maven export PATH=$PATH:$MAVEN_HOME/bin
4.更新profile文件
source /etc/profile
5.验证安装是否成功
验证命令:mvn -version
出现版本信息表示安装成功
3.ant
1.解压&重命名
tar -zxf apache-ant-1.9.9-bin.tar.gz -C /export/compile mv apache-ant-1.9.9 ant
2.配置环境变量
vim /etc/profile export ANT_HOME=/export/compile/ant export PATH=$PATH:$ANT_HOME/bin
3.更新profile文件
source /etc/profile
4.验证安装是否成功
验证命令:ant -version 出现版本信息表示安装成功
4.glibc-headers
yum -y install glibc-headers yum -y install gcc-c++
5.make和cmake
yum -y install make yum -y install cmake
6.protobuf
1.解压&重命名&进入protobuf根目录
tar -zxf protobuf-2.5.0.tar.gz -C /export/compile mv protobuf-2.5.0/ protobuf cd /export/compile/protobuf
2.依次执行如下命令
1 ./configure
2 make
3 make check
4 make install
5 ldconfig
3.配置环境变量
vim /etc/profile export LD_LIBRARY_PATH=/export/compile/protobuf export PATH=$PATH:$LD_LIBRARY_PATH
4.更新profile文件
source /etc/profile
5.验证安装是否成功
验证命令:protoc --version
出现版本信息表示安装成功
7.安装openssl库
yum -y install openssl-devel
8.安装 ncurses-devel库
yum -y install ncurses-devel
二、编译源码
1.解压
tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile
2.进入hadoop源码主目录
/export/compile/hadoop-2.7.2-src
3.通过maven执行编译命令
mvn package -Pdist,native -DskipTests -Dtar
4.然后就是漫长的等待...(大约等待时间30分钟左右,最终成功是全部SUCCESS,如下图所示)
5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target
目录下
三、编译源码过程中常见的问题及解决方案
(1)MAVEN install时候JVM内存溢出
原因以及处理方式:在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。
(详情查阅MAVEN 编译 JVM调优问题,如:http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method)
(2)编译期间maven报错
原因以及处理方式:可能网络阻塞问题导致依赖库下载不完整导致,多次执行命令(一次通过比较难):
mvn package -Pdist,nativeN -DskipTests -Dtar
(3)报ant、protobuf等错误
原因以及处理方式:插件下载未完整或者插件版本问题,最开始链接有较多特殊情况。
总结
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
P70系列延期,华为新旗舰将在下月发布
3月20日消息,近期博主@数码闲聊站 透露,原定三月份发布的华为新旗舰P70系列延期发布,预计4月份上市。
而博主@定焦数码 爆料,华为的P70系列在定位上已经超过了Mate60,成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢?
根据目前爆料的消息来看,华为P70系列将推出三个版本,其中P70和P70 Pro采用了三角形的摄像头模组设计,而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智,但辨识度绝对拉满。
更新日志
- 欢乐钓鱼大师银翼的奇术师怎么钓 欢乐钓鱼大师银翼的奇术师钓鱼攻略
- 陈琳.1994-你的柔情我永远不懂[WAV]
- 邓瑞霞2006-广东风云2IN1[南方]2CD[WAV+CUE]
- 黄征-爱情诺曼底-2003-APE整轨
- 妥协只是暂时的!《对马岛之魂》PC版的多人模式仍需绑定PSN
- 开启抢先体验后 《盗贼之海》成PS美国第二畅销游戏
- 《恶意不息》老板再用中文询问中国玩家:对汉化是否满意
- 2个女生.2000-坚固友情精选辑【EMI百代】【WAV+CUE】
- 潘越云李丽芬吴楚楚.1981-三人展(滚石民歌巨星系列)【滚石】【WAV+CUE】.
- 元若蓝.2006-爱无限大【滚石】【WAV+CUE】
- 刘德华《经典传说·粤语精选集》[WAV/分轨][610MB]
- 庄心妍《2020年新专辑歌曲 念》[WAV/分轨][400MB]
- 群星《音色精美绝伦 粤语经典 2CD》[WAV+CUE][1.4GB]
- 欢乐钓鱼大师不充钱怎么玩 欢乐钓鱼大师不充钱搞鱼竿玩法介绍
- 欢乐钓鱼大师隐藏奖励有什么 欢乐钓鱼大师隐藏奖励介绍