扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要介绍Hadoop-Centos7安装和Hadoop存储规划的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!
成都创新互联是一家集网站建设,丰宁企业网站建设,丰宁品牌网站建设,网站定制,丰宁网站建设报价,网络营销,网络优化,丰宁网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
一、安装VMware12、CentOS7:
1、VMware 12 专业版永久许可证密钥:5A02H-AU243-TZJ49-GTC7K-3C61N
2、安装Centos7:
2.1、创建新的虚拟机:典型(推荐)—稍后安装操作系统—Linux(L)—版本CentOS 64位—虚拟机名称:centos64—将虚拟磁盘存储为单个文件—自定义硬件—网络连接:桥接模式—选择ISO镜像:CentOS-7-x86_64
2.2、开启此虚拟机—方向键选择—InstallingCentos7(第一项)—回车—选择English—Next—
设置安装选项:
安装软件选择:
手动分区:
存储规划:/boot : 200M,SWAP : 一般是内存的1~2倍,剩余全部根分区/
设置网络和名称:
开启网络:
设置名称:
2.3、安装完成后重启
2.4、特别注意:安装完成后ifconfig查看网络命令不可用,新版本后没有该命令,可以使用ip addr命令来查看。
如何启用并使用ifconfig命令(服务器可以联网的情况下):
2.4.1、找到哪个包提供了ifconfig命令,输入以下命令:yum provides ifconfig
2.4.2、net-tools包提供了ifconfig命令,安装net-tools包,输入如下命令:yum install net-tools
2.4.3、安装完成后就可以使用ifconfig 命令了。
2.5、网络配置:vim /etc/sysconfig/network-scripts/ifcfg-eno16777736,
配置完成后重启网卡:/etc/init.d/network restart
2.5.1、配置静态IP地址:
/etc/sysconfig/network-scripts
vim ifcfg-eno16777736(名称可能会不同)
重启网卡:
systemctl restart network.service
ip addr
2.6、安装vim:yum install
vim-enhanced -y
二、CentOS7系统优化
1、创建hadoop用户
useradd hadoop
echo "hadoop123">
2、查看hadoop用户是否添加成功
su - hadoop
su - hadoop
3、退出,回到root用户
exit
exit
4、查看系统已安装文件
yum grouplist
如果安装过程落了部分包组或或者其他软件安装时没选,在安装后可以按如下方式补上安装时未安装的包组:
yum groupinstall "Compatibility Libraries""Base""Development tools"
yum gruopinstall "debugging Tools""Dial-up Networking Support"
可以通过yum groupinfo 包组查看具体安装的组件。
运行 yum groupinstall "Compatibility libraries"报错:
[root@server1 mnt]# yum groupinstall Compatibility libraries
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
* base: mirrors.btte.net
* extras: mirrors.skyshe.cn
* updates: mirrors.yun-idc.com
Warning: group Compatibility does not exist.
Warning: group libraries does not exist.
Maybe run: yum groups mark install (see man yum)
No packages in any requested group available to install or update
解决方法:
yum clean all 清空信息
yum makecache 创建缓存
sudo yum groups install "Compatibility libraries"
可以通过yum groupinfo 包组查看具体安装的组件。
5、关闭SELINUX:
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/config
setenforce 0
grep SELINUX=disabled /etc/selinux/config
6、查看系统默认运行级别:runlevel
7、查看在3这个运行级别下自动启动了哪些服务
旧指令:
chkconfig
chkconfig --list|grep 3:on
chkconfig --list|grep 3:on | cut -d " " -f1
新指令:
systemctl list-units --type=service
systemctl list-unit-files|grep enabled
systemctl list-unit-files --type=service|grep enabled
8、关闭自动运行服务:
旧指令:
chkconfig network(服务名) off(关闭自动启动)/on(开启自动启动)
新指令:
systemctl disable(关闭自动启动)/enable(开启自动启动) network.service(服务名)
9、设置以下服务自动启动:
crond, ntpdate, lvm2-monitor,blk-availability, rsyslog ,sshd,network
10、关闭防火墙:
查看状态: iptables -L -n
systemctl list-unit-files --type=service|grep enabled
11、权限管理:给hadoop用户提升权限(通过sudo可以执行hadoop用户没有权限执行的命令)
echo 'hadoop ALL=(ALL) NOPASSWD:ALL' >>/etc/sudoers
su - hadoop
sudo -l
sudo su - (不需要密码就可以登录到root用户)
exit
12、增大文件描述符
echo '* - nofile 65535' >> /etc/security/limits.conf
ulimit -a
logout
ulimit -a
这个是全局性的改变,可以登录hadoop用户验证一下:
su - hadoop
ulimit -a
exit
三、vmware克隆虚拟机:
1、管理-克隆-下一步-虚拟机中的当前状态-创建完整克隆-虚拟机名称
2、配置IP地址
3、修改主机名:查看主机名hostname、hostnamectl
第一种:hostname 主机名
hostname 主机名称
这种方式,只能修改临时的主机名,当重启机器后,主机名称又变回来了。
第二种:hostnamectl set-hostname
命令行中输入
hostnamectl set-hostname <主机名>
使用这种方式修改,可以永久性的修改主机名称!
centos6虚拟机eth0无法启动解决:
其实是因为无线网卡和实体线连接电脑使用的虚拟机网卡格式不同。无线网卡使用eth0,实体线使用eth2。
vim /etc/udev/rules.d/70-persistent-ipoib.rules 文档,把对应的eth0网卡配置MAC地址修改为现用的网卡MAC地址,保存退出重启网卡即可,最后重启系统。
重启网卡
/etc/init.d/network restart
rm -f /etc/udev/rules.d/70-persistent-ipoib.rules
cat /etc/sysconfig/network
删除两项ifcfg-eth0的配置,重启系统即可。
以上是“Hadoop-Centos7安装和Hadoop存储规划的示例分析”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流