扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
Hadoop集群部署:https://www.cnblogs.com/Studywith/p/16948866.html
湖口网站制作公司哪家好,找创新互联公司!从网页设计、网站建设、微信开发、APP开发、响应式网站设计等网站项目制作,到程序开发,运营维护。创新互联公司从2013年开始到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联公司。一.Hive的三种部署模式
1.嵌入模式
使用内嵌的Derby数据库存储元数据,是Hive最简单的部署方式。嵌入模式下的Hive不支持多会话连接,不适合生产环境,只适合测试环境。
2.本地模式
使用本地独立数据库存储元数据,这里的独立数据库通常使用MySQL数据库。本地模式部署的Hive支持元数据共享,并且支持多会话连接。
3.远程模式
远程模式与本地模式一样,同样是使用独立数据库存储元数据。不同的是,远程模式使用的是远端的独立数据库,而本地模式使用的是本地独立数据库。远程模式主要应用于Hive客户端较多的情况。
二.嵌入模式
1.下载安装包+上传+解压
官网:https://dlcdn.apache.org/hive/
这里下载的是apache-hive-2.3.9-bin.tar.gz,上传到node01的/export/software/,解压到/export/servers/
tar -zxvf /export/software/apache-hive-2.3.9-bin.tar.gz -C /export/servers/
2.系统环境变量
便于在各个文件夹下可以直接调用Hive
vim /etc/profile
HIVE_HOME=/export/servers/apache-hive-2.3.9-bin
PATH=$PATH:$HIVE_HOME/bin
export HIVE_HOME PATH
source /etc/profile
3.Hive配置文件
参考:https://blog.csdn.net/QYHuiiQ/article/details/124157773
(1)hive-env.sh
cd /export/servers/apache-hive-2.3.9-bin/conf
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
export HIVE_CONF_DIR=/export/servers/apache-hive-2.3.9-bin/conf
export JAVA_HOME=/export/servers/jdk1.8.0_161
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export HIVE_AUX_JARS_PATH=/export/servers/apache-hive-2.3.9-bin/lib
(2)hive-site.xml
cp hive-default.xml.template hive-site.xml
vim hive-site.xml
(命令的意思就是全文查找对应符号,将符号替换为指定符号)
#1.将${system:java.io.tmpdir}替换为我们的tmp目录(iotmp,该目录会自动创建)。直接在当前模式下输入以下命令即可替换,不需要切换为insert模式
:%s#${system:java.io.tmpdir}#/export/servers/apache-hive-2.3.9-bin/iotmp#g
#执行完之后,会提示我们替换了4个地方。
#2.再将系统用户名替换为root
:%s/${system:user.name}/root#g
#执行完之后提示我们修改了3个地方。
4.初始化 Derby
在启动Hive之前需要在Hive的安装目录下进行初始化Derby数据库的操作,出现“schemaTool completed”信息,则证明成功初始化Derby数据库。
cd /export/servers/apache-hive-2.3.9-bin/
bin/schematool -initSchema -dbType derby
5.启动Hadoop
必须先启动Hadoop再启动Hive
#node01,02,03分别依次执行(具体见上文Hadoop执行)
zkServer.sh start
zkServer.sh status
hadoop-daemon.sh start journalnode
#node01执行
start-dfs.sh
start-yarn.sh
#完成后分别执行jps查看启动情况
node01
node02
node03
6.启动Hive客户端工具
执行“hive”命令启动Hive客户端工具HiveCLI。可以执行“quit;”命令退出Hive客户端工具HiveCLI,此时在Hive安装目录下会默认生成文件derby.log和文件夹metastore_db。
另外两种待更新~
你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流