扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章给大家分享的是有关kylin怎样安装使用的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。
创新互联建站长期为上千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为和硕企业提供专业的成都网站设计、成都网站建设,和硕网站改版等技术服务。拥有十多年丰富建站经验和众多成功案例,为您定制开发。我选的kylin版本是1.5.4,因为买了一本叫《Apache kylin权威指南》,书中以1.5.x为蓝本,为了避免少踩坑,保持和书中版本一致。
关于kylin安装环境,参考 Hadoop Environment ,下面是我自己的环境,只是为了学习,所有的安装都是伪分布式的,也没有关注高可用
Ubuntu 14.04.5 LTS
hadoop-2.7.1.tar.gz
jdk-8u172-linux-x64.tar.gz
hbase-1.2.5-bin.tar.gz
apache-kylin-1.5.4-HBase1.x-bin.tar.gz
apache-hive-1.2.1-bin.tar.gz
特别注意点:
kylin的版本要和hbase的版本对应,具体参考官网说明( Hadoop Environment ),其实kylin打包的名字也能看出来
注意hadoop和hbase的版本( hbase hadoop version )
jdk和hbase的版本( hbase jdk version )
hive和jdk版本( hive jdk version )
最好在linux环境下安装,在mac下,启动kylin的时候,脚本会报错,当然可以改脚本 ( mac无法启动kylin )。此外,在Ubuntu下安装也不省心,启动kylin也会报错,改脚本吧。那么,最好使用centos,我尝试了,不会报错。
下载安装包,这个链接可以下载到apache所有的安装包,但速度不快,有些找不到的安装包,可以在这里下载( Apache Software Foundation Distribution Directory ),解压
设置环境变量
export JAVA_HOME=/root/jdk1.8.0_172 export HADOOP_HOME=/root/hadoop-2.7.1 export HIVE_HOME=/root/hive-1.2.1 export HBASE_HOME=/root/hbase-1.2.5 export KYLIN_HOME=/root/kylin-1.5.4 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$KYLIN_HOME/bin
安装hadoop,主要编辑的文件有:core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml(都在$HADOOP_HOME/etc/hadoop目录内)( hadoop Pseudo-Distributed Operation )
然后,format namenodesystem:java.io.tmpdir和system:java.io.tmpdir和{system:user.name}分别替换成/tmp和${user.name},当然还需要把mysql-connector-java.x.jar二方包加入hive的lib目录中,特别注意,使用5.x版本,不要使用6.x版本。最后,运行bin/hive
安装hbase:主要修改的文件为hbase-env.sh、hbase-site.xml( quickstart )
修改hbase-env.sh,添加export JAVA_HOME=/root/jdk1.8.0_172
修改hbase-site.xml
hbase.rootdir hdfs://localhost:9000/hbase hbase.cluster.distributed true hbase.zookeeper.property.dataDir /root/tmp/hbase/zookeeper
特别注意,对于伪分布式安装,hbase.cluster.distributed要设置为true。此外,这里使用hbase内置的zookeeper。最后,执行bin/satrt-hbase.sh,启动hbase
安装kylin
修改check-env.sh:可以先执行bin/check-env.sh
,一般来说配置了上面所述的环境变量,是可以通过check,但是这个脚本在mac和ubuntu下执行还是有问题,mac下的问题我没有解决,Ubuntu下面问题解了。原因是get-properties.sh
内容在Ubuntu下执行有问题。不过在centos下没有这个问题(
安装指南
)
## 原始文件 if [ $# != 1 ] then echo 'invalid input' exit -1 fi IFS=$'\n' result= for i in `cat ${KYLIN_HOME}/conf/kylin.properties | grep -w "^$1" | grep -v '^#' | awk -F= '{ n = index($0,"="); print substr($0,n+1)}' | cut -c 1-` do : result=$i done echo $result
## 修改后的文件 if [ $# != 1 ] then echo 'invalid input' exit -1 fi #IFS=$'\n' result=`cat ${KYLIN_HOME}/conf/kylin.properties | grep -w "^$1" | grep -v '^#' | awk -F= '{ n = index($0,"="); print substr($0,n+1)}' | cut -c 1-` #for i in `cat ${KYLIN_HOME}/conf/kylin.properties | grep -w "^$1" | grep -v '^#' | awk -F= '{ n = index($0,"="); print substr($0,n+1)}' | cut -c 1-` #do # : # result=$i #done echo $result
我目前使用的是apache-kylin-1.5.4-HBase1.x-bin.tar.gz版本,此版本在conf目录下,把压缩相关的配置注释了,包括kylin_hive_conf.xml、kylin_job_conf_inmem.xml、 kylin_job_conf.xml、kylin.properties,我之前用1.5.3并没有注释掉,导致在运行构建cube是出现snappy不存在问题。
# Compression codec for htable, valid value [none, snappy, lzo, gzip, lz4] # 1.5.3默认未snappy,但是我使用的hadoop的并没有snappy压缩功能,所以要么把压缩相关的配置注释掉,或者重新打包hadoop kylin.hbase.default.compression.codec=none
之后,运行bin/kylin.sh satrt
,启动成功后,访问
http://ip:7070/kylin
,用户名是ADMIN,密码是KYLIN。然后可以运行bin/sample.sh
,体验下kylin,运行完sample.sh
后重启kylin,就可以build cube了。
感谢各位的阅读!关于“kylin怎样安装使用”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识,如果觉得文章不错,可以把它分享出去让更多的人看到吧!
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流