ClickHouse集群搭建的方法-成都快上网建站

ClickHouse集群搭建的方法

这篇文章主要介绍“ClickHouse集群搭建的方法”,在日常操作中,相信很多人在ClickHouse集群搭建的方法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”ClickHouse集群搭建的方法”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

创新互联公司从2013年创立,是专业互联网技术服务公司,拥有项目做网站、网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元会同做网站,已为上家服务,为会同各地企业和个人服务,联系电话:028-86922220

ClickHouse是一个列导向数据库,是原生的向量化执行引擎。它在大数据领域没有走Hadoop生态,而是采用Local attached  storage作为存储,这样整个IO可能就没有Hadoop那一套的局限。它的系统在生产环境中可以应用到比较大的规模,因为它的线性扩展能力和可靠性保障能够原生支持shard+replication这种解决方案。它还提供了一些SQL直接接口,有比较丰富的原生client。

ClickHouse数据库的特点:

  • 速度快ClickHouse性能超过了市面上大部分的列式存储数据库,相比传统的数据ClickHouse要快100-1000倍,ClickHouse还是有非常大的优势。1亿数据集:ClickHouse比Vertica约快5倍,比Hive快279倍,比MySQL快801倍。10亿数据集:ClickHouse比Vertica约快5倍,MySQL和Hive已经无法完成任务了。

  • 功能多1.支持类SQL查询;2.支持繁多库函数(例如IP转化,URL分析等,预估计算/HyperLoglog等);3.支持数组(Array)和嵌套数据结构(Nested  Data Structure);4.支持数据库异地复制部署。

要注意,由于ClickHouse的快速查询还是基于系统资源的,因此在使用的时候要注意每个节点上的存储量,以及节点机器的系统资源要充足。因为查询时是使用内存进行聚合,所以同时并发查询的数量不能太多,否则就会造成资源崩溃。

环境配置

ClickHouse集群搭建的方法

初始化环境(所有节点)

# 修改机器的hostname vi /etc/hostname  # 配置hosts vi /etc/hosts  192.168.143.20 node1 192.168.143.21 node2 192.168.143.22 node3

修改完后,执行hostname node1...3,不用重启机器使其生效

下载并安装ClickHouse(所有节点)

ClickHouse集群搭建的方法

主要下载四个文件:

  • Clickhouse-client

  • Clickhouse-common-static

  • Clickhouse-server

  • clickhouse-server-common

rpm -ivh *.rpm

安装 zookeeper(任意一个节点)

# 我这里选择node1 docker run -d --net host --name zookeeper zookeeper

 配置集群(所有节点)

修改/etc/clickhouse-server/config.xml

 ::   /var/lib/clickhouse/  /home/clickhouse/

修改/etc/clickhouse-server/users.xml

 5000000000000         xxxx...xxxx        ::/0      default   default 

增加配置文件/etc/metrika.xml

                           true                    node1           9000           root           123456                                true                    node2           9000           root           123456                                true                    node3           9000           root           123456                                                    node1         2181                             ::/0                      node1                                    10000000000         0.01         lz4                

重启clickhouse服务

service clickhouse-server restart  # 如果不成功,则使用以下命令 nohup /usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml $

 创建数据表(所有节点)

使用可视化工具连接每个节点,在上面创建MergeTree

create database test;  create table test.data (   country String,   province String,   value String ) engine=MergeTree() partition by (country, province) order by value;

 创建分布式表(node1节点)

create table test.mo as test.data ENGINE = Distributed(test_cluster, test, data, rand());

使用Python连接clickhouse

安装clickhouse-driver

pip install clickhouse-driver

执行命令

from clickhouse_driver import Client  # 在哪个节点创建了分布式表,就连接哪个节点 client = Client('192.168.143.20', user='root', password='123456', database='test') print(client.execute('select count(*) from mo'))

到此,关于“ClickHouse集群搭建的方法”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


网页标题:ClickHouse集群搭建的方法
当前URL:http://kswjz.com/article/pshpoe.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流