扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这篇文章主要介绍clickhouse SQL优化技巧有哪些，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
创新互联专注于汕头网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供汕头营销型网站建设，汕头网站制作、汕头网页设计、汕头网站官网定制、重庆小程序开发服务，打造汕头网络公司原创品牌,更为您提供汕头网站排名全网营销落地服务。
sql慢查大部分主要体现在cpu 负载过高，io过高，或者查询的列中无索引导致的；注意；clickhouse本身不太支持高并发的场景，qps过高会导致clickhouse服务器cpu过高，导致慢查
在这些情况下;常见的考虑的是 sql中是否有复杂的运算，查询的数量量是否过大，查询的列中索引是否有效；
sql 查询特点：数量大，且分区跨度大
data表格中有8亿多条数据，data表按照p_data_day 分区；
select sn,COUNT(1) as valueQt from data WHERE sn='70A0600018109' and p_day >= '2017-01-01' and p_data_day < '2020-08-13'group by sn;
数据会遍历整个分区，数据平均在1s左右分钟返回 ;
优化思路：减少不必要数据的遍历（分区）；充分利用clickhouse 索引（group by 索引）
针对sn的查询，建立物化视图；将8亿条数据按照sn号以及device_id（mac_code）建立256个分区；
create MATERIALIZED VIEW IF NOT EXISTS data_sn_materializedengine = ReplicatedMergeTree('/clickhouse/tables/{ck_cluster}/data_sn_materialized', '{replica}')PARTITION BY sn_sort_key ORDER BY (sn_sort_key,sn,p_day)AS select halfMD5(_sn) % 256 as sn_sort_key,sn,p_day,count() as cnt from data group by sn_sort_key,sn,p_day; 查询语句；保持原来的出参和入参不变，数据能够在200ms以内返回，
sql 查询特点：数量大，且分区跨度大
data 表格数据量在10亿多条，建表语句如下
CREATE TABLE data (`data_day` Date, `flow_type` UInt32 DEFAULT CAST(0, 'UInt32'),.....) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{ck_cluster}/data', '{replica}') PARTITION BY data_day ORDER BY (flow_type, data_day) SETTINGS index_granularity = 8192; 查询语句
select ... from data where data_day = '2020-09-11'
CREATE TABLE dwrt.lc_order_flow (`data_day` Date,.....`flow_type` UInt32 DEFAULT CAST(0,'UInt32'),....) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{ck_cluster}/data', '{replica}') PARTITION BY data_day ORDER BY (data_day, flow_type) TTL data_day + toIntervalDay(7) SETTINGS index_granularity = 8192;
以上是“clickhouse SQL优化技巧有哪些”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网