扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
-- 打开sql 执行记录功能
创新互联建站从2013年创立,先为柘城等服务建站,柘城等地企业,进行企业商务咨询服务。为柘城企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
set global log_output='TABLE'; -- 输出到表
set global log=ON; -- 打开所有命令
执行记录功能general_log, 所有语句: 成功和未成功的.
set global log_slow_queries=ON; -- 打开慢查询 sql 记录
slow_log, 执行成功的: 慢查询语句和未使用索引的语句
set global long_query_time=0.1; -- 慢查询时间限制(秒)
set global log_queries_not_using_indexes=ON; -- 记录未使用索引的sql 语句
-- 查询sql 执行记录
select * from mysql.slow_log order by 1; -- 执行成功的:慢查询语句,和未
使用索引的语句
select * from mysql.general_log order by 1; -- 所有语句: 成功和未成功的.-- 关闭sql 执行记录
首先在Mysql的服务中有 连接器、查询缓存(Mysql8 已经删除)、分析器、优化器、执行器等,所有跨存储引擎的功能都在这一层实现
而一条sql怎么执行是由优化器决定的, 优化器是在表里面有多个索引的时候,决定使用哪个索引;或者在一个语句有多表关联(join)的时候,决定各个表的连接顺序。
而执行计划就是优化器优化后的sql的执行的详细方案
Mysql中查看执行计划的方式有两种 : 1. 使用desc 2.使用 explain 使用它俩的效果是一样的
接下来要通过执行计划知道sql是怎么执行的
执行计划中有几个重要的字段, 分别是
id, table, type, possible_keys, key, key_len, Extra
id : 可以通过ID来查看在多表联查中sql是先查询哪张表的 id相同的从上往下依次执行,id不同的id大的先执行
table : table当然就是查询的表名
type : 查询的类型 查询类型分为 ALL, index, range, ref , eq_ref, const(system), null
ALL: 指的全盘扫描,没有走任何索引 查询结果集大于25% 优化器可能会走全盘扫描 字符串查询的时候一定要加"" 不然可能会全索引扫描(隐式转换) 统计信息 失效 或者 过旧 也可能走全盘扫描 因为优化器会参考统计信息来制定执行计划
index: 全索引扫描 就是扫描整颗索引树
range: 索引范围 查询索引树的一部分范围 范围索引中 = = like 的效率会比 or in 的效率高, 使用like %再前面的不走索引
ref: 辅助索引的等值查询
当查询的数据量小,优化器也有可能会走索引的全盘扫描 这里我就不贴图了;
eq_ref : 多表连接查询中,被连接的表的连接条件列是主键或者唯一键
const(system): 主键 或者 唯一键 的等值查询
null: 没有数据
他们的性能是依次递增的 全盘扫描性能最差, const性能最高
possible_keys: 查询过程中可能用到的索引
key: 真正使用到的索引
key_len: 走索引的长度
这个是怎么计算的呢?
key_len 的计算方法 :
int 类型最长存储4个字节长度的数字 有not null 是4字节 没有的话会花1字节存储是不是null
tinyint 最大存储一个字节 也会花1字节来判断是不是null
字符串类型 : 字符集 utf8mb4 1-4字节
varchar超过255会预留2个字节存储长度 没超预留1个字节
key_len 永远是你设置的长度的最大的
联合索引可以通过key_len 来判断走了几个索引
使用desc format=json select * from table 可以查看详细情况
filtered: 索引扫描过滤掉数据的占比
Extra: 额外的信息
Using filesort :MySQL 对数据在sql层进行了排序,而不是按照表内的索引进行排序读 取。 效率比较低
Using temporary :使用临时表保存中间结果,也就是说 MySQL 在对查询结果排序时使用了临时表,常见于order by 或 group by。
Using index :表示 SQL 操作中使用了覆盖索引(Covering Index),避免了访问表的数据行,效率高。
Using index condition :表示 SQL 操作命中了索引,但不是所有的列数据都在索引树上,还需要访问实际的行记录。
Using where :表示 SQL 操作使用了 where 过滤条件。
Select tables optimized away :基于索引优化 MIN/MAX 操作或者 MyISAM 存储引擎优化 COUNT(*) 操作,不必等到执行阶段再进行计算,查询执行计划生成的阶段即可完成优化。
Using join buffer (Block Nested Loop) :表示 SQL 操作使用了关联查询或者子查询,且需要进行嵌套循环计算
有时候我们会不小心对一个大表进行了 update,比如说写错了 where 条件......
此时,如果 kill 掉 update 线程,那回滚 undo log 需要不少时间。如果放置不管,也不知道 update 会持续多久。
那我们能知道 update 的进度么?
实验
我们先创建一个测试数据库:
快速创建一些数据:
连续执行同样的 SQL 数次,就可以快速构造千万级别的数据:
查看一下总的行数:
我们来释放一个大的 update:
然后另起一个 session,观察 performance_schema 中的信息:
可以看到,performance_schema 会列出当前 SQL 从引擎获取的行数。
等 SQL 结束后,我们看一下 update 从引擎总共获取了多少行:
可以看到该 update 从引擎总共获取的行数是表大小的两倍,那我们可以估算:update 的进度 = (rows_examined) / (2 * 表行数)
????小贴士
information_schema.tables 中,提供了对表行数的估算,比起使用 select count(1) 的成本低很多,几乎可以忽略不计。
那么是不是所有的 update,从引擎中获取的行数都会是表大小的两倍呢?这个还是要分情况讨论的,上面的 SQL 更新了主键,如果只更新内容而不更新主键呢?我们来试验一下:
等待 update 结束,查看 row_examined,发现其刚好是表大小:
那我们怎么准确的这个倍数呢?
一种方法是靠经验:update 语句的 where 中会扫描多少行,是否修改主键,是否修改唯一键,以这些条件来估算系数。
另一种方法就是在同样结构的较小的表上试验一下,获取倍数。
这样,我们就能准确估算一个“不小心”执行的大型 update 的进度了。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流