扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
这期内容当中小编将会给大家带来有关怎样优化数据库,以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
西藏ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景,ssl证书未来市场广阔!成为创新互联公司的ssl证书销售渠道,可以享受市场价格4-6折优惠!如果有意向欢迎电话联系或者加微信:18980820575(备注:SSL证书合作)期待与您的合作!
1、数据库优化是一个很广的范围,涉及到的东西比较多,并且每个特定的数据库,其具体的优化过程也是不一样的.因为优化的很大一部分最终都要跟具体的数据库系统细节打交道,在此不可能针对所有的数据库都一一详细阐述,如果那样,恐怕写几本书都写不完.只能针对一些比较通用的,经常用到的的东西进行一个讨论
2、一般情况下,数据库的优化指的就是查询性能的优化(虽然严格上来说不应该是这样的),让数据库对查询的响应尽可能的快.
3、仅对数据库系统本身而言,影响到查询性能的因素从理论上来讲,包括数据库参数设置(其实就是通过参数控制数据库系统的内存,i/o,缓存,备份等一些管理性的东西),索引,分区,sql语句.数据库参数设置本身是一个很复杂的东西,分区则主要是针对大数据量的情况下,它分散了数据文件的分布,减少磁盘竞争,使效率得到提升。
数据库优化目标
根据角色的不同,数据库优化分为以下几个目标:
业务角度(关键用户):
减少用户页面响应时间
数据库角度(开发):
减少数据库SQL响应时间
数据库服务器角度(运维):
充分使用数据库服务器物理资源
减少数据库服务器CPU使用率
减少数据库服务器IO使用率
减少数据库服务器内存使用率
指标
1. SQL平均响应时间变短
a. 优化前:数据库平均响应时间500ms
b. 优化目标:数据库平均响应时间200ms
2. 数据库服务器CPU占用率变少
a. 优化前:数据库高峰期CPU使用率70%
b. 优化目标:数据库高峰期CPU使用率50%
3. 数据库服务器IO使用率变低
a. 优化前:数据库IO WAIT为30%
b. 优化目标:数据库IO WAIT低于10%
数据库优化误区
在进行数据库优化的时候可能会有以下几个误区:
1. 优化之前一定要深入了解数据库内部原理
优化是有“套路”的,照着这些“套路”你也可以很好的完成数据库优化
2. 不断调整数据库参数就可以最终实现优化
有时候设计不合理怎么调整参数都不行
3. 不断调整操作系统参数就可以最终实现优化
同上
4. 数据库性能由应用、数据库架构决定,与应用开发关系不大
恰恰相反,应用开发的关系很大
5. 必须要做读写分离,必须要弄分库分表
数据量级只有达到一定的比例才有必要做读写分离,分表分库,否则徒增复杂度。一般来说Oracle的单表量级可以达到1亿,MySQL到1000万~2000万
数据库优化流程
完整的数据库优化流程如下:
首先需要尽可能的了解优化问题,收集问题期间系统信息并做好存档。根据当前系统问题表现制定优化目标并与客户沟通目标达成一致;通过一系列工具分析系统问题,制定优化方案,方案评审完成后由各负责人员进行实施。若达到优化目标则编写优化报告,否则需要重新制定优化方案。
数据库实例优化
数据库实例优化遵循三句口诀:日志不能小、缓存足够大、连接要够用。
数据库事务提交后需要将事务对数据页的修改刷( fsync)到磁盘上,才能保证数据的持久性。这个刷盘,是一个随机写,性能较低,如果每次事务提交都要刷盘,会极大影响数据库的性能。数据库在架构设计中都会采用如下两个优化手法:
a. 先将事务写到日志文件RedoLog(WAL),将随机写优化成顺序写
b. 加一层缓存结构Buffer,将每次写优化成顺序写
所以日志跟缓存对数据库实例尤其重要。而连接如果不够用,数据库会直接抛出异常,系统无法访问。
数据库参数优化
主流数据库架构都有如下的共同点:
数据缓存
SQL解析区
排序内存
REDO及UNDO
锁、LATCH、MUTEX
监听及连接
文件读写性能
接下来我们根据不同的数据库调整参数以使数据库达到最佳性能。
ORACLE
参数分类 | 参数名 | 参数值 | 备注 |
---|---|---|---|
数据缓存 | SGA_TAGET、MEMORY_TARGET | 物理内存70-80% | 越大越好 |
数据缓存 | DB_CACHE_SIZE | 物理内存70-80% | 越大越好 |
SQL解析 | SHARED_POOL_SIZE | 4-16G | 不建议设置过大 |
监听及连接 | PROCESSES、SESSIONS、OPEN_CURSORS | 根据业务需求设置 | 一般为业务预估连接数的120% |
其他 | SESSION_CACHED_CURSORS | 大于200 | 软软解析 |
达梦数据库
参数分类 | 参数名 | 参数值 | 备注 |
---|---|---|---|
数据缓存 | MEMROY_TARGET、MEMROY_POOL | 物理内存90% | |
数据缓存 | BUFFER | 物理内存60% | 数据缓存 |
数据缓存 | MAX_BUFFER | 物理内存70% | 最大数据缓存 |
监听及连接 | max_sessions | 根据业务需求设置 | 一般为业务预估连接数的120% |
MYSQL(INNODB)
参数分类 | 参数名 | 参数值 | 备注 |
---|---|---|---|
数据缓存 | INNODB_BUFFER_POOL_SIZE | 物理内存50-80% | 一般来说越大性能越好 |
日志相关 | Innodb_log_buffer_size | 16-32M | 根据运行情况调整 |
日志相关 | sync_binlog | 1、100、0 | 1安全性最好 |
监听及连接 | max_connections | 根据业务情况调整 | 可以预留一部分值 |
文件读写性能 | innodb_flush_log_at_trx_commit | 2 | 安全和性能的折中考虑 |
其他 | wait_timeout,interactive_timeout | 28800 | 避免应用连接定时中断 |
POSTGRES
参数分类 | 参数名 | 参数值 | 备注 |
---|---|---|---|
数据缓存 | SHARED_BUFFERS | 物理内存10-25% | |
数据缓存 | CACHE_BUFFER_SIZE | 物理内存50-60% | |
日志相关 | wal_buffer | 8-64M | 不建议设置过大过小 |
监听及连接 | max_connections | 根据业务情况调整 | 一般为业务预估连接数的120% |
其他 | maintenance_work_mem | 512M或更大 | |
其他 | work_mem | 8-16M | 原始配置1M过小 |
其他 | checkpoint_segments | 32或者更大 |
总结
数据库的优化手法太多太多,有换磁盘阵列升级硬件,有改写SQL脚本添加索引,还有数据库参数调整优化性能,甚至还可以调整数据库架构。本文从数据库本身参数进行调优,大家根据上面几张表中的参数进行调整基本能达到数据库最佳性能的80%。
上述就是小编为大家分享的怎样优化数据库了,如果您也有类似的疑惑,不妨参照上述方法进行尝试。如果想了解更多相关内容,请关注创新互联行业资讯。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流