扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
事务每次提交都会将log buffer中的日志写入os buffer并调用fsync()刷到log file on disk中。这种方式即使系统崩溃也不会丢失任何数据，但是因为每次提交都写入磁盘，IO的性能较差。
创新互联建站专注于江永企业网站建设,响应式网站建设,商城系统网站开发。江永网站建设公司,为江永等地区提供建站服务。全流程按需网站设计，专业设计，全程项目跟踪，创新互联建站专业和态度为您提供的服务
事务提交时不会将log buffer中日志写入到os buffer，而是每秒写入os buffer并调用fsync()写入到log file on disk中。也就是说设置为0时是(大约)每秒刷新写入到磁盘中的，当系统崩溃，会丢失1秒钟的数据。
每次提交都仅写入到os buffer，然后是每秒调用fsync()将os buffer中的日志写入到log file on disk。
以上出自
当我们在导入大量数据时，控制innodb_flush_log_at_trx_commit =2，即可节省导入时间，待测试
首先， 插入上万条数据，对于数据库来说并不是“很大”的工作量，一般配置的笔记本电脑都可以在1分钟内完成。 所以最简单、最灵活的办法还是写SQL语句。
如果不希望DB编译器每次执行都编译SQL的话，可以使用存储过程，直接调用，性能上会好很多。也比较简单。
（几万条数据怎么地也得要时间去处理，所以不可能特别快的。）
如果由于各种原因，导致这个插入还是很慢， 而且你的MYSQL又是5.0以上版本的话，可以使用BulkCopy来进行批量操作。
BulkCopy的原理就是Client直接把一个数组（DataTable）传给DB，然后传入表名，所有的编译、操作都由DB自己完成，效率很高。
引用MySql.Data.dll ， 调用MysqlBulkCopy函数即可。
这个函数在处理海量数据插入的时候效率尤为明显， 小量数据反而没什么优势，而且由于传入的DataTable格式必须和表的字段一模一样（空的列也要传进去），导致C#要写很多代码来构造这个数组，所以要你自己权衡用还是不用。
我在自己的电脑上批量插入一亿条数据，Insert写法大概需要1小时,BulkCopy大概只需要5分钟。
建缓冲区。比如其他类型的高速缓存（redis等）作为中间缓冲层。
数据的查询，更改首先在这个层处理，处理完再更新到对应的数据库。
注意额外增加锁，或者缓存机制防止缓存击穿，雪崩导致系统崩溃。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网