php+Mysql 大数据导入怎样提高效率

优化SQL插入语句；

站在用户的角度思考问题，与客户深入沟通，找到凤翔网站设计与凤翔网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站设计、成都网站设计、企业官网、英文网站、手机端网站、网站推广、域名注册、虚拟空间、企业邮箱。业务覆盖凤翔地区。

比如循环一条一条插入，改成链接多个值进行插入。

将：

foreach($re as $it){

$sql="insert into table (id,name) values(".$it['id'].","."$it['name'].")";

mysql_query($sql);

}

改为：

$sql="insert into table (id,name) values";

foreach($re as $it){

$str= "'".$it['id']."','".$it['name']."'";

}

$sql .= "(".$str."),";

$sql2 = substr($sql,0,-1);

mysql_query($sql);

打开mysql的配置文件，my.ini文件，并找到：max_allowed_packet项；

将值修改大一点，具体根据自己需要修改。比如这里修改为：1G。

重启mysql服务；

5

如果运行页面提示内存溢出，可将值设大一点。

Allowed memory size of 134217728 bytes exhausted (tried to allocate 132907287 bytes)

步骤阅读

6

这样，面对千万数据导入的时候，比原来那种方法至少快好多倍。

如何用php导出导入大数据库

在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？

方法：

在phpMyAdmin的目录下，找到根目录的config.inc.php文件，

打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。

在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，

把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，

登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，

选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，

最后点击“执行”，即可导入成功。

注意事项

如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。

PHP Excel大批量导入崩溃怎么办？

项目需要批量导入excel文件，如果里面有重复的数据要怎么处理呢？每插入一次数据都要到数据库查询么？

回复内容：

项目需要批量导入excel文件，如果里面有重复的数据要怎么处理呢？每插入一次数据都要到数据库查询么？

1、如果里面有重复的数据要怎么处理呢？

1

code可以先判断数据库是否有该数据。/code

2、每插入一次数据都要到数据库查询么

1

code是的。/code

先去重得到没有重复的数据，再批量插入数据库。也可以尝试MYSQL中的insert ignore into或 replace into

如果查询比较慢，对不能重复的字段加唯一键，然后用INSERT IGNORE INTO

php批量导入数据出错

我现在要做的是，把一个产品数据从EXCEL中导入到PHP的MYSQL中，导入的过程中，总是会提示“Allowed memory size of 167772160 bytes exhausted (tried to allocate 689919 bytes) in D:\wamp\www\Company\product\admin\uploadOrder.php on line 167”这个错误，然后我分成第100条导入时，就不会提示这个错误，这个是不是内存溢出，有没有好的解决方法呢？

------解决方案--------------------

php.ini中讲memory_limit选项设置大一点，然后重启apache或nginx就行了

------解决方案--------------------

文件太大了，这样的话可以用source命令直接导入！

------解决方案--------------------

php怎么把数据导入数据库

需要PHP基础知识和数据库基础知识。

以SQL为例。使用PHP MySQL 函数可以编辑数据库。

mysql_connect() 函数打开MySQL 连接。举例

?php

$con = mysql_connect("localhost","mysql_user","mysql_pwd");

if (!$con)

{

die('Could not connect: ' . mysql_error());

}// 一些代码...mysql_close($con);

?

mysql_connect()三个参数分别是服务器名，连接账号，连接密码。

连接之后，可以使用mysql_select_db()设置要处理的数据库，后面则是用数据库语句处理数据。SQL语法简介网页链接

本文题目：php大数据量导入 php excel 导出大数据
URL标题：http://kswjz.com/article/hpedec.html