php curl 大量数据采集

这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）

创新互联-专业网站定制、快速模板网站建设、高性价比同心网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式同心网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖同心地区。费用合理售后完善，十年实体公司更值得信赖。

参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。

因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）

不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。

怎么用php采集网站数据

简单的分了几个步骤：

1、确定采集目标

2、获取目标远程页面内容（curl、file_get_contents）

3、分析页面html源码，正则匹配你需要的内容（preg_match、preg_match_all），这一步最为重要，不同页面正则匹配规则不一样

4、入库

用PHP做一个抓站工具，懂的进

我是做数据采集的，

在我看来，除了输入验证码 ， 没有什么能对我起到很好的防采集，

一般大的网站都是采用 网页加入一次性随机值 ，再有前端JS 生成秘钥 ，最后一并提交加密了的数据 ，这种没什么效果 。对一般的人可以做下防御 。但是，我只要找出它的JS加密函数 。 使用一个JS服务器（node.js）,或php的 php 改写的js加密实现过程 ，加密初始值，再模拟发送 。所以，这个也没什么多大作用 。

对于验证码 ，一般简单的都可以程序识别 ，复杂的提交到前台让手动输入 。再一并发送。 这种用户体验不好。 慎行。

总的来说，建议用JS 加密吧 。

但是，还是防御不了。

我一般用 filefox 的 filebug 或 小提琴工具 。

目前大半年了，没有破解不了的网站 。

我用我的php程序 ，可以操作你的网站 。实现 用户操作 我的php程序 ，我的php程序 再去操作源网站 。

你可以去研究下 58同城网 的登录 。那里面一堆的加密 。 在我看来都是垃圾代码 。 我的程序一键登录进去。

PHP如何接收外部数据，比如我想要‘东方财富网’的股票数据，如何做连接？

首先考虑对方API，不过我估计中国人的网站没几个开API的。

亚马逊就有API，你可以调取图书信息。

要么根据链接，获取整个网页内容，然后用正则表达式获取指定部分数据。

可以参考 的数据采集教程

文章名称：php采集网页数据赚钱 php采集网页数据赚钱是真的吗
分享地址：http://kswjz.com/article/dojipco.html