php采集大数据的方案

1、建议你读写数据和下载图片分开，各用不同的进程完成。

创新互联公司是一家专业提供伊吾企业网站建设,专注与做网站、成都做网站、HTML5建站、小程序制作等业务。10年已为伊吾众多企业、政府机构等服务。创新互联专业的建站公司优惠进行中。

比如说，取数据用get-data.php，下载图片用get-image.php。

2、多进程的话，php可以简单的用pcntl_fork()。这样可以并发多个子进程。

但是我不建议你用fork，我建议你安装一个gearman worker。这样你要并发几个，就启几个worker，写代码简单，根本不用在代码里考虑thread啊，process等等。

3、综上，解决方案这样：

（1）安装gearman worker。

（2）写一个get-data.php，在crontab里设置它每5分钟执行一次，只负责读数据，然后把读回来的数据一条一条的扔到 gearman worker的队列里；

然后再写一个处理数据的脚本作为worker，例如叫process-data.php，这个脚本常驻内存。它作为worker从geraman 队列里读出一条一条的数据，然后跟你的数据库老数据比较，进行你的业务逻辑。如果你要10个并发，那就启动10个process-data.php好了。处理完后，如果图片地址有变动需要下载图片，就把图片地址扔到 gearman worker的另一个队列里。

（3）再写一个download-data.php，作为下载图片的worker，同样，你启动10个20个并发随便你。这个进程也常驻内存运行，从gearman worker的图片数据队列里取数据出来，下载图片

4、常驻进程的话，就是在代码里写个while(true)死循环，让它一直运行好了。如果怕内存泄露啥的，你可以每循环10万次退出一下。然后在crontab里设置，每分钟检查一下进程有没有启动，比如说这样启动3个process-data worker进程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了没有

PHP 程序无法做到常驻内存运行，那么它适合做 Web Services 吗

我不知道Web Services与PHP能否常驻内存运行有什么关系，Web Services需要常驻运行的是WEB服务，也就是Apache、Nginx或者IIS等，而不是PHP的进程。

但要让PHP进程常驻也不是不可能，可以在CLI模式下运行，可以用swoole框架。你还可以用Redis或Memcached等工具，让PHP不同的进程共享内存数据。

php为什么不能常驻内存

PHP 是解释运行的，PHP 页面被解释执行后，所有相关的资源都会被回收，对象也被销毁了，所以PHP 程序无法做到常驻内存运行。

php 命令行程序如何常驻内存

点击电脑开始菜单，打开运行窗口，在窗口编辑框里输入cmd，点击确定按钮，打开cmd命令

窗口，然后进入你的工程目录中的可执行程序文件夹下

输入可执行程序文件名 后面带上你需要的参数 按Enter键 就可以了

cmd命令：如你的可执行程序在D://CP//debug/aa.exe

你需要在命令行窗口输入d:按Enter键进入D盘

cd CP/debug按Enter键进入D盘中CP目录debug子目录中

输入aa.exe 2 3 按Enter键运行你的程序 结果就会出现

2.000000 to the 3.000000 power = 8

EasyTask简单易用的PHP常驻内存多进程任务管理器

PHP常驻内存的多进程任务管理器Composer包。以进程管理为出发点，同时也支持为每个进程设置定时执行功能，您可以用它来完成需要重复运行的任务(如订单超时自动取消,短信邮件异步推送,队列/消费者/频道订阅者等等)，甚至处理计划任务。内置任务异常上报功能，异常错误您都可以自定义处理(例如实现异常错误自动短信邮件通知)；还支持任务异常退出自动重启功能，让您的任务运行更稳定 ，工具包同时支持windows、linux、mac环境运行。

windows：PHP=5.4 (依赖com_dotnet+wpc扩展） 文档+安装教程

linux|mac：PHP=5.4 (依赖pcntl+posix扩展） 文档+安装教程

原文链接：

php是什么意思

php通常指超文本预处理器，用于面向对象、命令式编程，是一种通用开源脚本语言。

主要特点:

为开源性和免费性、快捷性、数据库连接的广泛性、面向过程和面向对象并用。优点是利于学习，使用广泛。此外，php还可以指菲律宾比索的标准货币代码符号，MPLS网络中的倒数第二跳弹出功能。是英文超级文本预处理语言Hypertext Preprocessor的缩写。PHP 是一种HTML 内嵌式的语言，是一种在服务器端执行嵌入HTML文档的脚本语言，语言风格有些类似于C语言，被广泛的运用。 　

简介:

PHP(外文名:PHP: Hypertext Preprocessor，中文名：“超文本预处理器”)是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，利于学习，使用广泛，主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法它可以比CGI或者Perl更快速地执行动态网页。用PHP做出的动态页面与其他的编程语言相比，PHP是将程序嵌入到HTML(标准通用标记语言下的一个应用)文档中去执行，执行效率比完全生成HTML标记的CGI要高许多;PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。

特性包括:

1、PHP 独特的语法混合了 C、Java、Perl 以及 PHP 自创新的语法

2、PHP可以比CGI或者Perl更快速的执行动态网页——动态页面方面，与其他的编程语言相比，PHP是将程序嵌入到HTML文档中去执行，执行效率比完全生成htmL标记的CGI要高许多;PHP具有非常强大的功能，所有的CGI的功能PHP都能实现

3、 PHP支持几乎所有流行的数据库以及操作系统。

4、最重要的是PHP可以用C、C++进行程序的扩展!

语言特点:

开源免费

PHP是一个受众大并且拥有众多开发者的开源软件项目，Linux + Nginx + Mysql + PHP是它的经典安装部署方式，相关的软件全部都是开源免费的，所以使用PHP可以节约大量的正版授权费用。不过PHP作为一个开源软件，它缺乏大型科技公司的支持背景，网络上对它的唱衰也是经久不衰，不过它的持续迭代和性能持续增强的现实却是鼓舞人心的，PHP社区用实际行动给予各种质疑强有力的回击。

快捷高效

PHP的内核是C语言编写的基础好效率高，可以用C语言开发高性能的扩展组件;PHP的核心包含了数量超过1000的内置函数，功能应有尽有很全面，开箱即用程序代码简洁； PHP数组支持动态扩容，支持以数字、字符串或者混合键名的关联数组，能大幅提高开发效率； PHP是一门弱类型语言，程序编译通过率高，相对其他强类型语言开发效率快；PHP天然热部署，在php-fpm运行模式下代码文件覆盖即完成热部署；PHP经过20多年的发展，在互联网上可以搜到海量的参考资料供参考学习。

性能提升

PHP版本越高它的整体性能越高，根据官方介绍，PHP7.0.0 对比PHP5.6性能就提升了2倍，PHP7.4已经比PHP7.0快了约30％，PHP8.0在性能上又相对PHP7.4大约改进了10%。PHP 8.0 引入了 JIT编译器特性，同时加入多种新的语言功能，例如命名参数、联合类型、注解、Constructor Property Promotion、match 表达式、nullsafe 运算符以及对类型系统、错误处理和一致性的改进。PHP拥有自己的核心开发团队，保持5年发布一个大版本、1个月发布2个小版本的频率，最新的版本是PHP8.08 。

跨平台

每个平台都有对应的php解释器版本，指针对不同平台均编译出目标平台的二进制码(PHP解释器)，php开发的程序可以不经修改运行在windows、linux、unix等多个操作系统上。

常驻内存

php-cli模式下可以实现程序常驻内存，各种变量和数据库连接都能长久保存在内存实现资源复用，比较常用的做法是结合swoole   组件编写cli框架。

页面生命周期

在php-fpm模式下，所有的变量都是页面级的，无论是全局变量还是类的静态成员，都会在页面执行完毕后被清空，对程序员水平要求低，占用内存非常少，特别适合中小型系统的开发。

运行机制:

PHP常见的运行模式有2种，分别是php-fpm 和php-cli 。当PHP 选择运行在php-fpm模式下，所有的变量都是页面级的，无论是全局变量还是类的静态成员，都会在页面执行完毕后被清空。运行在php-cli模式下可以实现程序常驻内存，各种变量和数据库连接都能长久保存在内存 实现资源复用，性能可以得到很大的提升，php-cli开发比较复杂能但是能够获取更高的性能，对开发者的要求比较高需要比较高的开发水平，比较常用的模式是结合swoole 组件编写cli框架，各种变量能保存在跨进程的高性能共享内存 Table ，可以开发出支持热启动的php-cli可靠各类应用系统。

php-fpm在PHP 5.3.3 版本成为了官方正式组件（2010-07-22），它提供了稳定可靠的进程管理服务，进程不足时候可以智能扩充数量，闲置时候可以自动回收销毁多余的进程，同时它对程序的容错能力很强大运行非常稳定，可以应付企业级的开发需求。php-fpm友好的完成了使用HTTP/HTTPS等TCP/IP互联网协议下进行的用户的输入输出，页面级生命周期各种资源用完即释放，不存在内存泄漏的问题。php-fpm也提供有一些常驻内存的技术支持,例如PHP 7.4引入的opcache.preload也能实现局部的PHP类和函数的常驻内存，不过这个方法不够灵活，和服务器配置捆绑的太死了。

php-cli因为能实现各类资源的常驻内存，所以可以资源复用，更高效完成多进程编程和异步编程，可以开发出负载能力更高的应用系统。但是相对php-fpm的简单编程开发，开发者要注意很多的事项和需要做很多附加的控制器开发，否则就无法实现期待中的高性能。

首先开发者需要去实现可靠的进程管理服务，保证系统进程遇到各类错误退出运行后能够自动创建新的进程，只有这样才能保证后续的服务请求有足够空闲进程可分配。每个业务代码段都要做异常处理，让进程遇到非致命错误时候不会退出，因为进程重启意味程序和各类资源需要再次加载，这个过程性能消耗不小，所以只有进程稳定运行了常驻内存才有意义。

其次因为常驻内存,编写的新的程序必须重启服务才能生效，这一点习惯了fpm模式的开发者会感到比较陌生。另外开发者需要手工释放内存，否则系统长时间运行后会出现内存泄露。同时在cli模式下，我们不能像fpm里直接用 $_SERVER、$_POST、$_GET、$_COOKI和$_FILES 进行编程工作，需要自己去解析各种互联网通讯协议完成用户的输入输出。要实现多进程编程利用多核CPU计算,还有学习使用pcntl和posix编程，这里涉及到了异步编程逻辑，这块难度还是比较大的。比较常用的模式是结合swoole 组件编写cli框架。

PHP是一个活跃的社区开发语言，有专业的核心开发团队在持续不断的迭代，最近一个版本就是PHP 8.0.8 引入了很多的新特性。

语言参考:

内置函数

PHP 有很多标准的函数和结构。还有一些函数需要和特定的扩展模块一起编译，否则在使用它们的时候就会得到一个致命的“未定义函数”错误。例如，要使用 image 函数中的 imagecreatetrue，需要在编译 PHP 的时候加上 GD 的支持。或者要使用 mysqli_connect函数，就需要在编译 PHP 的时候加上 MySQLi 支持。有很多核心函数已包含在每个版本的 PHP 中如字符串和变量函数。调用 phpinfo或者 get_loaded_extensions可以得知 PHP 加载了那些扩展库。同时还应该注意，很多扩展库默认就是有效的。

静态网站与动态网站的区别

静态网站：web1.0 时代

动态网站：web2.0 时代

静态网站特点：

1、网页内容一经发布到网站服务器，无论是否有用户访问，每个静态页面的内容都是保存在网站服务器上的。也就是说，静态网页是实实在在保存在服务器上的文件，每个网页都是一个独立的文件。

2、静态网页的内容相对稳定，因此容易被搜索引擎检索。

3、 静态网页没有数据库的支持，在网站制作和维护方面工作量较大，因此当网站信息量很大时完全依靠静态网页制作方式比较困难。

4、静态网页的交互性较差，在功能方面有较大的限制。

动态网站特点：

1、交互性：网页会根据用户的要求和选择而动态地改变和响应，浏览器作为客户端，成为一个动态交流的桥梁，动态网页的交互性也是今后web发展的潮流。

2、自动更新：即无须手动更新HTML文档，便会自动生成新页面，可以大大节省工作量

3、因时因人而异：即当不同时间、不同用户访问同一网址时会出现不同页面。

动态网页是与静态网页相对应的，静态网页的后缀是以 .htm , .html , .shtml , .xml ，动态网页的后缀是以 .asp , .jsp , .php , .perl , cgi 等形式。在动态网页网址中有一个标志性的符号"?"

当前题目：php常驻内存数据 phpcli常驻内存
文章链接：http://kswjz.com/article/hjdogg.html