php采集大数据的方案

1、建议你读写数据和下载图片分开，各用不同的进程完成。

公司主营业务：网站制作、网站建设、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。成都创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联公司推出磴口免费做网站回馈大家。

比如说，取数据用get-data.php，下载图片用get-image.php。

2、多进程的话，php可以简单的用pcntl_fork()。这样可以并发多个子进程。

但是我不建议你用fork，我建议你安装一个gearman worker。这样你要并发几个，就启几个worker，写代码简单，根本不用在代码里考虑thread啊，process等等。

3、综上，解决方案这样：

（1）安装gearman worker。

（2）写一个get-data.php，在crontab里设置它每5分钟执行一次，只负责读数据，然后把读回来的数据一条一条的扔到 gearman worker的队列里；

然后再写一个处理数据的脚本作为worker，例如叫process-data.php，这个脚本常驻内存。它作为worker从geraman 队列里读出一条一条的数据，然后跟你的数据库老数据比较，进行你的业务逻辑。如果你要10个并发，那就启动10个process-data.php好了。处理完后，如果图片地址有变动需要下载图片，就把图片地址扔到 gearman worker的另一个队列里。

（3）再写一个download-data.php，作为下载图片的worker，同样，你启动10个20个并发随便你。这个进程也常驻内存运行，从gearman worker的图片数据队列里取数据出来，下载图片

4、常驻进程的话，就是在代码里写个while(true)死循环，让它一直运行好了。如果怕内存泄露啥的，你可以每循环10万次退出一下。然后在crontab里设置，每分钟检查一下进程有没有启动，比如说这样启动3个process-data worker进程：

* * * * * flock -xn /tmp/process-data.1.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.2.lock -c '/usr/bin/php /process-data.php /dev/null 21'

* * * * * flock -xn /tmp/process-data.3.lock -c '/usr/bin/php /process-data.php /dev/null 21'

不知道你明白了没有

PHP如何实现多进程

thisObj.className = "active";

document.getElementById(tabObj+"_Content"+i).style.display = "block";

}else{

tabList[i].className = "normal";

document.getElementById(tabObj+"_Content"+i).style.display = "none";

}

北大青鸟设计培训：PHP中的（伪）多线程与多进程？

利用WEB服务器本身的多线程来处理，从WEB服务器多次调用我们需要实现多线程的程序。

PHP中也能多线程了，那么问题也来了，那就是同步的问题。

厦门电脑培训知道PHP本身是不支持多线程的，所以更不会有什么像Java中synchronize的方法了。

那我们该如何做呢？1.尽量不访问同一个资源。

以避免冲突。

但是可以同时像数据库操作。

因为数据库是支持并发操作的。

所以在多线程的PHP中不要向同一个文件中写入数据。

如果必须要写的话，用别的方法进行同步。

如调用flock对文件进行加锁等。

或建立临时文件，并在另外的线程中等待这个文件的消失while(file_exits('xxx'));这样就等于这个临时文件存在时，表示其实线程正在操作。

如果没有了这个文件，说明其它线程已经释放了这个。

2.尽量不要从runThread在执行fputs后取这个socket中读取数据。

因为要实现多线程，需要的用非阻塞模式。

即在像fgets这样的函数时立即返回。

。

所以读写数据就会出问题。

如果使用阻塞模式的话，程序就不算是多线程了。

他要等上面的返回才执行下面的程序。

所以如果需要交换数据最后利用外面文件或数据中完成。

实在想要的话就用socket_set_nonblock($fp)来实现。

说了这么多，倒底这个有没有实际的意义呢？在什么时候需要这种用这种方法呢？答案是肯定的。

大家知道。

在一个不断读取网络资源的应用中，网络的速度是瓶颈。

如果采多这种形式就可以同时以多个线程对不同的页面进行读取。

PHP多进程同时追加写入TXT，导致之前的内容丢失。

多进程同时修改一个文件是很容易造成这样的情况，建议使用数据库来存储，编程就非常简单，锁可以细到记录级。

如果必须使用文件，一般的办法是读文件前判断是否存在临时文件，存在就放弃（或者等待），只有不存在临时文件才继续操作，继续操作的第一步是建立临时文件，修改文件，最后删除临时文件。

php 如何实现多进程

#!/usr/bin/env php

?php

$cmds=array(

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','mobile',1),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','mobile',2),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','click',1),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php','click',2),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php',1),

array('/apps/bin/launcher.php','charge/promotion_props_stat.php',2)

);

foreach($cmds as $cmd){

$pid=pcntl_fork();

if($pid==-1){ //进程创建失败

die('fork child process failure!');

}

else if($pid){ //父进程处理逻辑

pcntl_wait($status,WNOHANG);

}

else{ //子进程处理逻辑

pcntl_exec('/usr/local/bin/php',$cmd);

}

}

PHP如何解决多进程同时读写一个文件的方法

/*

*flock(file,lock,block)

*file 必需，规定要锁定或释放的已打开的文件

*lock 必需。规定要使用哪种锁定类型。

*block 可选。若设置为 1 或 true，则当进行锁定时阻挡其他进程。

*lock

*LOCK_SH 要取得共享锁定（读取的程序）

*LOCK_EX 要取得独占锁定（写入的程序）

*LOCK_UN 要释放锁定（无论共享或独占）

*LOCK_NB 如果不希望 flock() 在锁定时堵塞

/*

if (flock($file,LOCK_EX))

{

fwrite($file,'write more words');

flock($file,LOCK_UN);

}

else

{

//处理错误逻辑

}

fclose($file);

)

文章标题：php多进程处理数据库 php多线程和多进程实现
转载源于：http://kswjz.com/article/doojdes.html