扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
利用JAVA实现一个多线程爬虫？很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。
成都创新互联是专业的民勤网站建设公司，民勤接单;提供成都做网站、网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行民勤网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
JAVA 多线程爬虫实例详解
前言
以前喜欢Python的爬虫是出于他的简洁，但到了后期需要更快，更大规模的爬虫的时候，我才渐渐意识到Java的强大。Java有一个很好的机制，就是多线程。而且Java的代码效率执行起来要比python快很多。这份博客主要用于记录我对多线程爬虫的实践理解。
线程
线程是指一个任务从头至尾的执行流。线程提供了运行一个任务的机制。对于Java而言，可以在一个程序中并发地启动多个线程。这些线程可以在多处理器系统上同时运行。
runnable接口
任务类必须实现runnable接口，它只包含一个run方法。需要实现这个方法来告诉系统线程将如何运行。
Thread类
包含为任务而创建的线程的构造方法，以及控制线程的方法。
synchronized关键字
为避免竞争状态，防止多个线程同时进入程序的某个特定部分，即临界区，以便一次只有一个线程可以访问临界区。
利用加锁同步
Java可以显式加锁，一个锁是一个Lock接口的实例，它定义了加锁和释放锁的方法。
线程池
线程池是管理开发执行任务个数的理想方法。Java提供Executor接口来执行线程池中的任务，提供ExecutorService接口管理和控制任务。
使用线程池的方法获取url列表
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
/*
* 获取京东评论url列表
*/
public class MyThreading {
private static String p_id = null;
private static Url urls = null;
public MyThreading(String p_id){
this.p_id = p_id ; // 京东商品的id
urls = new Url(p_id);
}
public List getUriList(){
ExecutorService executor = Executors.newCachedThreadPool();
for (int i = 0 ; i < 600 ; i ++){
executor.execute(new AddUrl(i)); // 添加任务到线程池
}
executor.shutdown();
while (!executor.isTerminated()){}
return urls.getList();
}
public static class AddUrl implements Runnable{
int page;
public AddUrl(int page){
this.page = page;
}
public void run(){
urls.addList(page); // 启动多线程任务
}
}
public static class Url {
private static Lock lock = new ReentrantLock(); // 开启显式家锁
private static List urlList = new ArrayList();
private String p_id;
public Url(String p_id ){
this.p_id = p_id ;
}
public List getList(){
return urlList;
}
public void addList(int page){
lock.lock();
try{
String url = "http://club.jd.com/productpage/p-" + p_id + "-s-0-t-0-p-" + String.valueOf(page) + ".html";
// Thread.sleep(5);
urlList.add(url); //添加url到url列表
}catch(Exception ex ){
}
finally {
lock.unlock(); // 解锁
}
}
}
public static void main(String[] args) {
String p_id = "2441288";
MyThreading myThreading = new MyThreading(p_id);
List urlList = myThreading.getUriList();
for(String url : urlList){
System.out.println(url);
}
System.out.println(urlList.size());
}
} 代码分析
使用线程池的方法根据url列表爬取网页元素
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class ThreadingCrawel {
private static Content content = null;
private static List urlList = null;
public ThreadingCrawel(List urlList){
this.urlList = urlList;
content = new Content();
}
public List getContent(){
ExecutorService executor = Executors.newCachedThreadPool();
for (String url : urlList){
executor.execute(new AddContent(url));
}
executor.shutdown();
while(!executor.isTerminated()){}
return content.getContent();
}
public static class AddContent implements Runnable{
String url;
public AddContent(String url){
this.url = url;
}
public void run(){
content.addContent(url);
}
}
public static class Content {
private static Lock lock = new ReentrantLock();
private static List contentList = new ArrayList();
public void addContent(String url){
String content = "";
BufferedReader in = null;
try{
URL realUrl = new URL(url);
URLConnection connection = realUrl.openConnection();
in = new BufferedReader(new InputStreamReader(connection.getInputStream(), "gbk"));
String line;
while( (line = in.readLine()) != null){
content += line +"\n";
}
}catch(Exception e){
e.printStackTrace();
}
finally{
try{
if (in != null){
in.close();
}
}catch(Exception e2){
e2.printStackTrace();
}
}
Pattern p = Pattern.compile("content\":\".*?\"");
Matcher match = p.matcher(content);
String tmp;
lock.lock();
while(match.find()){
tmp = match.group();
tmp = tmp.replaceAll("\"", "");
tmp = tmp.replace("content:", "");
tmp = tmp.replaceAll("<.*?>", "");
contentList.add(tmp);
try {
Thread.sleep(1);
} catch (InterruptedException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
lock.unlock();
}
public List getContent(){
return contentList;
}
}
public static void main(String[] args){
long start = System.currentTimeMillis();
String p_id = "2441288";
MyThreading myThreading = new MyThreading(p_id);
List urlList = myThreading.getUriList();
ThreadingCrawel threadingCrawel = new ThreadingCrawel(urlList);
List contentList = threadingCrawel.getContent();
for(String content : contentList){
System.out.println(content);
}
long end = System.currentTimeMillis();
System.out.println(end - start);
}
} 看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网