java爬虫如何去重

用

成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站设计、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的突泉网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！

requests+Selenium+PhantomJs

多线程爬虫的时候用的是滚态

mp.manager.dict()

来存储已经访问过的网站，如果发现再次访问就直接跳过

我能想到的就是

Bloom

Filter

，按照上面所说用

redis

来去重应该也隐备型可以！灶猜

java中，从键盘上读入一个字符串，如何删除此字符串中所有相同的字母。如读入的字符串为good,得到gd

这是去重的完整代码

public static void main(String[] args) {

  Scanner input = new Scanner(System.in);

  System.out.print("请输入(连续相同数字将去重):"尺液纯);

  String temp=input.next();

  show(temp);

}

//去重方法

public static void show(String str){

  char[] tempList=str.toCharArray();   //将得到的String型字符串转变为Char型字符

  for (int i = 0; i  tempList.length-1; i++) {     //循环埋渗数组

       if (tempList[i]==tempList[i+1]) {               //判断两个数是否相等，如果相等则去掉

     陵咐     tempList[i]=0;                                       //如果相邻两数重复了  则为0 由于char是基本

          tempList[i+1]=0;                                   //类型，所以初始值为0，不过并不影响效果

      }

  }

  for (int i = 0; i  tempList.length; i++) { 

      if (tempList[i]!=0) {                                  //如果两数都不为0  则输出

          System.out.print(tempList[i]);

      }

  }

}

令附上效果：

java中去除集合重复元素问题

你把o.equals(list)那句换成list.contains(o)试试。现在你的代码里o是个Object（拆好冲其实是String），list是个List，根本不可能equal的

哦下面那个li.remove(o)也换成list.remove(o)

________________________________

哦不对。。。你下面的iterator循环里面其实把每一个都删掉了。。。

------------------------------------

我加了一些我的改动代码，不过如另一旅歼个人所说，一般我们都是在添加的时候去重的，你这种方式我也第一次遇到，不过就你给出来的这些条袜薯件，我觉得这样改就可以了。

分享标题：java去重代码 java 去重
网址分享：http://kswjz.com/article/dspjhpj.html