13518219792
用
成都创新互联公司坚持“要么做到，要么别承诺”的工作理念，服务领域包括：成都网站设计、成都网站制作、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的突泉网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！
requests+Selenium+PhantomJs
多线程爬虫的时候用的是滚态
mp.manager.dict()
来存储已经访问过的网站，如果发现再次访问就直接跳过
我能想到的就是
Bloom
Filter
，按照上面所说用
redis
来去重应该也隐备型可以！灶猜
这是去重的完整代码
public static void main(String[] args) {
Scanner input = new Scanner(System.in);
System.out.print("请输入(连续相同数字将去重):"尺液纯);
String temp=input.next();
show(temp);
}
//去重方法
public static void show(String str){
char[] tempList=str.toCharArray(); //将得到的String型字符串转变为Char型字符
for (int i = 0; i tempList.length-1; i++) { //循环埋渗数组
if (tempList[i]==tempList[i+1]) { //判断两个数是否相等，如果相等则去掉
陵咐 tempList[i]=0; //如果相邻两数重复了 则为0 由于char是基本
tempList[i+1]=0; //类型，所以初始值为0，不过并不影响效果
}
}
for (int i = 0; i tempList.length; i++) {
if (tempList[i]!=0) { //如果两数都不为0 则输出
System.out.print(tempList[i]);
}
}
}
令附上效果：
你把o.equals(list)那句换成list.contains(o)试试。现在你的代码里o是个Object（拆好冲其实是String），list是个List，根本不可能equal的
哦下面那个li.remove(o)也换成list.remove(o)
________________________________
哦不对。。。你下面的iterator循环里面其实把每一个都删掉了。。。
------------------------------------
我加了一些我的改动代码，不过如另一旅歼个人所说，一般我们都是在添加的时候去重的，你这种方式我也第一次遇到，不过就你给出来的这些条袜薯件，我觉得这样改就可以了。
