java.util.ConcurrentModificationException 解决办法
今天做一个网络抓取工具的时候碰到了java.util.ConcurrentModificationException这个问题,引发问题的大体代码如下:java.util.List<ArticleDownloader> threads = new ArrayList<ArticleDownloader>();LogUtil.info("==========开始抓取文章=============");for (int i = 0; i < count; i++) { ArticleDownloader thread = new ArticleDownloader(); threads.add(thread); thread.start();}
我在ArticleDownloader.java中做了一个检测是否完成的操作
public void run() { checkFinish();}
checkFinish方法如下:
public void checkFinish() {boolean jobFinished = true;for (ArticleDownloader downloadThread : threads) {LogUtil.info("checkFinish:");jobFinished &= downloadThread.jobFinished;}if (jobFinished) {LogUtil.info("==========文章抓取完毕,总文章数:" + urlList.length+ ",共耗时:" + (new Date().getTime() - start));System.exit(0);}}
好了,问题来了,从API中可以看到List等Collection的实现并没有同步化,如果在多 线程应用程序中出现同时访问,而且出现修改操作的时候都要求外部操作同步化;调用Iterator操作获得的Iterator对象在多线程修改Set的时 候也自动失效,并抛出java.util.ConcurrentModificationException。这种实现机制是fail-fast,对外部 的修改并不能提供任何保证。
网上查找的关于Iterator的工作机制。Iterator是工作在一个独立的线程中,并且拥有一个 mutex锁,就是说Iterator在工作的时候,是不允许被迭代的对象被改变的。Iterator被创建的时候,建立了一个内存索引表(单链表),这 个索引表指向原来的对象,当原来的对象数量改变的时候,这个索引表的内容没有同步改变,所以当索引指针往下移动的时候,便找不到要迭代的对象,于是产生错 误。List、Set等是动态的,可变对象数量的数据结构,但是Iterator则是单向不可变,只能顺序读取,不能逆序操作的数据结构,当 Iterator指向的原始数据发生变化时,Iterator自己就迷失了方向。
知道了问题的原因,解决就很简单了:
for (int i = 0; i < count; i++) { ArticleDownloader thread = new ArticleDownloader(); threads.add(thread); //thread.start();将所有下载器初始化完毕后再启动}for (ArticleDownloader articleDownloader : threads) { articleDownloader.start();// 统一启动线程,防止初始化过程中不正当争抢资源}
页:
[1]