Heritrix-1.14.4爬取数乱编码问题解决方法

cdwzwd

最近在使用HeriTrix爬去数据，发现爬取的结果有的是乱码。自己知道是编码问题。就读源码以解决问题。

解决方法
找到heritrix-1.14.4-src\src\java\org\archive\io\ReplayInputStream.java文件
将
    public void readFullyTo(OutputStream os) throws IOException {        byte[] buf = new byte[4096];        int c = read(buf);        while (c != -1) {            os.write(buf,0,c);            c = read(buf);        }    }
改为
    public void readFullyTo(OutputStream os) throws IOException {        byte[] buf = new byte[4096];        int c = read(buf);         while (c != -1) {            //在这里可以将"UTF-8"替换成自己需要的编码方式            String str_changed_by_cdw = new String(buf,0,c,"UTF-8");        os.write(str_changed_by_cdw.getBytes());            c = read(buf);        }    }
这样更改之后，爬取的数据就不会出现乱码了！