六狼论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 24|回复: 0

说一说Java的native2ascii中的encoding

[复制链接]

升级  32%

4

主题

4

主题

4

主题

童生

Rank: 1

积分
16
 楼主| 发表于 2013-2-3 11:16:59 | 显示全部楼层 |阅读模式
     如果大家处理过多语言资源,那么对JDK这个自带的native2ascii肯定不会陌生,它能够帮我们把不同的编码转化成统一的unicode编码,来实现国际化。
    一般我们都这么用,假设我们有这么一个文件zh.txt,其内容只有这么一行:

    
    然后我们使用native2ascii来将其内容转成unicode编码:
 
    
 
    很简单,但是你考虑过zh.txt文件的编码了吗?如果这个zh.txt文件是别人提供给你的,可能里面是采用了别的编码,那么如果仅仅是通过简单的native2ascii zh.txt是不可以的。
 
    很庆幸,native2ascii这个工具本身提供了一个encoding选项,但是,这个encoding选项是代表什么意思呢?网上大多数人都认为,这个是指生成的目的文件的编码,如,
 
    
 
    则表示将zh.txt转成ISO 8859-1编码,真的是这样的吗?
 
    还有一些人认为,这个encoding选项所指的是,源文件即zh.txt的编码格式,这个解释有点贴近,但仍不让我满意,这个encoding选项指的应该是native2ascii工具读取源文件zh.txt所采用的编码方式,如对于上面的iso-8859-1的例子,则表示native2ascii工具将采用iso-8859-1编码格式来读取源文件zh.txt,并将其内容转化成unicode编码格式。这样有什么用呢?这个就像我前面说的,可能这个源文件zh.txt可能是别人在他自己的机器上编写并提供给你的,要知道linux上默认的编码格式是ISO 8859-1,而window上一般是GBK(对于中文系统),如果我们用GBK的编码格式来读取ISO 8859-1编码的内容,可想而知,会发生什么样的错误。
 
   这个也就是下面两个不同的native2ascii使用都有一样的输出的原因:
 
   
 
   这里没有指定encoding选项,则采用操作系统默认的编码格式来读取解析zh.txt文件(这里默认是GBK)
 
   
 
   这里明确指定了GBK encoding选项,可以看到跟上面的输出一致。
 
   最后再让我们以代码来验证下以上的说法:
   还是zh.txt文件,让我们以utf-8的编码来读取它,
 
   
 
   可以看到输出为\u04ac\ufffd\ufffd,
 
   如果我们是通过代码来以utf-8的编码来读取源文件再转成unicode,会不会结果也是\u04ac\ufffd\ufffd呢?
 
    
BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(new File("C:\\Documents and Settings\\yeson\\zh.txt")), "utf-8"));String line = null;while ((line = br.readLine()) != null) {for (char c : line.toCharArray())System.out.println((byte) c);}System.out.println();//new linechar[] utf8 = new char[] { '\u04ac', '\ufffd', '\ufffd' };for (char c : utf8)System.out.println((byte)c);    输出:

   
 
   可以看到,实际上是一样,java中的char本身就是unicode.
 
 
   而如果-encoding和-reverse选项并存,则这里的encoding则表示将以什么样的编码格式写入文件,如:   

   
 
   这个表示将转换后的文件以utf8的编码格式写入文件utf8.txt.
 
 
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

本版积分规则

快速回复 返回顶部 返回列表