一、UTF-16编码方法
目前,UNICODE字符值的范围从U+000000到U+10FFFF(20bit),UTF-16以两个字节为单位对其进行编码。
1 字符值在U+0000到U+FFFF(注意U+D800到U+DBFF无定义)之间的字符(也叫做BMP, Basic Multilingual Plane),直接用两个字节表示。
2 字符值在U+10000到U+10FFFF(共有0xFFFFF个字符)之间的字符(也叫做增补字符集, supplementary characters),需要用四个字节表示。
前两个字节的范围是U+D800到U+DBFF(也叫高代理项, high-surrogates range),
后两个字节的范围是U+DC00到U+DFFF(也叫低代理项, low-surrogates range)。
转换方式如下:
1.1 将字符值减去0x10000,结果范围0x0000到0xFFFFF。
1.2 将结果的高10bit与0xD800做逻辑或运算,低10bit与0xDC00做逻辑或运算,
1.3 将两部分组合起来就是该字符值的UTF-16编码。
3 根据存储顺序的不同,UTF-16分为UTF-16LE和UTF-16BE,Windows和Linux一般使用UTF-16LE,而苹果操作系统使用UTF-16BE。
二、JAVA中的UTF-16
0 在JDK1.5之后JAVA才开始支持增补字符集,由JSR 204(Unicode Supplementary Character Support)实现。
1 JAVA中使用char(两个字节)作为表示字符的单位。因此,JAVA中单个char是无法表示增补字符的,而且位于U+D800到U+DBFF和U+DC00到U+DFFF的char被视为无定义字符。
2 在JAVA平台中,char[]、String、StringBuilder和StringBuffer类中采用了UTF-16编码,BMP字符用一个char表示,增补字符使用一对char表示。
3 JAVA使用代码点(Unicode code pointer)这个概念来表示范围在U+0000与U+10FFFF之间的字符值,代码单元(Unicode code unit)表示用于作为UTF-16编码的代码单元的 16位char值。因此,在Character类的API中,可以看到很多包含codePoint的方法。
4 String类中有关方法的分析
4.1 在String中,索引值指的是代码单元,所以增补字符在String中占两个位置。
4.2 int length()方法返回的是代码单元的数量,如果字符串中含有增补字符,该方法返回的值并非实际的字符数。
4.3 char charAt(int index)方法直接返回索引出的char值,不管该char是否为增补字符代理项。
4.4 int codePointAt(int index)方法,这个方法实际上是调用Character.codePointAtImpl()方法实现,源码如下
static int codePointAtImpl(char[] a, int index, int limit) { char c1 = a[index++]; if (isHighSurrogate(c1)) { if (index < limit) { char c2 = a[index]; if (isLowSurrogate(c2)) { return toCodePoint(c1, c2); } } } return c1; } 所以,当index和index+1均小于length(),且index的char在高代理范围内,就返回增补字符的代码点,否则返回index的char值。
4.5 int codePointBefore(int index),实际上调用Character.codePointBeforeImpl()方法。
static int codePointBeforeImpl(char[] a, int index, int start) { char c2 = a[--index]; if (isLowSurrogate(c2)) { if (index > start) { char c1 = a[--index]; if (isHighSurrogate(c1)) { return toCodePoint(c1, c2); } } } return c2; } 所以,当index-1和index-2均非负,且index-2的char在高代理范围内,index-1的char在低代理范围内,则返回增补字符的代码点,否则返回index-1的char值。
4.6 int codePointCount(int beginIndex, int endIndex),调用Character.codePointCountImpl()
static int codePointCountImpl(char[] a, int offset, int count) { int endIndex = offset + count; int n = 0; for (int i = offset; i < endIndex; ) { n++; if (isHighSurrogate(a[i++])) { if (i < endIndex && isLowSurrogate(a[i])) { i++; } } } return n; } 所以,该方法可以真正计算出字符串中的字符数量。
4.7 offsetByCodePoints(int index, int codePointOffset) 这个方法主要是计算从index开始,接下来第codePointOffset个代码点的下标。
4.8 int indexOf(int ch),其他相关方法,如lastIndexOf()等,原理类似。
如果ch的大小在0x0000到0xFFFF之间时,返回值是第一次满足charAt(k) == ch时的k值
如果ch的大小超过0xFFFF,返回值是第一次满足codePointAt(k) == ch的k值
如果都不满足,返回-1
关于以上这些函数的用法,developWorks上有篇文章有详细的解释:http://www.ibm.com/developerworks/cn/java/j-unicode/
相关资料:
unicode中文范围http://www.iteye.com/topic/558050
维基百科UTF-16词条http://zh.wikipedia.org/wiki/UTF-16
分享到:
相关推荐
最近的项目(Delphi开发),需要经常和java语言开发的系统进行数据交互(Socket通信方式),数据编码约定采用UTF-8编码。 令我无语的是:JAVA系统那边反映说,Delphi发的数据他们收到是乱码,而我这边(Delphi7,...
Java解决UTF-8的BOM问题
主要介绍了Java避免UTF-8的csv文件打开中文出现乱码的方法,结合实例形式分析了java操作csv文件时使用utf-16le编码与utf8编码相关操作技巧,需要的朋友可以参考下
文件里有详细的代码,编码格式选择UTF-8编码,亲测在linux下可以直接运行。泰文在osd输出的流程一般是泰文先转换成Unicode编码,然后调用freetype进行文字渲染叠加
Java字符串编码查询及转换,可将常用的一些编码格式转换成utf-8
不需要关心接受的字符串编码是UTF_8还是GBK,还是ios-8859-1,自动转换为utf-8编码格式,无需判断字符串原有编码,用法://处理编码String newStr = GetEncode.transcode(oldStr);
JAVA UTF-8编码中文转拼音附件上传
asp版hmac_sha256加密方式,支持中英文,加密结果与java、php、python、js 一毛一样(utf-8编码全世界都是用它)
Java工程编码格式由GBK转化成utf-8(编码格式互转) https://ymjin.blog.csdn.net/article/details/118769530
在eclispe的项目中,有存在项目字符集和工作空间字符集不匹配,该jar只能将项目文件中的.java结尾的文件转为utf8编码,并且源文件必须为gbk编码的,否则乱码
CodeDetectorDetect File encoding, Now support UTF-8,GBK,UTF-16LE,UTF-16BE, Java检查文件编码,主要针对中文文本。目前支持 UTF-8(BOM或无BOM)、GBK、UTF-16LE、UTF-16BE单个文件或文件夹,支持编码批量转换。...
Java视频教程 UTF-8编码的中文问题 UTF8
能够集成到Source Insight中,解决JAVA文件乱码问题
老项目采用GBK编码格式,而新项目采用的UTF-8编码格式,如果直接把Java源代码复制到Eclipse中所有的中文信息会出现乱码。所以写了个小的方法类,将java文件的编码格式从GBK转UTF-8
Recognize类判定指定文本文件为UTF-8还是GBK编码格式。
java-utf8编码统一filter,使用过滤器统一更改字符集为utf8
JDK中文转utf-8编码c:\Java\jdk1.6.0_05\bin中有个native2ascii.exe文件就是了
本工程用于研究如何使用Java代码将GBK编码格式的工程转换为UTF-8编码格式的工程 本工程编码方式:UTF-8 本工程开发工具:MyEclipse
change file encoding in batches, now support UTF-8,GBK,UTF-16LE,UTF-16BE, Java java -Dfile.encoding=utf-8 -mx1000m -jar ChangeEncoding-1.0.jar inputPath outPath in_encoding out_encoding in_encoding 是...