识别和匹配文件中的非ascii字符

Question

我正在尝试读取一个分隔文件并解析其内容。与CSV不同，分隔符、字符串限定符等是非ASCII的，即分别为U0014和U00FE。但是，我无法检测字符串限定符（FE）。这是因为角色的值大于128还是其他原因？

这里有一个简单的程序来说明核心问题。我怎样才能做到这一点？这是一个非常小的测试文件的链接。https://www.dropbox.com/s/1cilircwc3pq78c/nonascii.dat?dl=0

感谢

import org.apache.commons.io.FileUtils;
import org.apache.commons.io.LineIterator;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.io.PrintStream;
import java.io.Reader;
public class CharMatch {
    public static void main(String[] args)
        throws Exception {
    final String pathname = "/home/vinayb/Downloads/nonascii.dat";
    final File file = new File(pathname);
    final String encoding = "UTF-8";
    final PrintStream out = new PrintStream(System.out, true, encoding);
    final Reader r = new BufferedReader(new InputStreamReader(
            new FileInputStream(file), encoding));
    final LineIterator it = FileUtils.lineIterator(file, encoding);
    try {
        //read a line
        final String line = it.nextLine();
        final char[] chars = line.toCharArray();
        for (char c : chars) {
            out.println(c + " , with decimal value: " + Character.getNumericValue(c) + " and hexa value: " + Integer.toHexString(Character.getNumericValue(c)));
        }
        out.println("------------------------------------");
        final String expectedDelimiter = fromUnicode("0014");
        final String expectedStringQualifier = fromUnicode("00FE");
        out.println("##### expected delimiter:" + expectedDelimiter);
        out.println("##### expected string qualifier:" + expectedStringQualifier);
        String[] items = line.split(expectedDelimiter);
        out.println("#### " + items.length + " " + items[0]);
        if (line.contains(expectedDelimiter)) {
            out.println("Found delimiter"); ////=======> can match this
        }
        if (line.contains(expectedStringQualifier)) {
            out.println("Found string qualifier"); //=======> can't match this
        }
    } finally {
        LineIterator.closeQuietly(it);
    }
}
private static String fromUnicode(String codePoint) {
    return "" + (char) Integer.parseInt(codePoint, 16);
}

}

Answer 1

您的文件不是有效的UTF-8：

$ iconv -f utf-8 *dat >/dev/null; echo $?
iconv: illegal input sequence at position 0
1

但它可以"读取"为ISO-8859-1:

$ iconv -f iso-8859-1 *dat >/dev/null; echo $?
0

只需将编码更改为；但2015年的这种文件格式相当奇怪。你真正应该做的是要求这些文件的来源与时代共存；）

注意，由于第一个字节序列无效，默认情况下Java将用U+FFFD替换它；并且它将对无法转换为chars的每个字节序列执行此操作。即使在这种情况下，为了让Java抛出异常，您需要实例化一个CharsetDecoder（来自Charset实例），并指定要.onMalformedInput(CodingErrorAction.REPORT)（默认为CodingErrorAction.REPLACE）。

Answer 2

看看这里。00 FE可能是UTF-16的正确代码，但在UTF-8中它是C3 be。这也可以解释为什么它不是有效的UTF-8。