PHP 的 utf8_decode 和 C# 的 Encoding.UTF8.GetString 为同一输入返回不同的输出

Question

我有这个PHP代码，它使用utf8_decode((在UTF-8字符串中转换两个字节数组(一个有32个字节，另一个有70个字节(：

$bytes32 = [144, 204, 205, 119, 77, 176, 172, 140, 110, 162, 222, 255, 14, 38, 252, 82, 118, 138, 130, 124, 145, 199, 55, 162, 224, 80, 102, 141, 140, 57, 194, 36];
$string32 = implode(array_map("chr", $bytes32));
$string32Utf8 = utf8_decode($string32);
$bytes70 = [239, 191, 189, 239, 191, 189, 239, 191, 189, 119, 77, 239, 191, 189, 239, 191, 189, 239, 191, 189, 110, 239, 191, 189, 239, 191, 189, 239, 191, 189, 14, 38, 239, 191, 189, 82, 118, 239, 191, 189, 239, 191, 189, 124, 239, 191, 189, 239, 191, 189, 55, 239, 191, 189, 239, 191, 189, 80, 102, 239, 191, 189, 239, 191, 189, 57, 239, 191, 189, 36];
$string70 = implode(array_map("chr", $bytes70));
$string70Utf8 = utf8_decode($string70);
echo '$string32Utf8: ' . $string32Utf8; // echoes ???wM???n??&?Rv??|??7??Pf??9?$
echo '$string70Utf8: ' . $string70Utf8; // echoes ???wM???n???&?Rv??|??7??Pf??9?$
echo '$string32Utf8 === $string70Utf8: ' . json_encode($string32Utf8 ===  $string70Utf8); // echoes false

然后，我有了这个C#代码，它使用Encoding.UTF8.GetString((做同样的事情：

byte[] bytes32 = new byte[] { 144, 204, 205, 119, 77, 176, 172, 140, 110, 162, 222, 255, 14, 38, 252, 82, 118, 138, 130, 124, 145, 199, 55, 162, 224, 80, 102, 141, 140, 57, 194, 36 };
string string32Utf8 = Encoding.UTF8.GetString(bytes32);
byte[] bytes70 = new byte[] { 239, 191, 189, 239, 191, 189, 239, 191, 189, 119, 77, 239, 191, 189, 239, 191, 189, 239, 191, 189, 110, 239, 191, 189, 239, 191, 189, 239, 191, 189, 14, 38, 239, 191, 189, 82, 118, 239, 191, 189, 239, 191, 189, 124, 239, 191, 189, 239, 191, 189, 55, 239, 191, 189, 239, 191, 189, 80, 102, 239, 191, 189, 239, 191, 189, 57, 239, 191, 189, 36 };
string string70Utf8 = Encoding.UTF8.GetString(bytes70);
Console.WriteLine("string32Utf8: " + string32Utf8); // Writes ���wM���n���&�Rv��|��7��Pf��9�$
Console.WriteLine("string70Utf8: " + string70Utf8); // Writes ���wM���n���&�Rv��|��7��Pf��9�$
Console.WriteLine("string32Utf8 == string70Utf8: " + (string32Utf8 == string70Utf8)); // Writes true

首先，在 C# 中，两个字节数组在转换后都会产生相同的字符串，这与 PHP 不同。其次，与 PHP 相比，C# 中的字符串不同。

PHP 中是否有一个函数在给定相同输入的情况下返回与 C# 的 Encoding.UTF8.GetString(( 相同的输出？还是我缺少一些实际上导致 C# 和 PHP 之间输出不同的内容？

Answer 1

示例中的字节数组不是有效的 UTF-8。基本上，如果在 C# 输出中看到符号，则表示Encoding.UTF8.GetString()使用替换字符来表示无法转换为输出字符的编码输入字节序列。有关更多详细信息，请查看解码器替换回退备注。

但是，您仍然可以在 PHP 中重现与Encoding.UTF8.GetString()相同的完全相同的行为：

$bytes32 = [144, 204, 205, 119, 77, 176, 172, 140, 110, 162, 222, 255, 14, 38, 252, 82, 118, 138, 130, 124, 145, 199, 55, 162, 224, 80, 102, 141, 140, 57, 194, 36];
$string32 = pack('C*', ...$bytes32);
$string32Utf8 = mb_convert_encoding($string32, 'ASCII', 'UTF-8');
$bytes70 = [239, 191, 189, 239, 191, 189, 239, 191, 189, 119, 77, 239, 191, 189, 239, 191, 189, 239, 191, 189, 110, 239, 191, 189, 239, 191, 189, 239, 191, 189, 14, 38, 239, 191, 189, 82, 118, 239, 191, 189, 239, 191, 189, 124, 239, 191, 189, 239, 191, 189, 55, 239, 191, 189, 239, 191, 189, 80, 102, 239, 191, 189, 239, 191, 189, 57, 239, 191, 189, 36];
$string70 = pack('C*', ...$bytes70);
$string70Utf8 = mb_convert_encoding($string70, 'ASCII', 'UTF-8');
var_dump($string32Utf8, $string70Utf8, $string32Utf8 === $string70Utf8);

您可以在此处进行测试：https://3v4l.org/je8gf

我做过不同的事情：

1. 由于字节数组表示UTF-8 字符串，因此我们不能使用chr将其转换为二进制字符串。如chr函数文档中所述：

   此函数不知道任何字符串编码，特别是无法传递 Unicode 码位值以生成多字节编码(如 UTF-8 或 UTF-16(的字符串。

   另一方面，pack函数可以处理各种类型的二进制数据格式。pack('C*', ...$bytes32)意味着字节数组将被视为无符号字符序列并打包成二进制字符串。

2. utf8_decode函数有一个非常令人困惑的名称;它应该被命名为utf8_to_iso88591，因为这正是它所做的：

   将包含使用 UTF-8 编码的 ISO-8859-1

   字符的字符串转换为单字节 ISO-8859-1

   如果我们想复制Encoding.UTF8.GetString()示例，我们真正需要做的是将 UTF-8 编码的二进制字符串转换为 ASCII。你可以使用mb_convert_encoding函数来做到这一点，就像这样：mb_convert_encoding($utf8String, 'ASCII', 'UTF-8')

希望这些评论对您有所帮助！