为什么 R data.table 不能很好地支持 Windows 上的非 ASCII 键

Question

好吧，我已经在github上提出了问题，但没有得到响应。data.table是一个很棒的R包，可帮助我们在日常工作中经常使用。

然而，在版本1.9.6之后，如果未在UTF-8中编码列，则突然不支持Windows上的非ASCII键（RED中编码的默认非ASCII字符在R中编码的默认键取决于平台）。

这很可能是一个错误（我会说是一个大错误）。令我惊讶的是，没有人注意这一点，而且由于该错误已经存在了将近2年，所以没有人抱怨。

我花了几个小时试图解决这个问题，但失败了。

他们实际上正在尝试将其他编码字符转换为UTF-8，然后对UTF-8中的所有字符进行排序并比较。似乎编码处理是正确的。但是，我确实怀疑这个错误被藏在那里。data.table的实施确实很复杂，我问是否有人可以提供帮助，以便我们可以使PR解决这个问题。

非常感谢。

Minimal reproducible example

数据集

library(data.table)
## data.table 1.10.5 IN DEVELOPMENT built 2017-12-01 20:06:10 UTC
## The fastest way to learn (by data.table authors): https://www.datacamp.com/courses/data-analysis-the-data-table-way
##  Documentation: ?data.table, example(data.table) and browseVignettes("data.table")
##  Release notes, videos and slides: http://r-datatable.com
dt <- data.table(
  x = c("公允价值变动损益", "红利收入", "价差收入", "其他业务支出", "资产减值损失"),
  y = 1:5,
  key = "x"
)

如果编码为本机

，将失败（返回NA）

dt[]
##                   x y
## 1: 公允价值变动损益 1
## 2:         红利收入 2
## 3:         价差收入 3
## 4:     其他业务支出 4
## 5:     资产减值损失 5
Encoding(dt$x) 
## [1] "unknown" "unknown" "unknown" "unknown" "unknown"
dt[J("公允价值变动损益")][]
##                   x  y
## 1: 公允价值变动损益 NA

只有在将编码转换为UTF8

时才会成功

现在它返回正确的答案1。请注意，DT的顺序现在也变得不同，这不应该发生。

dt[, x := enc2utf8(x)]
setkey(dt, x)
dt[]
##                   x y
## 1:         价差收入 3
## 2: 公允价值变动损益 1
## 3:     其他业务支出 4
## 4:         红利收入 2
## 5:     资产减值损失 5
Encoding(dt$x)
## [1] "UTF-8" "UTF-8" "UTF-8" "UTF-8" "UTF-8"
dt[J("公允价值变动损益")][]
##                   x y
## 1: 公允价值变动损益 1

sessioninfo

sessionInfo()
## R version 3.4.1 (2017-06-30)
## Platform: x86_64-w64-mingw32/x64 (64-bit)
## Running under: Windows 7 x64 (build 7601) Service Pack 1
## 
## Matrix products: default
## 
## locale:
## [1] LC_COLLATE=Chinese (Simplified)_People's Republic of China.936 
## [2] LC_CTYPE=Chinese (Simplified)_People's Republic of China.936   
## [3] LC_MONETARY=Chinese (Simplified)_People's Republic of China.936
## [4] LC_NUMERIC=C                                                   
## [5] LC_TIME=Chinese (Simplified)_People's Republic of China.936    
## 
## attached base packages:
## [1] stats     graphics  grDevices utils     datasets  methods   base     
## 
## other attached packages:
## [1] data.table_1.10.5
## 
## loaded via a namespace (and not attached):
##  [1] compiler_3.4.1  backports_1.1.1 magrittr_1.5    rprojroot_1.2  
##  [5] tools_3.4.1     htmltools_0.3.6 Rcpp_0.12.13    stringi_1.1.5  
##  [9] rmarkdown_1.8   knitr_1.17      stringr_1.2.0   digest_0.6.12  
## [13] evaluate_0.10.1

Answer 1

我正在解决自己的问题以关闭它，因为此问题已在pr。

中解决

对于字符串，data.table比较其在UTF8编码中的值。但是，由于csort()和csort_pre()中缺少两个ENC2UTF8，因此Data.table创建的顺序实际上取决于编码。在Windows上，默认编码不是UTF8的事实，当将字符串放入键时。

。

为了调试这种情况，您需要知道如何从C例程到R输出打印非ASCII字符。直接使用Rprintf()，您会陷入混乱。您必须先在字符串上使用translateChar()。

参考：

• http://r.789695.n4.n4.n.nabble.com/rprintf-expected-eendecoding-td4740717.html
• http://r.789695.n4.n4.n.nabble.com/how-to-print-utf-8---------a-a-a-c-routine-to-routine to-r-s-sutput-sutput-sutput-td4724337.html