R当DOM和SAX解析器都失败时该怎么办

Question

我有一个大约45GB的非常大的xml文件，我正试图解析它并创建一个数据帧。xml有一个相当简单的结构，如下所示。当类型为输入链接或左链接时，我想读取标记<event>下的属性。

<?xml version="1.0" encoding="utf-8"?>
<events version="1.0">
    <event time="10800.0" type="actend" person="9982471" link="21225" actType="home"  />
    <event time="10800.0" type="departure" person="9982471" link="21225" legMode="car"  />
    <event time="10800.0" type="PersonEntersVehicle" person="9982471" vehicle="9982471"  />
    <event time="10800.0" type="actend" person="9656271" link="21066" actType="home"  />
    <event time="10833.0" type="entered link" person="4250461" link="24329" vehicle="4250461"  />
    <event time="10835.0" type="left link" person="1662941" link="29242" vehicle="1662941"  />
    <event time="10835.0" type="entered link" person="1662941" link="29239" vehicle="1662941"  />
    <event time="10836.0" type="left link" person="7651702" link="7359" vehicle="7651702"  />
    <event time="10836.0" type="entered link" person="7651702" link="7407" vehicle="7651702"  />
    <event time="10840.0" type="left link" person="8909152" link="5664" vehicle="8909152"  />
</events>

我尝试过基于DOM的xmlparse()函数，但由于内存问题，它没有帮助。然后，我尝试了一个基于SAX的代码（如下所示），但它花费了太长时间。例如，读取一个1%的样本并从中创建一个数据帧，我花了大约5个小时。因此，要对完整的数据进行同样的处理，我需要大约20天的时间（假设它可以线性缩放）。你能帮我解决这个问题吗？以下是一个非常小的样本、1%样本、5%样本和完整数据的链接。

这是我使用的SAX代码。

library(XML)
branchFunction <- function() {
  store <- new.env() 
  new_counter <- (function() {
    i <- 0
    function() { 
      i <<- i + 1
      i
    }
  })()
  func <- function(x, ...) {
    ns <- getNodeSet(x,path = "//event[@type='left link' or @type='entered link']")
    value <- lapply(ns, xmlAttrs)
    store[[toString(new_counter())]] <- value
  }
  getStore <- function() { as.list( store ) }
  list(event = func, getStore=getStore)
}
myfunctions <- branchFunction()
xmlEventParse(file = "percent1.gz", handlers = NULL, branches = myfunctions)
l <- myfunctions$getStore()
l <- unlist(l, recursive = FALSE)
df <- data.frame(matrix(unlist(l), nrow=length(l), byrow=T),stringsAsFactors=FALSE)
colnames(df) <- c("time", "type", "person", "link", "carid")

输出必须看起来像这个

> head(df)
     time         type  person  link   carid
1 10934.0 entered link 9656271 16260 9656271
2 10935.0    left link 8909152  6014 8909152
3 10935.0 entered link 8909152  6034 8909152
4 10936.0    left link 1504062 25541 1504062
5 10936.0 entered link 1504062 25384 1504062
6 10936.0    left link 3055801 31464 3055801

Answer 1

使用Saxon，以下XSLT3.0样式表在14.5秒内处理了您的percent1样本（413Mb）：

<xsl:stylesheet version="3.0" 
  xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
  xmlns:xs="http://www.w3.org/2001/XMLSchema"
  exclude-result-prefixes="xs"
  expand-text="yes">
  <xsl:template name="xsl:initial-template">
    <xsl:stream href="percent1.xml">
      <xsl:for-each select="/events/event[@type=('entered link', 'left link')]">
        {position()} {@time} {@person} {@link} {@person}
      </xsl:for-each>
    </xsl:stream>
  </xsl:template>
</xsl:stylesheet>

内存使用量为13Mb（不会随着文件大小的增加而增加）。完整数据集的外推时间约为25分钟。

Answer 2

要扩展@MichaelKay的答案，请考虑一个XSLT解决方案。作为信息，XSLT是一种特殊用途的声明性编程语言，专门用于将XML文件转换为各种格式，包括其他XML、HTML，甚至文本（txt、csv等），以满足最终使用需求，如R数据帧。

大多数通用语言，包括C#、Java、Perl、Python、PHP和VB，都配备了XSLT1.0库，有些像Java和XSLT2.0和3.0库，如Saxon和Xalan。此外，像PowerShell和Bash这样的命令行解释器可以运行XSLT。R甚至拥有使用libxslt-gnome模块的有限Sxslt库，但仅限于Linux机器。

R可以使用system()调用其他脚本和/或可执行文件作为子进程，如下所示。对于您的大型XML文件，请考虑转换为csv文件以供R导入（消除任何解析需求）：

XSLT （外部通常保存为.xsl或.XSLT）

<xsl:transform xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0">
<xsl:output version="1.0" encoding="UTF-8" indent="yes"  method="text"/>
<xsl:strip-space elements="*"/>
  <!-- Identity Transform -->
  <xsl:template match="@*|node()" priority="1">
    <xsl:copy>
      <xsl:apply-templates select="@*|node()"/>
    </xsl:copy>
  </xsl:template>
  <!-- Comma-separated values -->
  <xsl:template match="event[@type=('entered link','left link')]" priority="2">    
    <xsl:value-of select="concat(@time, ',',
                                 @type, ',',
                                 @person, ',',
                                 @link, ',',
                                 @vehicle)"/><xsl:text>&#xa;</xsl:text>
  </xsl:template>
</xsl:transform>

CSV输出（使用上述样本）

#10833  entered link    4250461 24329 4250461
#10835  left link       1662941 29242 1662941
#10835  entered link    1662941 29239 1662941
#10836  left link       7651702 7359  7651702
#10836  entered link    7651702 7407  7651702
#10840  left link       8909152 5664  8909152

R编写

# COMMAND LINE CALL(S)
# PYTHON SCRIPT (USING LXML MODULE)
system('python dir/XSLT_Transform_Script.py')  
# SAXON HE (JAVA PLATFORM)
system('java -jar dir/saxonhe.jar -s:Input.xml -xsl:XSLTscript.xsl -o:Output.csv')  
# BASH UNIX XSLTPROC
system('xsltproc XSLTscript.xsl Input.xml -o Output.csv')  
# POWERSHELL WINDOWS SCRIPT W/ ARGS
system('Powershell.exe -File XSLTransform_Script.ps1 Input.xml, XSLTScript.xsl, Output.csv')
# DATA FRAME IMPORT
df <- read.csv("Output.csv", header=FALSE)
colnames(df) <-  c("time", "type", "person", "link", "carid")