XSLT 流式处理与 xsl:迭代正确的方式

Question

我想处理一个 161mo 的数据库，但是 java saxon9he 在 300mb 的 ram 和 .NET 的 1700mb 内存不足，所以我需要使用流，所以我使用 XMLSpy 演示，但我仍然不理解 xpath 表达式子父逻辑。我在Windows xp sp3 32位4GB的内存上。

<xsl:iterate select="db_entry">
<xsl:apply-templates select="db_entry"/>
</xsl:iterate>

使用 xsl：itrate 或 xsl：for-each 流式传输此内容的正确方法是什么就足够了？该数据库中有近 60000 个条目。 我的意思是如何正确编写它，因为db_entry中的db_entry不起作用。

编辑：

<xsl:template match="databank_export">
<xsl:iterate select="db_entry">
<xsl:apply-templates select="public_data"/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="text_data"/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="research_data"/>
<xsl:text>&#10;</xsl:text>
</xsl:iterate>
</xsl:template>

我用xsl：iterate替换了xsl：template db_entry，但XMLspy无法加载大文件，所以看起来流媒体不起作用。 我做得对还是程序限制或演示限制？

第二次编辑：我将把我的整个xsl代码放在这里：

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:fn="http://www.w3.org/2005/xpath-functions" xmlns:math="http://www.w3.org/2005/xpath-functions/math" xmlns:array="http://www.w3.org/2005/xpath-functions/array" xmlns:map="http://www.w3.org/2005/xpath-functions/map" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:err="http://www.w3.org/2005/xqt-errors" exclude-result-prefixes="array fn map math xhtml xs err" version="3.0">
<xsl:output method="text" encoding="UTF-8" indent="yes"/>
<xsl:mode streamable="yes"/>
<!--
<xsl:template match="databank_export">
-->
<xsl:template match="/">
<xsl:apply-templates select="databank_export/copy-of(db_entry)" mode="entry"/>
</xsl:template>
<xsl:template match="db_entry" mode="entry">
<xsl:value-of select="public_data, text_data, research_data" separator=" |"/>
<xsl:text>&#10;</xsl:text>
</xsl:template>
<xsl:template match="public_data">
<xsl:value-of select="sflname"/>
<xsl:text>; </xsl:text>
<xsl:apply-templates select="bdata"/>
<xsl:text>; </xsl:text>
<xsl:value-of select="gender"/>
<xsl:text>; PHOTO : |</xsl:text>
<xsl:value-of select="name, gender, rating, datatype/@sdatatype, datatype/@sdatasource, bdata/sbdate, bdata/sbdate/@ccalendar" separator=" - "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="bdata/sbtime, bdata/sbtime/@sbtime_ampm, bdata/sbtime/@ctimetype, bdata/sbtime/@stimetype, bdata/sbtime/@stmerid, bdata/sbtime/@ctzauto, bdata/sbtime/@jd_ut, bdata/sbtime/@sznabbr, bdata/sbtime/@time_unknown, bdata/sbtime/@itimeaac, bdata/sbtime/@stimeaac" separator=" "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="bdata/place, bdata/country, bdata/country/@sctr" separator=", "/>
<xsl:text>, </xsl:text>
<xsl:value-of select="bdata/place/@slati, bdata/place/@slong" separator=" "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="scollector, seditor, biographer" separator=" "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="screationdate, slasteditdate" separator=" "/>
</xsl:template>
<xsl:template match="bdata">
<xsl:value-of select="sbdate/@iday, sbdate/@imonth, sbdate/@iyear" separator="."/>
<xsl:text>; </xsl:text>
<xsl:value-of select="sbtime"/>
<xsl:text>; </xsl:text>
<xsl:analyze-string select="sbtime/@stmerid" regex="([hm]{{1}})([0-9]{{1,2}})([ew]{{1}})([0-9]{{0,2}})">
<xsl:matching-substring>
<xsl:choose>
<xsl:when test="regex-group(3) = 'e'">
<xsl:text>+</xsl:text>
</xsl:when>
<xsl:when test="regex-group(3) = 'w'">
<xsl:text>-</xsl:text>
</xsl:when>
<xsl:otherwise>
<xsl:text>+</xsl:text>
</xsl:otherwise>
</xsl:choose>
<xsl:choose>
<xsl:when test="regex-group(1) = 'h'">
<xsl:number value="regex-group(2)" format="01"/>
</xsl:when>
<xsl:when test="regex-group(1) = 'm'">
<xsl:text>00:</xsl:text>
<xsl:number value="regex-group(2)" format="01"/>
<xsl:text>:</xsl:text>
<xsl:number value="regex-group(4)" format="01"/>
</xsl:when>
<xsl:otherwise>
<xsl:text>+1</xsl:text>
</xsl:otherwise>
</xsl:choose>
</xsl:matching-substring>
</xsl:analyze-string>
<xsl:text>; </xsl:text>
<xsl:value-of select="place, country" separator=","/>
<xsl:text>; </xsl:text>
<xsl:value-of select="place/@slati, place/@slong" separator="; "/>
</xsl:template>
<xsl:template match="text_data">
<xsl:value-of select="shortbiography, wikipedia_link, db_link, sourcenotes" separator="|"/>
</xsl:template>
<xsl:template match="research_data">
<xsl:apply-templates select="categories"/>
<xsl:text>|</xsl:text>
<xsl:apply-templates select="relationships"/>
<xsl:text>|</xsl:text>
<xsl:value-of select="events/@count"/>
<xsl:text>|</xsl:text>
<xsl:apply-templates select="events"/>
</xsl:template>
<xsl:template match="categories">
<xsl:iterate select="category">
<xsl:value-of select="@cat_id, @db_id, @catnotes" separator=" "/>
<xsl:text> - </xsl:text>
<xsl:value-of select="text()"/>
<xsl:text> |</xsl:text>
</xsl:iterate>
</xsl:template>
<xsl:template match="relationships">
<xsl:iterate select="relationship">
<xsl:value-of select="@rel_id, @rel_db_id, @db_id, @relcat" separator=" "/>
<xsl:text> - </xsl:text>
<xsl:value-of select="@relnotes, text()" separator=" - "/>
<xsl:text> |</xsl:text>
</xsl:iterate>
</xsl:template>
<xsl:template match="events">
<xsl:iterate select="event">
<xsl:value-of select="@sevcode, @evn_id, @db_id, @evnotes" separator=" "/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="event_data"/>
<xsl:text> |</xsl:text>
</xsl:iterate>
</xsl:template>
<xsl:template match="event">
<xsl:apply-templates select="event_data"/>
</xsl:template>
<xsl:template match="event_data">
<xsl:value-of select="sbdate, sbdate/@ccalendar, sbdate_dmy" separator=" "/>
</xsl:template>
</xsl:stylesheet>

它适用于一个小的示例文件，但不适用于整个 161mb 文件。

此致敬意。

Answer 1

马丁已经回答了很多问题，但让我补充几句。

您的示例代码

<xsl:iterate select="db_entry">
<xsl:apply-templates select="db_entry"/>
</xsl:iterate>

似乎是初学者的错误：除非db_entry小时候真的包含另一个db_entry元素，否则这应该是

<xsl:iterate select="db_entry">
<xsl:apply-templates select="."/>
</xsl:iterate>

xsl:iterate和xsl:for-each之间的区别在于，使用xsl:for-each时，输入序列中的每个项目都独立于其他项目进行处理：没有定义的处理顺序，并且一个项目的处理不可能影响后续项目的处理方式。使用xsl:iterate，按顺序处理项目，并且(通过使用xsl:next-iteration)您可以在处理项目时设置变量/参数，这些变量/参数在处理下一个项目时可用。

这种差异与流式传输没有直接关系;但是引入xsl:iterate是因为有些用例(例如计算银行账户上的运行总计)如果没有这样的构造，很难使流式传输。

您编辑的代码：

<xsl:iterate select="db_entry">
<xsl:apply-templates select="public_data"/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="text_data"/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="research_data"/>
<xsl:text>&#10;</xsl:text>
</xsl:iterate>

同样可以用xsl:for-each来写，因为一个项目的处理不依赖于对先前项目的处理。但是，无论哪种方式，它都不能满足流式处理规则，因为您在迭代主体中进行三个"向下选择"，并且只允许一个。正如 Martin 所说明的那样，最简单的解决方法是创建每个db_entry的副本(作为内存中的树)，然后您可以在没有任何流式限制的情况下对此副本进行操作。

如果您知道三个子元素按您处理它们的顺序出现，另一种解决方法是替换：

<xsl:apply-templates select="public_data"/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="text_data"/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="research_data"/>
<xsl:text>&#10;</xsl:text>

由

<xsl:for-each select="*[
self::public_data or self::text_data or self::research_data]">
<xsl:if test="position() ne 1"> |</xsl:if>
<xsl:apply-templates select="."/>
</xsl:for-each>
<xsl:text>&#10;</xsl:text>

(请注意一个小技巧，即在每个条目(除第一个条目)之前放置一个垂直条，而不是将其放在除最后一个条目之外的每个条目之后。那是因为当您进行流式传输时，您不知道何时会到达终点。当您尝试使代码可流式传输时，像这样的小事情变得非常重要。

正如Martin所说，Altova RaptorXML不支持流媒体：为此，您需要使用Saxon-EE。

Answer 2

举一个简单的例子，假设你有很多db_entry元素，但我们可以安全地假设拉入内存的单个条目不会导致内存问题，那么你可以在这些元素上使用copy-of，并使用传统处理与主模式不同的模式使用流：

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:math="http://www.w3.org/2005/xpath-functions/math"
exclude-result-prefixes="xs math"
version="3.0">
<xsl:mode streamable="yes"/>
<xsl:output method="text"/>
<xsl:template match="/">
<xsl:apply-templates select="databank_export/copy-of(db_entry)" mode="entry"/>
</xsl:template>
<xsl:template match="db_entry" mode="entry">
<xsl:value-of select="public_data, text_data, research_data" separator=" |"/>
<xsl:text>&#10;</xsl:text>
</xsl:template>
</xsl:stylesheet>

例如，这改变了

<?xml version="1.0" encoding="UTF-8"?>
<databank_export>
<db_entry>
<public_data>public data 1</public_data>
<text_data>text 1</text_data>
<research_data>research 1</research_data>
</db_entry>
<db_entry>
<public_data>public data 2</public_data>
<text_data>text 2</text_data>
<research_data>research 2</research_data>
</db_entry>
<db_entry>
<public_data>public data 3</public_data>
<text_data>text 3</text_data>
<research_data>research 3</research_data>
</db_entry>
<db_entry>
<public_data>public data 4</public_data>
<text_data>text 4</text_data>
<research_data>research 4</research_data>
</db_entry>
<db_entry>
<public_data>public data 5</public_data>
<text_data>text 5</text_data>
<research_data>research 5</research_data>
</db_entry>
<db_entry>
<public_data>public data 6</public_data>
<text_data>text 6</text_data>
<research_data>research 6</research_data>
</db_entry>
<db_entry>
<public_data>public data 7</public_data>
<text_data>text 7</text_data>
<research_data>research 7</research_data>
</db_entry>
<db_entry>
<public_data>public data 8</public_data>
<text_data>text 8</text_data>
<research_data>research 8</research_data>
</db_entry>
<db_entry>
<public_data>public data 9</public_data>
<text_data>text 9</text_data>
<research_data>research 9</research_data>
</db_entry>
<db_entry>
<public_data>public data 10</public_data>
<text_data>text 10</text_data>
<research_data>research 10</research_data>
</db_entry>
</databank_export>

到

public data 1 |text 1 |research 1
public data 2 |text 2 |research 2
public data 3 |text 3 |research 3
public data 4 |text 4 |research 4
public data 5 |text 5 |research 5
public data 6 |text 6 |research 6
public data 7 |text 7 |research 7
public data 8 |text 8 |research 8
public data 9 |text 9 |research 9
public data 10 |text 10 |research 10

撒克逊9.8 EE将使用流媒体。

有了xsl:iterate您可以使用

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
xmlns:xs="http://www.w3.org/2001/XMLSchema"
xmlns:math="http://www.w3.org/2005/xpath-functions/math"
exclude-result-prefixes="xs math"
version="3.0">
<xsl:mode streamable="yes"/>
<xsl:output method="text"/>
<xsl:template match="/">
<xsl:iterate select="databank_export/db_entry">
<xsl:apply-templates select="copy-of()" mode="entry"/>
</xsl:iterate>
</xsl:template>
<xsl:template match="db_entry" mode="entry">
<xsl:value-of select="public_data, text_data, research_data" separator=" |"/>
<xsl:text>&#10;</xsl:text>
</xsl:template>
</xsl:stylesheet>

至于您的扩展样式表，仍然假设将单个db_entry拉入内存以使用不使用流式处理的模式正常处理它，我认为您想要类似

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:fn="http://www.w3.org/2005/xpath-functions" xmlns:math="http://www.w3.org/2005/xpath-functions/math" xmlns:array="http://www.w3.org/2005/xpath-functions/array" xmlns:map="http://www.w3.org/2005/xpath-functions/map" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:err="http://www.w3.org/2005/xqt-errors" exclude-result-prefixes="array fn map math xhtml xs err" version="3.0"
default-mode="entry">
<xsl:output method="text" encoding="UTF-8" indent="yes"/>
<xsl:mode name="start" streamable="yes"/>
<!--
<xsl:template match="databank_export">
-->
<xsl:template match="/" mode="start">
<xsl:apply-templates select="databank_export/copy-of(db_entry)" mode="entry"/>
</xsl:template>
<xsl:template match="db_entry">
<xsl:apply-templates select="public_data, text_data, research_data"/>
<xsl:text>&#10;</xsl:text>
</xsl:template>
<xsl:template match="public_data">
<xsl:value-of select="sflname"/>
<xsl:text>; </xsl:text>
<xsl:apply-templates select="bdata"/>
<xsl:text>; </xsl:text>
<xsl:value-of select="gender"/>
<xsl:text>; PHOTO : |</xsl:text>
<xsl:value-of select="name, gender, rating, datatype/@sdatatype, datatype/@sdatasource, bdata/sbdate, bdata/sbdate/@ccalendar" separator=" - "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="bdata/sbtime, bdata/sbtime/@sbtime_ampm, bdata/sbtime/@ctimetype, bdata/sbtime/@stimetype, bdata/sbtime/@stmerid, bdata/sbtime/@ctzauto, bdata/sbtime/@jd_ut, bdata/sbtime/@sznabbr, bdata/sbtime/@time_unknown, bdata/sbtime/@itimeaac, bdata/sbtime/@stimeaac" separator=" "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="bdata/place, bdata/country, bdata/country/@sctr" separator=", "/>
<xsl:text>, </xsl:text>
<xsl:value-of select="bdata/place/@slati, bdata/place/@slong" separator=" "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="scollector, seditor, biographer" separator=" "/>
<xsl:text>|</xsl:text>
<xsl:value-of select="screationdate, slasteditdate" separator=" "/>
</xsl:template>
<xsl:template match="bdata">
<xsl:value-of select="sbdate/@iday, sbdate/@imonth, sbdate/@iyear" separator="."/>
<xsl:text>; </xsl:text>
<xsl:value-of select="sbtime"/>
<xsl:text>; </xsl:text>
<xsl:analyze-string select="sbtime/@stmerid" regex="([hm]{{1}})([0-9]{{1,2}})([ew]{{1}})([0-9]{{0,2}})">
<xsl:matching-substring>
<xsl:choose>
<xsl:when test="regex-group(3) = 'e'">
<xsl:text>+</xsl:text>
</xsl:when>
<xsl:when test="regex-group(3) = 'w'">
<xsl:text>-</xsl:text>
</xsl:when>
<xsl:otherwise>
<xsl:text>+</xsl:text>
</xsl:otherwise>
</xsl:choose>
<xsl:choose>
<xsl:when test="regex-group(1) = 'h'">
<xsl:number value="regex-group(2)" format="01"/>
</xsl:when>
<xsl:when test="regex-group(1) = 'm'">
<xsl:text>00:</xsl:text>
<xsl:number value="regex-group(2)" format="01"/>
<xsl:text>:</xsl:text>
<xsl:number value="regex-group(4)" format="01"/>
</xsl:when>
<xsl:otherwise>
<xsl:text>+1</xsl:text>
</xsl:otherwise>
</xsl:choose>
</xsl:matching-substring>
</xsl:analyze-string>
<xsl:text>; </xsl:text>
<xsl:value-of select="place, country" separator=","/>
<xsl:text>; </xsl:text>
<xsl:value-of select="place/@slati, place/@slong" separator="; "/>
</xsl:template>
<xsl:template match="text_data">
<xsl:value-of select="shortbiography, wikipedia_link, db_link, sourcenotes" separator="|"/>
</xsl:template>
<xsl:template match="research_data">
<xsl:apply-templates select="categories"/>
<xsl:text>|</xsl:text>
<xsl:apply-templates select="relationships"/>
<xsl:text>|</xsl:text>
<xsl:value-of select="events/@count"/>
<xsl:text>|</xsl:text>
<xsl:apply-templates select="events"/>
</xsl:template>
<xsl:template match="categories">
<xsl:iterate select="category">
<xsl:value-of select="@cat_id, @db_id, @catnotes" separator=" "/>
<xsl:text> - </xsl:text>
<xsl:value-of select="text()"/>
<xsl:text> |</xsl:text>
</xsl:iterate>
</xsl:template>
<xsl:template match="relationships">
<xsl:iterate select="relationship">
<xsl:value-of select="@rel_id, @rel_db_id, @db_id, @relcat" separator=" "/>
<xsl:text> - </xsl:text>
<xsl:value-of select="@relnotes, text()" separator=" - "/>
<xsl:text> |</xsl:text>
</xsl:iterate>
</xsl:template>
<xsl:template match="events">
<xsl:iterate select="event">
<xsl:value-of select="@sevcode, @evn_id, @db_id, @evnotes" separator=" "/>
<xsl:text> |</xsl:text>
<xsl:apply-templates select="event_data"/>
<xsl:text> |</xsl:text>
</xsl:iterate>
</xsl:template>
<xsl:template match="event">
<xsl:apply-templates select="event_data"/>
</xsl:template>
<xsl:template match="event_data">
<xsl:value-of select="sbdate, sbdate/@ccalendar, sbdate_dmy" separator=" "/>
</xsl:template>
</xsl:stylesheet>

然后需要运行带有-im:start的 Saxon 9.8 EE .上面基本上是您发布的代码，仅使用default-mode="entry"来确保您编写的所有模板及其应用模板都属于名为entry的模式，同时添加可流式start模式，然后使用我之前的建议

<xsl:template match="/" mode="start">
<xsl:apply-templates select="databank_export/copy-of(db_entry)" mode="entry"/>
</xsl:template>

通过流式处理拉入db_entry元素，但将每个元素的副本推送到不可流式处理的模式，在该模式下可以使用正常处理，例如

<xsl:template match="db_entry">
<xsl:apply-templates select="public_data, text_data, research_data"/>
<xsl:text>&#10;</xsl:text>
</xsl:template

如果我从头开始编写，我会使用较短代码段中的方法将未命名的默认模式设置为可流式传输，然后将副本推送到命名的、不可流式传输的模式，但考虑到您添加的所有代码，设置该default-mode属性更容易，然后使用命名模式start将流式处理作为初始模式。

如前所述，为了解决内存问题，只有当有数千个db_entry元素组成了传统处理的输入树的大小时，混合流式处理和传统处理的整个方法才有意义。它需要 Saxon 9.8 EE(或者可能是 9.7 EE)作为当前唯一的流媒体实现。

请注意，我没有努力检查或更正您发布的所有模板，一般来说，您可以在许多尝试过xsl:iterate的地方使用xsl:for-each，或者我希望在那里使用例如<xsl:apply-templates select="event"/>并设置<xsl:template match="event">...</xsl:template>，以保持代码模块化和处理方法的一致性。