了解wikimedia转储

Question

我正在尝试解析最新的wikisource转储。更具体地说，我想得到所有的页面下的类别：歌谣页面。为此，我下载了https://dumps.wikimedia.org/enwikisource/latest/enwikisource-latest-pages-articles.xml.bz2转储。在这个转储中，相关页面包含除实际链接之外的所有内容：

<page>
<title>Category:Ballads</title>
<ns>14</ns>
<id>115796</id>
<revision>
<id>4753508</id>
<parentid>4003780</parentid>
<timestamp>2014-01-25T16:21:08Z</timestamp>
<contributor>
<username>EmausBot</username>
<id>983607</id>
</contributor>
<minor />
<comment>Bot: Migrating 2 interwiki links, now provided by [[Wikipedia:Wikidata|Wikidata]] on [[d:Q8286819]]</comment>
<model>wikitext</model>
<format>text/x-wiki</format>
<text bytes="51" xml:space="preserve">[[Category:Song lyrics]]
[[Category:Poems by form]]</text>
<sha1>43eusqpjj6kaqcp6nl1tcmo4ass36ia</sha1>
</revision>
</page>
<page>

我的问题是，如何获得实际的页面内容和该页面中的所有链接？

谢谢！

Answer 1

您下载了错误版本的转储。如果你对分类链接感兴趣，你需要下载https://dumps.wikimedia.org/enwikisource/latest/enwikisource-latest-categorylinks.sql.gz例如。

如果您想要XML格式，您需要自己从原始wikitext中解析这些信息。为此，您可以使用https://dumps.wikimedia.org/enwikisource/latest/enwikisource-latest-pages-meta-current.xml.bz2.

根据评论编辑：

enwikisource-latest-pages-meta-current.xml不包含有关类别的机器可读信息，它只包含有关当前页面内容的信息。您需要查找textXML元素，该元素包含存储在页面中的原始wikitext。通常，在内容的末尾，它有这样的内容：

[[Category:American Civil War]]
[[category:American speeches]]

这表示该页面在类别"中；美国内战；以及"；美国演讲"；。

如果想要解析信息，则需要处理.sql文件AFAIK。