使用pywikibot的维基百科修订历史

Question

我想一次收集所有修订历史数据。Pywikibot page.revisions((没有用于获取更改的字节数的参数。它提供了我所需要的所有数据，除了更改的字节数。

如何更改字节数？

例如：文章主页的修订历史记录如下：历史截图

我当前的代码：

import pywikibot
site = pywikibot.Site("en", "wikipedia")
page = pywikibot.Page(site, "Main_Page")
revs = page.revisions()

仅显示1个输出：

first entry:  {'revid': 969106986, '_text': None, 'timestamp': Timestamp(2020, 7, 23, 12, 44, 21), 'user': 'The Blade of the Northern Lights', 'anon': False, 'comment': 'OK, there we go.', 'minor': False, 'rollbacktoken': None, '_parent_id': 969106918, '_content_model': None, '_sha1': 'eb9e0167aabe4145be44305b3775837a37683119', 'slots': {'main': {'contentmodel': 'wikitext'}}}

我需要更改的字节数，在修订历史链接中显示为{+1，-1，+1，-2}，也可以在上面的历史截图中看到。

Answer 1

对于AXO的提议，有一种更好的方法：

import pywikibot
site = pywikibot.Site('wikipedia:en')
page = pywikibot.Page(site, 'Main Page')
for rev in page.revisions(total=5):
# do whatever you want with Revision Collection rev
print(dict(timestamp=str(rev.timestamp), size=rev.size))

代码将按预期打印：

{'timestamp': '2021-02-03T11:11:30Z', 'size': 3508}
{'timestamp': '2021-02-03T11:03:39Z', 'size': 3480}
{'timestamp': '2020-11-10T08:18:07Z', 'size': 3508}
{'timestamp': '2020-11-10T02:32:23Z', 'size': 4890}
{'timestamp': '2020-11-10T00:46:58Z', 'size': 4880}

Answer 2

Pywikibot使用MW的API获取修订。

API不提供修改后的大小。

API为rvprop参数提供了size选项，而不是size-change。使用它可以很容易地计算尺寸变化。

不幸的是，pywikibot无法获取size进行修订。

您可以为pywikibot团队提交错误报告。

可以直接使用PropertyGenerator类来获得具有所需属性的修订：

from pywikibot import Site, Page
from pywikibot.data.api import PropertyGenerator
site = Site("en", "wikipedia")
revs = next(iter(PropertyGenerator('revisions', site=site, parameters={
'titles': 'Main Page',
'rvprop': 'timestamp|size',
})))['revisions']
print(len(revs))
for rev in revs[:5]:
print(rev)

上面的代码将打印：

4239
{'timestamp': '2020-07-23T12:44:21Z', 'size': 3500}
{'timestamp': '2020-07-23T12:43:46Z', 'size': 3499}
{'timestamp': '2020-07-23T12:43:31Z', 'size': 3500}
{'timestamp': '2020-06-30T07:05:28Z', 'size': 3499}
{'timestamp': '2020-06-22T13:37:29Z', 'size': 3501}

---

旧答案：如注释中所述，此方法不处理API延续，因此如果您需要对页面进行所有修订，则不建议使用。

import pywikibot
from pywikibot.data.api import Request
site = pywikibot.Site("en", "wikipedia")
r = Request(site, parameters={
'action': 'query',
'titles': 'Main Page',
'prop': 'revisions',
'rvprop': 'timestamp|size',
'rvlimit': 5,
}).submit()
pages = r['query']['pages']
for page_id, page_info in pages.items():
for rev in page_info['revisions']:
print(rev)

上面的代码将打印：

{'timestamp': '2020-07-23T12:44:21Z', 'size': 3500}
{'timestamp': '2020-07-23T12:43:46Z', 'size': 3499}
{'timestamp': '2020-07-23T12:43:31Z', 'size': 3500}
{'timestamp': '2020-06-30T07:05:28Z', 'size': 3499}
{'timestamp': '2020-06-22T13:37:29Z', 'size': 3501}

Answer 3

请参阅https://phabricator.wikimedia.org/T259428.

该补丁已合并到master分支，并将在5.2.0版本中通过pypi进行部署。