使用twarc2和局限性从twitter收集数据

Question

我想用twarc2从Twitter收集一些数据。我想收集特定时间段之间的数据，并将收集限制为每天一次。例如，在7月1日到7月10日之间，将收集的tweet限制为每天100条。是否可以执行一次，还是应该执行代码10次?

Answer 1

我不知道在一个命令中运行它的方法。我建议的一个解决方案是编写一个包含所有单独的twarc2调用的bash脚本。然后你只能调用这个脚本一次。

例如，可以创建一个名为ten_queries.sh的bash脚本，如下所示:

#!/bin/bash
twarc2 search --start-time 2022-09-16T00:00:00 --end-time 2022-09-17T00:00:00 blacklivesmatter 2022-09-16_tweets.jsonl
twarc2 search --start-time 2022-09-17T00:00:00 --end-time 2022-09-18T00:00:00 blacklivesmatter 2022-09-17_tweets.jsonl
...

然后每天加一行。