我目前使用twitter流API为我的项目使用tweepy库和python(2.7.3)。我接收到的数据速率非常高。有可能放慢速度吗?我在某个地方读到Twitter不喜欢延迟流媒体太久的想法。
我想做的另一件事是引入数据，让我们说5分钟，5分钟后数据应该被整理出来(基于任何事情!例如，标签的字数统计等)。但我认为这会减慢我的流(因为我使用一个进程)。
那么，你能建议一种处理方法吗?mutli-threading吗?多处理?
您可以使用多线程方法，让我们将此问题视为"生产者-消费者问题"http://en.wikipedia.org/wiki/Producer-consumer_problem其中生产者将是主线程在5分钟内填充缓冲区，然后另一个线程将消耗缓冲区(以某种方式处理它)