从 IMDB API 下载数据时出现 503 错误



我正在尝试使用 python 的 imdbpy 模块下载近 25 000 部电影的情节。为了加快速度,我正在使用多处理模块中的池功能。但是,在将近 100 个请求之后,会发生 503 错误,并显示以下消息:服务暂时不可用。10-15 分钟后,我可以再次处理,但在大约 20 个请求后,同样的错误再次发生。

我知道这可能是来自 api 的简单块,以防止调用过多,但我在网络上找不到有关每个时间单位的最大请求数的任何信息。

您知道如何在不关机的情况下处理这么多电话吗?此外,你知道我在哪里可以找到 imdb API 的文档吗?

最好

请不要这样做。

IMDb 的服务条款禁止抓取,IMDbPY 从未打算用于大规模抓取网站:事实上,它被明确设计为一次抓取一部电影。

理论上,IMDbPY可以管理他们分发的纯文本数据文件,但不幸的是,他们最近改变了数据的格式和内容。

IMDb没有我知道的API;如果你必须管理如此庞大的数据,你必须获得许可证。

请考虑使用 http://www.omdbapi.com/

最新更新