Selenium Web Diver,Firefox.运行平行刮擦.我需要硒网格吗



我有一个进程,使用Firefox的Selenium Web驱动程序,自动查找一个特定网站上的信息。由于要查找的数据量很大,我需要运行并行进程——至少10个(我认为)。我做了一个快速测试,3个进程并行运行,看起来还可以。但我还需要更多。。进程是用C#编写的,在Windows上运行。Firefox是唯一一个与该网站配合使用的网络驱动程序。

我的问题:

  1. 在我的情况下使用SeleniumGrid有什么好处吗?Vs只是运行我的流程的副本(每个副本都创建一个selenium web驱动程序的实例),因为它是最优的?

  2. 什么数量的流程(使用FF)可能是最佳的?(就FF请求而言)FF会向站点运行并行请求,还是将它们排队?

谢谢。

需要硒网格的唯一原因是,如果您计划在多个虚拟机或计算机上扩展此过程。否则,您将只能在一台机器上运行它们。

直接回答您的问题

  1. SeleniumGrid将为您提供一种跨多台机器或虚拟机轻松扩展自动化任务的方法。否则,你将被限制只能在你有visualstudio的机器上运行它们,或者如果你用它创建了一个应用程序,那么你就必须把这个应用程序放在你想要使用的所有机器上,并在它们上手动启动它(或者我想是一项任务)。

  2. 没有设定的最佳数量,这取决于您的硬件,最重要的是您的CPU和RAM。我有一个2节点的硒网格设置,我们在每个节点上一次并行运行大约5-10个测试。这些机器是具有四核i7 CPU(我相信)和16GB RAM的虚拟机。虽然我们使用chrome,但我相信它比Firefox使用更多的RAM。

最新更新