Docker scrapy Spyder不是自动重新启动

Question

我正在运行docker python spyder

我的间谍的运行与我的同意限制一样多，有人可以帮助我理解吗？

我的docker-compose.py

celery:
    build:
      context: .
      dockerfile: ./celery-queue/Dockerfile
    entrypoint: celery
    command: -A tasksSpider worker --loglevel=info  --concurrency=5 -n myuser@%n
    env_file:
    - .env
    depends_on:
    - redis

我的蜘蛛代码：

def spider_results_group():
    results = []
    def crawler_results(signal, sender, item, response, spider):
        results.append(item)
    dispatcher.connect(crawler_results, signal=signals.item_passed)
    process = CrawlerProcess(get_project_settings())
    process.crawl(groupSpider)
    process.start()  # the script will block here until the crawling is finished
    process.stop()
    return results

使用此代码，我可以多次运行蜘蛛，但是只有5次，当我检查它时，我认为这是因为我的同意只有5次，而当它再次运行（第六个）时，它粘住了。p>如果需要其他代码，请询问

Answer 1

通过使用此命令解决：

    command: -A tasksSpider worker --loglevel=info  --concurrency=5 --max-tasks-per-child=1 -n myuser@%n

从：在芹菜任务中运行冰期蜘蛛