CookieError: 非法密钥

Question

我正在用aiohttp编写一个网络爬虫，遇到了cookie问题。我尝试抓取的服务器需要身份验证，为了获取可供经过身份验证的用户使用的页面，我需要在密钥本身中设置一个带有括号的cookie。这是一个问题，因为aiohttp.ClientSession.cookie_jar.update_cookies要么忽略任何非法cookie：

session = ClientSession()
cookie = SimpleCookie("a[b]=1234;")
session.cookie_jar.update_cookies(cookie)
print([f for f in session.cookie_jar])  # empty list, cookie not set

或提出CookieError：

session = ClientSession()
cookie = SimpleCookie()
cookie["a[b]"] = "1234"  # http.cookies.CookieError: Illegal key 'a[b]'
session.cookie_jar.update_cookies(cookie)
print([f for f in session.cookie_jar])

session = ClientSession()
session.cookie_jar.update_cookies([("a[b]", "1234")])  # http.cookies.CookieError: Illegal key 'a[b]'
print([f for f in session.cookie_jar])

---

可以通过

访问http.cookies.Morsel的受保护成员_key来强制设置cookie，即

session = ClientSession()
session.cookie_jar.update_cookies([("__tmp", "1234")])
for cookie in session.cookie_jar:
    if cookie.key == "__tmp":
        cookie._key = "a[b]"
print([f for f in session.cookie_jar])  # invalid cookie is set correctly

但这只会将问题推后一步，因为任何会话请求，例如 session.get(url)开始提高http.cookies.CookieError.

我无法发送此饼干。我是否坚持使用像requests这样的非异步库，或者有没有办法忽略这个问题？

Answer 1

我找到了一个解决方法，虽然我不喜欢使用它，但它比重写整个aiohttp更可取的解决方案：

import sys
if "http" in sys.modules:
    raise ImportError("Crawler must be imported before http module")
import http.cookies
http.cookies._is_legal_key = lambda _: True

Answer 2

aiohttp.CookieJar建模

为遵循相应的RFC规范。为什么要处理非法的 cookie 名称？