Python 中的 Google Cloud Datastore 超时错误

Question

我在Google Cloud Datastore中有一个表，我在其中存储了一个小数据结构，该结构编写在一个Python服务中并在另一个服务中读取。我正在使用 gcloud 版本 0.15.0。以下是我用来向 GCD 写入/读取数据的 Python 代码：

from gcloud import datastore
import datetime
import json
class GCD(object):
def __init__(self, project_id):
    self.client = datastore.Client(project_id)
def put(self, table, key, data):
    with self.client.transaction():
        entity = datastore.Entity(self.client.key(table, key), exclude_from_indexes=['context'])
        entity.update({'context': json.dumps(data), 'created': datetime.datetime.utcnow(), 'done': True})
        try:
            self.client.put(entity)
        except Exception as e:
            print "GCD save failed with exception: %s" % e
    return None
def get(self, table, key):
    entity_key = self.client.key(table, key)
    entity = None
    try:
        entity = self.client.get(entity_key)
    except Exception as e:
        print "GCD read failed with exception: %s" % e
    if not entity:
        return None
    else:
        return json.loads(entity['context'])

我观察到大量读/写失败，并显示消息"读取操作超时";>5%的失败，这与提到预期故障率为1/30K的文档完全相反。

那么我的问题是：

1. 是否可以增加 datastore.client.get 和 datastore.client.put 调用中的超时？我不是在根据重试寻找答案;已经尝试过，不想仅仅依靠重试。

2. 在创建表或设置客户端时，我应该做些什么来缓解这些超时错误？

3. 我在某处（https://github.com/GoogleCloudPlatform/gcloud-python/issues/1214）读到Python gcloud使用httplib2。Http 不是线程安全的，并且存在超时问题。有没有办法使用（更稳定的）Python请求包？

谢谢

Answer 1

您可以使用

requests或urllib3没有任何问题，请参阅 https://google-auth.readthedocs.io/en/latest/user-guide.html#making-authenticated-requests

AFAIK 请求的默认超时为 None，因此它会无限等待（直到服务器关闭它。您也可以将自己的Session传递给AuthorizedSession，这将覆盖 request 方法并根据需要设置默认超时。

如果您仍然遇到问题，那么我建议您使用一些重试机制：-）https://github.com/GoogleCloudPlatform/google-cloud-python/issues/2694