这就是我要完成的
- 访问者登陆我的网站
- Javascript收集一些信息并发送命中
- 匹配被处理并插入到大查询中
这是我计划如何解决它
- 命中被发送到 Cloud Functions HTTP 触发器(使用 Ajax(
- 云函数向发布/订阅发送消息 发布/订阅使用
- 发布/订阅触发器将数据发送到另一个云函数
- 第二个云函数将命中处理到Biguery行中，并将其插入到BigQuery中 。
有没有更简单的方法可以解决这个问题？
需要考虑的其他一些细节
- 每天大约有100万次点击
- 不想使用云数据流，因为它会膨胀成本
- 不能(可能(跳过 Pub/Sub，因为当一个人离开网站时会发送一些点击，并且请求可能没有足够的时间来处理所有内容。
您可以执行大查询流式处理，这一次更便宜，并且您可以避免达到每天每个表 1000 个加载作业配额。
另一种选择是，如果您不介意数据花费大量时间加载，则可以将所有信息存储在Cloud Storage存储桶中，然后通过传输加载所有数据。您可以对其进行编程，以便每天上传数据。此解决方案专注于批处理环境，在该环境中，您将所有信息存储在一侧，然后将其传输到最终目的地。如果您只想流式传输您提到的解决方案是可以的。
由您选择更适合您的特定用途的选项。