我想将实时数据从Twitter API流式传输到云存储和BigQuery。我必须使用云函数来吸收和转换数据，但问题是我不知道如何从Twitter API中提取数据并将其吸收到云中。
我知道我还必须创建一个调度器和一个Pub/Sub主题来触发Cloud函数。我创建了一个Twitter开发者帐户。主要问题实际上是将数据流式传输到云存储中。
我对GCP和流媒体数据真的很陌生，所以很高兴看到对此的明确解释。非常感谢：(
您必须首先设计解决方案。你想实现什么？流媒体还是微博客？
如果是流媒体，你必须使用Twitter的流媒体API。简言之，您启动了一个连接，并在接收数据时保持运行(和连接(。
如果是批量，则必须查询API并下载一组消息。在查询响应模式中。
也就是说，如何用谷歌云实现它。流媒体是有问题的，因为你必须始终保持连接。对于无服务器产品，您有超时问题(云功能V1为9分钟，云运行和云功能V2为60分钟(。
然而，您可以想象定期调用您的无服务器产品，保持连接一段时间(比如1小时(，并每小时调度一次触发器。
或者使用VM(或者K8S容器上的吊舱(
您还可以考虑微补丁，在微补丁中，您每分钟调用一次云函数，并获取过去几分钟的所有消息。
最后，一切都取决于您的用例。你期望的真实时间是多少？你想用哪种产品？