我正在一家初创公司工作,我们将在那里销售某种物联网设备。 这些设备将连接到我们托管在 Google 云中的服务器,并将每 1 秒发送一次数据,我的服务器将它作为时间序列存储在数据库中。假设我们连接了 1000 台设备并且所有设备每秒都在发送他们的数据,是否适合使用 google bigquery 将这些数据每秒插入到每个设备的表中,以对应设备的所有者?
由于我的数据是时间序列的形式,我正在考虑为每个用户(我的设备所有者(使用分区表,但是由于官方文档中列出的限制和配额,我担心每秒插入次数过多会达到限制(不是说我会根据用户对手机应用程序的需求查询数据(。
如果它不适合我的用例?
编辑:我主要担心的是每秒的大量插入,这可能会超过BigQuery限制或可能导致速度变慢,因为它主要用于数据仓库。BigTable 对我们来说似乎很昂贵,而 CloudSQL 似乎是要走的路,但我们担心一旦表被填满,查询时间会变慢,因为我每天为每个用户插入 86400 行。
谢谢。
您应该查看CLOUD IOT CORE
- 完全托管的服务,可轻松安全地连接、管理和摄取来自全球分散的设备的数据
云 IoT 核心版捕获的设备数据将发布到 Cloud Pub/Sub 以进行下游分析。您可以使用 Google BigQuery 进行即席分析,使用云机器学习引擎轻松运行高级分析并应用机器学习,或者在 Google Data Studio 中使用丰富的报告和仪表板可视化 IoT 数据结果。
另请查看IoT Core with PubSub, Dataflow, and BigQuery