我正在寻找一种将数据从多个小实例同步到一个大云实例的解决方案。
我有很多设备在收集数据日志，每个设备都有自己的数据库，所以我需要一个解决方案来将数据从它们同步到一个实例。延迟并不重要，但我想以5-10分钟的最大延迟同步数据。
有现成的解决方案吗？
假设所有数据都是独立的，则INSERT将所有数据放入一个表中。当然，该表将有一个device_id列来区分数字的来源。
每秒需要处理的总行数是多少？如果小于1000/秒，则将行插入到与到达相同的表中应该没有问题。
你在使用HTTP吗？还是做INSERTs的其他事情？PHP？Java语言
这样，在读取和具有该值的表之间，您很少会看到超过1秒的延迟。
我推荐
PRIMARY KEY(device_id, datetime)
使用汇总表，而不是费力地通过大的事实表来绘制图表和报告。
如果您想要进一步的建议，请提供更多详细信息。