将 100 GB 数据从 C# 应用程序移动到 Cassandra 或任何类似的大数据存储的有效方法是什么?



这100 GB的数据来自电子设备,将以文件的形式出现。 目前,我们的应用程序会产生 4 - 6 GB 的数据,这些数据存储在 Google 云端硬盘中。 我们正在考虑的是设置服务器并从该工具手动下载文件。

我想你可以研究一些可能性:

1 - 是否可以在尝试上传数据之前压缩数据,尤其是在文件格式允许高压缩率的情况下。

2 - 是否可以在压缩和上传之前应用于清理数据文件以获取冗余信息。如果文件包含大量重复的数据字段,则可能只能保留数据更改。例如,设备可以报告电机是否以 10 毫秒的间隔运行。如果电机每小时只打开/关闭一次,那么可以在上传之前删除大量信息,而不会丢失信息。

3 - 是否有可能不断流式传输数据,或者可能以较小的连续块(例如 10 或 100 Kb(流式传输数据。 流数据可能会使端到端流程流响应更快,并且对网络/互联网中断更具弹性。

4 - 也许可以阅读一些关于一些物联网设备模式如何在在线和离线情况下设法将重要内容上传到云的信息。

如果您提供有关设置,数据文件格式等的更多详细信息 - 则可以提供更具体的建议。

最新更新