历史共同基金

  • 本文关键字:历史 postgresql
  • 更新时间 :
  • 英文 :


我想在我的数据库中获得印度共同基金的历史数据,有没有一种方法可以在不单独下载所有基金数据的情况下做到这一点?

我试着从AMFI网站下载数据,但数据太大了,为每个基金单独做会花费很多时间,有没有办法直接在我的数据库中获取数据?

实现这一点的最好方法是用python/bash或任何其他选择的语言编写一个提取脚本,并在s3中提取数据。

然后写一个加载脚本,它只是一堆复制命令来加载数据到一个选择的数据库,如Postgres或Snowflake。

为了使事情变得更好,你可以编写提取和加载脚本,以某种按小时或天进行日期过滤,并使用Apache气流之类的东西来创建一个管道,在预定的基础上执行此操作。气流也有能力回填数据,它将创建一个作业,每个小时/天,将并行运行基于并行设置你决定

最新更新