将大型JSON文件转换为XLS/CSV文件(Kickstarter活动)



作为硕士论文的一部分,我试图统计哪些因素会影响众筹活动是否获得资助。我一直在尝试从最大的平台Kickstarter.com获取数据。不幸的是,他们已经从网站上删除了所有不成功的活动(除非你有直接链接)。

幸运的是,我不是唯一一个在寻找这些数据的人。Webrobots.io有一个抓取机器人,它可以抓取所有Kickstarter项目并以JSON格式收集数据(http://webrobots.io/kickstarter-datasets/)。

最新数据集位于:http://webrobots.io/wp-content/uploads/2015/10/Kickstarter_2015-10-22.json_.zip

然而,我的编程技能有限,我不知道如何将其转换为excel文件,在那里我可以操作数据并运行分析。我发现了一些在线转换器,但文件太大了(大约300 mb)。有人能帮我把文件转换一下吗?

当它发表时,你会在我的硕士论文中得到认可:)

提前感谢!!!

我想这个问题的答案在一些方面有很大的不同。

  1. 大师们在讲什么科目?(主要是为了安抚许多人,他们可能会认为你希望人们为你做功课!这可能解释了为什么这个帖子已经被否决了)
  2. 你提到你的编程技能有限。。。你有什么编程技能?你会用什么语言来实现这个目标?请记住,即使有一个完全编码的解决方案,如果它不是用你所知道的语言编写的,你也可能无法编译它
  3. 您希望从JSON文件中获得什么样的信息

关于问题3,我查看了JSON文件,它包含分层数据,很难在平面文件(即Excel或CSV文件)中复制(我应该知道,我们在以前的工作中不得不做很多这样的工作)。

但是,我会考虑以下行动计划来实现你想要的目标:

  1. 使用JSON解析器将数据序列化为类结构(Visual Studio可以为您创建类…请参阅此S/O线程-单击"特别粘贴"时,如何在Visual Studio 2012中显示"粘贴JSON类"?)
  2. 一旦你在内存中有了对象,你就可以一个接一个地遍历它们,挑选出你想要的数据,并将它们附加到逗号分隔的字符串中(在C#中,我会使用StringBuilder),然后将数据行写入磁盘上的文件中

一旦完成,您将获得所需的数据。根据您想要从JSON文件中获得的数据,步骤2可能是最困难的部分,因为您需要进入数据层次结构的不同级别。

希望这能为你指明正确的方向?

你可能想看看这个博客。

http://jdunkerley.co.uk/2015/09/04/downloading-and-parsing-met-office-historic-station-data-with-alteryx/

他在Alteryx上使用了一个可能符合你想要做的事情的过程。我想做一些类似的事情,但还没有尝试。如果我能让它发挥作用,我会更新这个答案。

最新更新