我如何上传较大的文件到azure hadoop集群

Question

如何上传更大的文件到azure hadoop集群?

是否有一种方法，我可以浏览到/example/apps目录在hadoop集群通过远程桌面连接，以便我可以复制文件?

Answer 1

HDInsight使用Windows Azure Blob存储(WASB)。有几种方法可以将数据上传到WASB:

• AzCopy
• Windows Azure PowerShell
• 第三方工具包括Azure Storage Explorer, Cloud Storage Studio 2, CloudXplorer等。Hadoop命令行。您必须首先启用RDP。

详细信息请参见http://www.windowsazure.com/en-us/manage/services/hdinsight/howto-upload-data-to-hdinsight/

Answer 2

通过HTTP/HTTPS将文件复制到Azure Blob Storage，然后通过指向上传文件的HTTP URL从Hadoop在Azure (HDInsight)上进行MapReduce。

欢呼