c# 脚本从 Kaggle 登录和下载

Question

最近，我遇到了一个python脚本，可以直接从Kaggle下载文件：https://ramhiser.com/2012/11/23/how-to-download-kaggle-data-with-python-and-requests-dot-py/

我正在尝试使用 C# 中的 WebClient 做类似的事情。我在StackOverFlow中得到了以下响应：使用登录从Web下载C #文件

尝试使用它，但我似乎只下载登录页面而不是实际文件。这是我的主要代码：

CookieContainer cookieJar = new CookieContainer();
CookieAwareWebClient http = new CookieAwareWebClient(cookieJar);
string postData = "name=<username>&password=<password>&submit=submit";
string response = http.UploadString("https://www.kaggle.com/account/login", postData);
Console.Write(response);
http.DownloadFile("https://www.kaggle.com/c/titanic/download/train.csv", "train.CSV");

我使用了上面链接中的 Webclient 扩展并略有修改：

public class CookieAwareWebClient : WebClient
{
    public CookieContainer CookieContainer { get; set; }
    public Uri Uri { get; set; }
    public CookieAwareWebClient()
        : this(new CookieContainer())
    {
    }
    public CookieAwareWebClient(CookieContainer cookies)
    {
        this.CookieContainer = cookies;
    }
    protected override WebRequest GetWebRequest(Uri address)
    {
        this.Uri = address;
        WebRequest request = base.GetWebRequest(address);
        if (request is HttpWebRequest)
        {
            (request as HttpWebRequest).CookieContainer = this.CookieContainer;
        }
        HttpWebRequest httpRequest = (HttpWebRequest)request;
        httpRequest.AutomaticDecompression = DecompressionMethods.GZip | DecompressionMethods.Deflate;
        return httpRequest;
    }
    protected override WebResponse GetWebResponse(WebRequest request)
    {
        WebResponse r = base.GetWebResponse(request);
        var response = r as HttpWebResponse;
        if (response != null)
        {
            CookieCollection cookies = response.Cookies;
            CookieContainer.Add(cookies);
        }
        return response;
    }
}

想知道是否有人可以指出我哪里出错了？

谢谢。

Answer 1

我们创建了一个论坛帖子来帮助你完成你想做的事情，通过 C# 访问 Kaggle API。 如果您有其他问题，请随时在此处或论坛上发布。

Answer 2

尝试在不登录的情况下通过浏览器转到 https://www.kaggle.com/c/titanic/download/train.csv，您的浏览器将打开该页面而不是下载您的文件。您需要放置指向文件的直接链接而不是网页。

您的代码运行良好，您只需要在下载文件之前放置指向该文件的直接链接或确保您已登录。

Answer 3

我知道

这不是你要问的，但是Kaggle现在有一个官方API，可以用来下载数据。应该更容易使用。:)