Excel通过selenium驱动程序加载到pandas中.获取url (csv)?

Question

我必须遵循问题，是的，我是非常新的python..但在阅读了大量的页面后，我找不到任何解决我的具体情况的方法。

• 1:使用Selenium登录到网站的安全部分

• 2:在网站的安全部分，我发现了一个特定的。csv(链接)

• 3:我有一个链接= www.test.com/bla/bla/test.csv如果我使用driver.get(link)并使用链接，浏览器将下载。csv文件到我的计算机。

• 4:我想直接加载。csv到pandas中。但是当我使用pd.read_csv(链接)我得到:HTTP错误403:Forbidden根据我的理解，这是因为URL是在安全登录和熊猫我试图连接到它自己的背后。

我的问题，我如何从驱动程序加载。csv。Get function to pandas.

我想加载。csv更改一些格式并将其加载到DB表，如果除了pandas之外还有其他可用的选项，在这种情况下可以更好地工作，我很乐意。

Answer 1

使用https://pypi.org/project/selenium-requests/解决方案，我得到了修复。

• link =安全登录后的抓取链接('www.test.com/folder/test.csv')

• r = webdriver.request('GET'，link)

• data = r.content

• c = pd.read_csv (io.StringIO (data.decode (utf - 8)))

谢谢! !

Answer 2

使用selenium-requests包，它将为您完成工作

https://pypi.org/project/selenium-requests/

# login to website using selenium
link = 'www.example.com/folder/test.csv' # behind the secure login
r = webdriver.request('GET',link)
data = r.content
c = pd.read_csv(io.StringIO(data.decode('utf-8')))