在用美丽的汤和熊猫刮下桌子时，如何保留链接

使用Beautiful soup和Pandas刮擦网络以获取表格。其中一列有一些URL。当我将html传递到熊猫时， href丢失了。

有什么方法可以保留该列的URL链接？

示例数据（编辑为更好的西装案例）：

  <html>
        <body>
          <table>
              <tr>
               <td>customer</td>
               <td>country</td>
               <td>area</td>
               <td>website link</td>
             </tr>
             <tr>
               <td>IBM</td>
               <td>USA</td>
               <td>EMEA</td>
               <td><a href="http://www.ibm.com">IBM site</a></td>
            </tr>
          <tr>
            <td>CISCO</td>
            <td>USA</td>
            <td>EMEA</td>
            <td><a href="http://www.cisco.com">cisco site</a></td>
         </tr>
           <tr>
            <td>unknown company</td>
            <td>USA</td>
            <td>EMEA</td>
            <td></td>
         </tr>
       </table>
     </body>
  </html>

我的python代码：

    file = open(url,"r")
    soup = BeautifulSoup(file, 'lxml')
    parsed_table = soup.find_all('table')[1] 
    df = pd.read_html(str(parsed_table),encoding='utf-8')[0]
 df

输出（导出到CSV）：

customer;country;area;website
IBM;USA;EMEA;IBM site
CISCO;USA;EMEA;cisco site
unknown company;USA;EMEA;

DF输出还可以，但链接丢失了。我需要保留链接。至少URL。

任何提示？

pd.read_html假定您感兴趣的数据是文本中的数据，而不是标签属性。但是，自己刮擦桌子并不难：

import bs4 as bs
import pandas as pd
with open(url,"r") as f:
    soup = bs.BeautifulSoup(f, 'lxml')
    parsed_table = soup.find_all('table')[1] 
    data = [[td.a['href'] if td.find('a') else 
             ''.join(td.stripped_strings)
             for td in row.find_all('td')]
            for row in parsed_table.find_all('tr')]
    df = pd.DataFrame(data[1:], columns=data[0])
    print(df)

产生

          customer country  area          website link
0              IBM     USA  EMEA    http://www.ibm.com
1            CISCO     USA  EMEA  http://www.cisco.com
2  unknown company     USA  EMEA

只需检查标签是否存在这种方式：

 import numpy as np
 with open(url,"r") as f:
     sp = bs.BeautifulSoup(f, 'lxml')
     tb = sp.find_all('table')[56] 
     df = pd.read_html(str(tb),encoding='utf-8', header=0)[0]
     df['href'] = [np.where(tag.has_attr('href'),tag.get('href'),"no link") for tag in tb.find_all('a')]

如果您有多个链接从HTML表中获取，则是另一种方法。我不想对循环进行分离，而不是进行列表理解，因此对于那些新手Python的人来说，代码更可读性，并且如果出现，则更容易调整代码矿石来处理错误。我希望这会帮助某人。

soup = BeautifulSoup(html, "lxml")
table = table.find('table')
thead = table.find('thead')
column_names = [th.text.strip() for th in thead.find_all('th')]
data = []
for row in table.find_all('tr'):
    row_data = []
    for td in row.find_all('td'):
        td_check = td.find('a')
        if td_check is not None:
            link = td.a['href']
            row_data.append(link)
        else:
            not_link = ''.join(td.stripped_strings)
            if not_link == '':
                 not_link = None
            row_data.append(not_link)
    data.append(row_data)
df = pd.DataFrame(data[1:], columns=column_names)
df_dict = df.to_dict('records')
for row in df_dict:
    print(row)

相关内容

最新更新

热门标签：