如何将使用BeautifulSoup web爬取的表格保存为csv文件？

Question

我使用BeautifulSoup库通过网页抓取了一个表格的内容，现在我想将其保存为CSV文件，但不清楚如何操作。我参考了以下教程进行网页抓取：https://scrapfly.io/blog/how-to-scrape-tables-with-beautifulsoup/。由于我是数据科学和Python的新手，可能选取的方法不是最佳实践，但这却是我能成功抓取数据的方法。以下是您提供的代码示例（为了适应场景，已对链接内容进行了翻译）：

from bs4 import BeautifulSoup
import requests 

# 获取网页内容并解析成BeautifulSoup对象
soup = BeautifulSoup(requests.get("https://www.w3schools.com/html/html_tables.asp").text)

# 找到指定表格对象
table = soup.find('table', id="customers")

# 遍历表格每一行，分别提取表头和行数据
header = []
rows = []
for i, row in enumerate(table.find_all('tr')):
    if i == 0:
        header = [el.text.strip() for el in row.find_all('th')]  # 提取表头信息
    else:
        rows.append([el.text.strip() for el in row.find_all('td')])  # 提取行数据

print(header)  # 输出表头
['Company', 'Contact', 'Country']

# 输出所有行数据
for row in rows:
    print(row)

[['Alfreds Futterkiste', 'Maria Anders', 'Germany'],
['Centro comercial Moctezuma', 'Francisco Chang', 'Mexico'],
['Ernst Handel', 'Roland Mendel', 'Austria'],
['Island Trading', 'Helen Bennett', 'UK'],
['Laughing Bacchus Winecellars', 'Yoshi Tannamuri', 'Canada'],
['Magazzini Alimentari Riuniti', 'Giovanni Rovelli', 'Italy']]

Peter · Answer

Python 自带一个强大的内置 CSV 库。这里有一个关于writer对象的介绍，它具有一个writerow()函数，该函数可以接受列表形式的字符串作为输入，并将其写入CSV文件中。将数据保存到CSV文件的操作与你之前编写的打印语句非常相似。

例如，你可以在上述脚本末尾添加以下代码。可以看到，首先创建了一个可写文件，然后创建了一个csv writer对象。接下来，你可以用writerow()方法替换原有的print()方法，如下所示：

import csv
with open('contacts.csv', 'w') as csvfile:
    contact_writer = csv.writer(csvfile)

    contact_writer.writerow(header)  # 写入表头
    for row in rows:  # 遍历数据行
        contact_writer.writerow(row)  # 将每行数据写入CSV文件

需要注意的是，csv.writer()函数接受许多选项参数，可以帮助你更细致地调整输出格式。

Rachel · Answer

最简单且快捷的方法是使用Pandas库。

你可以先调用read_html函数读取网页中的表格，然后通过.to_csv()方法将其保存为CSV文件。

参照你的示例：

import pandas as pd

url = 'https://www.w3schools.com/html/html_tables.asp'
df = pd.read_html(url)[0]  # [0] 表示获取页面中的第一个表格

df.to_csv('table.csv', index=False)

这段代码将会创建一个名为table.csv的文件，其内容如下所示：

公司,联系人,国家
Alfreds Futterkiste,Maria Anders,德国
Centro comercial Moctezuma,Franisco Chang,墨西哥
Ernst Handel,Roland Mendel,奥地利
Island Trading,Helen Bennett,英国
Laughing Bacchus Winecellars,Yoshi Tannamuri,加拿大
Magazzini Alimentari Riuniti,Giovanni Rovelli,意大利