pdfplumber：合并多行单元格为一个

Question

在数据提取脚本中遇到一个问题，尽管我已经成功地编写了用于提取数据的脚本，但不确定如何处理跨多行单元格的内容合并。例如，在我处理的数据中，有些信息是分散在两行中的（如图所示），我想将它们合并到一个单元格内。

我想让所有列中的这种情况都得到处理，即如果某个实体名跨越了两行，则将其连接成一行显示。例如，现在的情况是这样的：

AÉRO-SPORT DU GRAND-DUCHÉ
DE LUXEMBOURG A.S.B.L.

而我希望它读作：

AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L.

这是目前为止我编写的脚本：

import pdfplumber
import pandas as pd

pdf_path = "C:/Users/xxxx/Downloads/relev-aronefs-11-2023.pdf"
all_rows = []
explicit_vertical_lines = [45, 100, 250, 410, 480, 640, 780]

with pdfplumber.open(pdf_path) as pdf:
    for page_num in range(len(pdf.pages)):
        page = pdf.pages[page_num]
        
        if page_num == 0:
            top_region = 50
        else:  # 对于除第一页以外的所有页面
            top_region = 0

        cropped_page = page.crop((0, top_region, page.width, page.height))

        table = cropped_page.extract_table({
            "vertical_strategy": "explicit",
            "explicit_vertical_lines": explicit_vertical_lines,
            "horizontal_strategy": "text",
        })

        if table:
            if page_num == 0:
                all_rows += table[1:]
            else:
                all_rows += table

df = pd.DataFrame(all_rows)
df.columns = ['Immat', 'Constructeur', 'Type d’aéronef', 'SN aéronef', 'Propriétaire', 'Exploitant']

output_csv_path = "C:/Users/xxxx/Downloads/extracted_table_data.csv"
df.to_csv(output_csv_path, index=False)

print(df.head())

如果您想要尝试处理的PDF文件可以从以下链接下载：

https://dac.gouvernement.lu/content/dam/gouv_dac/documents/navigabilit%C3%A9/releve-aeronefs/2023/relev-aronefs-11-12-2023.pdf

对于如何改进这个脚本以解决跨行单元格合并的问题，我希望能得到一些帮助和指导。

Drew Reese · Answer

如果无法在数据提取阶段就避免空行的存在，这里提供一种快速解决方案：

out = (
    df
        # 移除重复的表头和页脚信息
        .query("Immat != 'Immat' and ~Exploitant.str.contains('Page')")
        .pipe( # 在此处使用前向填充，并按Immat字段分组后进行聚合和连接操作
            lambda x: x.groupby(
                x["Immat"].replace({"": None}).ffill(), sort=False)
                .agg(lambda s: " ".join(s).strip()) # 这里我们对行进行合并
             )
        # 重置索引为默认形式
        .reset_index(drop=True)
)

# 输出（针对高亮条目）

输出示例（高亮部分）：

| 序号 | Immat | Constructeur | Type d’aéronef | SN aéronef | Propriétaire | Exploitant |
|---|---|---|---|---|---|---|
| 2 | LX-AIB | THE NEW PIPER AIRCRAFT, INC | PA28-161 Cadet | 28-41086 | AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L. | AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L. |

输出（已截断）：

print(out)

      Immat                      Constructeur       Type d’aéronef SN aéronef                          Propriétaire                        Exploitant
0    LX-ABC              BOMBARDIER INC.         BD-700-1A10 GLOBAL EXPRESS XRS                     9213               DMH AVIATION LTD.     GLOBAL JET LUXEMBOURG S.A.
1    LX-AIA           THE NEW PIPER AIRCRAFT, INC                   PA18C                 18-1011                  PIPER CLUB ASBL            PIPER CLUB ASBL
2    LX-AIB           THE NEW PIPER AIRCRAFT, INC                PA28-161 Cadet                 28-41086       AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L.   AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L.
3    LX-AIC                  REIMS AVIATION, CESSNA                       F172L                     0852       AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L.   AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L.
4    LX-AID                  REIMS AVIATION, CESSNA                       F172N                     1972       AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L.   AÉRO-SPORT DU GRAND-DUCHÉ DE LUXEMBOURG A.S.B.L.
..      ...                                ...                            ...                         ...                                    ...                                     ...
267  LX-XMR                    STORCH AVIATION              Slepcev Storch                   136                 PROPRIÉTÉ PRIVÉE              EXPLOITANT PRIVÉ
268  LX-YCV                  BOEING COMPANY, THE              B747-4R7F                     35805            CARGOLUX AIRLINES INTERNATIONAL S.A.       CARGOLUX AIRLINES INTERNATIONAL S.A.
269  LX-ZAP                     PILATUS AIRCRAFT Ltd                      PC-24                        315                           ZAPLEX S.A.                  JETFLY AVIATION S.A.
270  LX-ZEN                   CIRRUS DESIGN CORP.                        SR22                      2972                 PROPRIÉTÉ PRIVÉE              EXPLOITANT PRIVÉ
271  LX-ZIO                  BOMBARDIER INC.         BD-700-1A10 GLOBAL EXPRESS XRS                     9369                ER FRANZ XAVIER SEELIG     GLOBAL JET LUXEMBOURG S.A.

[272 rows x 6 columns]

vcsjones · Answer

尝试将 horizontal_strategy 设置为 explicit 并像配置 vertical_strategy 那样提供 explicit_horizontal_lines 参数值。

假设每一行的高度为30像素：

table = cropped_page.extract_table({
    "vertical_strategy": "explicit",
    "explicit_vertical_lines": explicit_vertical_lines,
    "horizontal_strategy": "explicit",
    # 跳过表头（每一页都有表头），从第1行开始
    "explicit_horizontal_lines": [top_region + 30 * i for i in range(1, 18)],
})

if table:
    all_rows += table

执行上述代码后的输出如下：

index,Immat,Constructeur,Type d’aéronef,SN aéronef,Propriétaire,Exploitant
0,LX-ABC,BOMBARDIER INC.,BD-700-1A10 GLOBAL EXPRESS XRS,9213,DMH AVIATION LTD.,GLOBAL JET LUXEMBOURG S.A.
1,LX-AIA,"THE NEW PIPER AIRCRAFT, INC",PA18C,18-1011,PIPER CLUB ASBL,PIPER CLUB ASBL
2,LX-AIB,"THE NEW PIPER AIRCRAFT, INC",PA28-161 Cadet,28-41086,"AÉRO-SPORT DU GRAND-DUCHÉ
DE LUXEMBOURG A.S.B.L.","AÉRO-SPORT DU GRAND-DUCHÉ
DE LUXEMBOURG A.S.B.L."
3,LX-AIC,"REIMS AVIATION, CESSNA",F172L,0852,"AÉRO-SPORT DU GRAND-DUCHÉ
DE LUXEMBOURG A.S.B.L.","AÉRO-SPORT DU GRAND-DUCHÉ
DE LUXEMBOURG A.S.B.L."
4,LX-AID,"REIMS AVIATION, CESSNA",F172N,1972,"AÉRO-SPORT DU GRAND-DUCHÉ
DE LUXEMBOURG A.S.B.L.","AÉRO-SPORT DU GRAND-DUCHÉ
DE LUXEMBOURG A.S.B.L."