将Python DataFrame中的列转换为行的列表

Question

我有一个如下所示的Pandas DataFrame：

id     name     value1   value2    value3     Type
=======================================================
1      AAA        1.0      1.5       1.8      NEW
2      BBB        2.0      2.3       2.5      NEW
3      CCC        3.0      3.6       3.7      NEW

我需要将其转换为下述形式，以便根据name字段（在我这里将是唯一的）与其他DataFrame进行连接：

Type        AAA                     BBB                 CCC
================================================================
NEW    [1.0, 1.5, 1.8]       [2.0, 2.3, 2.5]      [3.0, 3.6, 3.7]

有没有什么方法可以避免使用过多循环语句来实现这个转换？

非常感谢任何帮助！

谢谢，

chi · Answer

解决方案是首先添加一个名为value的新列，该列包含列表，然后使用Pandas库中的·pivot·函数：

(df.assign(value=df.loc[:, 'value1':'value3'].apply(list, axis=1))  # 将'值1'到'值3'列转换为list并赋给新列value
 .pivot(index='Type', columns='name', values='value')             # 使用pivot函数重塑数据框
 .rename_axis(None, axis=1).reset_index())                      # 移除列名索引并将index作为行加入

执行上述代码后，输出结果如下：

  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

derHugo · Answer

使用Pandas库中的 melt和 pivot_table函数，可以这样实现：

(df.melt(id_vars=['id', 'name', 'Type'])  # 将'id'、'name'和'Type'以外的列转置为长格式
   .pivot_table(index='Type', columns='name',  # 基于'Type'构建行索引，'name'构建列索引
                values='value', aggfunc=list)  # 将'value'列通过list函数聚合
   .reset_index()  # 将原索引变为普通列
   .rename_axis(columns=None)  # 移除列名索引
)

运行以上代码后的输出结果：

  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

lprsd · Answer

你可以采用以下步骤，先运用melt函数，再结合groupby_agg方法：

>>> (df.melt(id_vars=['id', 'name', 'Type'])  # 将'id'、'name'和'Type'之外的列转为长格式
       .groupby(['name', 'Type'])['value']  # 按照'name'和'Type'分组并对'value'列操作
       .agg(list)  # 对每个组内的'value'应用list函数进行聚合
       .unstack('name')  # 把'name'从索引级别转为列
       .reset_index()  # 将原来的索引恢复为普通列
       .rename_axis(columns=None)  # 移除列名轴标签，使其更整洁)

  Type              AAA              BBB              CCC
0  NEW  [1.0, 1.5, 1.8]  [2.0, 2.3, 2.5]  [3.0, 3.6, 3.7]

编辑提示：此方法与@mozway的答案几乎等价。

Oded · Answer

若“Type”列不全是“NEW”的情况，你希望如何处理这一列呢？（这个问题没有直接回答）

不过，如果暂时忽略“Type”列的不同取值，仅关注将数值列按名称组织起来，你可以尝试类似以下的方法：

# 假设我们有如下DataFrame：
df = pd.DataFrame({'name':['AAA','BBB','CCC'],'value1':[1,2,3],'value2':[4,5,6]})

# 获取name列的值作为新的列名
columns = df['name'].values

# 提取所有包含"value"的列，并获取其值
values = df[[col for col in df.columns if 'value' in col]].values

# 将列名和对应值组合成字典，然后转换为Series并转置为DataFrame
df = pd.Series(dict(zip(columns, values))).to_frame().T