"填充N/A（Not Available）与前一天的数据。"

Question

我有一个数据框，其中只包含了工作日的数据。下面是一个示例数据框：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'BAS_DT': ['2023-01-02', '2023-01-03', '2023-01-04', '2023-01-05', '2023-01-05', '2023-01-05', '2023-01-06', '2023-01-07'], 
    'CUS_NO': [np.nan, np.nan, '900816636', '900816636', '900816946', '900816931', np.nan, np.nan],
    'VALUE': [np.nan, np.nan, 10, 10, 7, 8, np.nan, np.nan],
    'BR': [np.nan, np.nan, 100, 100, 200, 300, np.nan, np.nan]
})

我想让日期为 2023-01-06 和 2023-01-07 的行数据与 2023-01-05 的数据保持一致。我尝试使用了 ffill 方法，但它只会用距离NaN最近的非NaN行来填充，而不是按照我希望的方式进行。我期望的输出结果如下：

    BAS_DT      CUS_NO      VALUE   BR
0   2023-01-02  NaN         NaN     NaN
1   2023-01-03  NaN         NaN     NaN
2   2023-01-04  900816636   10.0    100.0
3   2023-01-05  900816636   10.0    100.0
4   2023-01-05  900816946   7.0     200.0
5   2023-01-05  900816931   8.0     300.0
6   2023-01-06  900816636   10.0    100.0
7   2023-01-06  900816946   7.0     200.0
8   2023-01-06  900816931   8.0     300.0
9   2023-01-07  900816636   10.0    100.0
10  2023-01-07  900816946   7.0     200.0
11  2023-01-07  900816931   8.0     300.0

请帮我实现这个需求，谢谢。

Jonas Wilms · Answer

为了得到你期望的输出，你可以首先对'CUS_NO'列中的缺失值进行前向填充，然后为'CUS_NO'中每个唯一值对应的行进行复制。

下面是实现这一过程的代码：

import pandas as pd
import numpy as np

# 你的原始数据框
df = pd.DataFrame({'BAS_DT': ['2023-01-02', '2023-01-03', '2023-01-04', '2023-01-05', '2023-01-05', '2023-01-05', '2023-01-06', '2023-01-07'], 
                   'CUS_NO': [np.nan, np.nan, '900816636', '900816636', '900816946', '900816931', np.nan, np.nan],
                   'VALUE': [np.nan, np.nan, 10, 10, 7, 8, np.nan, np.nan],
                   'BR': [np.nan, np.nan, 100, 100, 200, 300, np.nan, np.nan]})

# 将'BAS_DT'转换为datetime类型
df['BAS_DT'] = pd.to_datetime(df['BAS_DT'])

# 对'CUS_NO'列的缺失值进行前向填充
df['CUS_NO'] = df['CUS_NO'].fillna(method='ffill')

# 为'CUS_NO'中每个唯一值对应的行进行复制
# 注意：直接使用explode方法在这里不适用，因为我们需要根据2023-01-05的数据复制并更新VALUE和BR列
# 所以，我们采取另一种策略，先找到2023-01-05的数据，然后将其扩展到后续的日期

# 获取2023-01-05的数据
jan_5_data = df[df['BAS_DT'] == '2023-01-05']

# 将这些数据复制并分配给2023-01-06和2023-01-07
for date in ['2023-01-06', '2023-01-07']:
    temp_df = jan_5_data.copy()
    temp_df['BAS_DT'] = pd.Timestamp(date)
    df = pd.concat([df, temp_df])

# 删除原有的2023-01-06和2023-01-07的行（如果存在且为空）
df = df.dropna(subset=['CUS_NO'])

# 重置索引
df = df.reset_index(drop=True)

print(df)

点击这里以执行代码

Alok Singhal · Answer

你可以通过以下步骤实现数据透视 (pivot)、向前填充 (ffill) 并重新调整为长格式:

out = (df.assign(n=df.groupby('BAS_DT').cumcount())
       .replace('', float('nan'))
       .pivot(index='BAS_DT', columns='n')
       .ffill()
       .stack(dropna=False)
       .reset_index('BAS_DT')
       .sort_values(by=['BAS_DT', 'CUS_NO'], na_position='first')
       .loc[lambda d: d['CUS_NO'].notna() | ~d[['BAS_DT', 'CUS_NO']].duplicated()]
      )

out

输出：

      BAS_DT     CUS_NO  VALUE     BR
n                                     
0  2023-01-02        NaN    NaN    NaN
0  2023-01-03        NaN    NaN    NaN
1  2023-01-04        NaN    NaN    NaN
0  2023-01-04  900816636   10.0  100.0
0  2023-01-05  900816636   10.0  100.0
2  2023-01-05  900816931    8.0  300.0
1  2023-01-05  900816946    7.0  200.0
0  2023-01-06  900816636   10.0  100.0
2  2023-01-06  900816931    8.0  300.0
1  2023-01-06  900816946    7.0  200.0
0  2023-01-07  900816636   10.0  100.0
2  2023-01-07  900816931    8.0  300.0
1  2023-01-07  900816946    7.0  200.0

在进行stack操作之前的中间步骤中：

               CUS_NO                      
n                   0          1          2
BAS_DT                                     
2023-01-02        NaN        NaN        NaN
2023-01-03        NaN        NaN        NaN
2023-01-04  900816636        NaN        NaN
2023-01-05  900816636  900816946  900816931
2023-01-06  900816636  900816946  900816931
2023-01-07  900816636  900816946  900816931

Lundin · Answer

您可以采用以下步骤处理：

cols = ['BAS_DT', 'CUS_NO']
split = df['CUS_NO'].isna().idxmin()

# Create dense matrix
df1 = (pd.crosstab(df.loc[split:, 'BAS_DT'], df.loc[split:, 'CUS_NO'].ffill())
         .cumsum().astype(bool))

# Restore shape
df1 = (df1.mul(df1.columns).unstack()
          .loc[lambda x: x != '']
          .index.to_frame(index=False))

# Build a new dataframe
out = (pd.concat([df.loc[:split], df1])
         .drop_duplicates(['CUS_NO', 'BAS_DT'], ignore_index=True))

输出

>>>out
        BAS_DT     CUS_NO
0   2023-01-02        NaN
1   2023-01-03        NaN
2   2023-01-04  900816636
3   2023-01-05  900816636
4   2023-01-06  900816636
5   2023-01-07  900816636
6   2023-01-05  900816931
7   2023-01-06  900816931
8   2023-01-07  900816931
9   2023-01-05  900816946
10  2023-01-06  900816946
11  2023-01-07  900816946

jww · Answer

你可以按照BAS_DT进行分组，并在组内将CUS_NO聚合为列表形式，当组内存在多个值时；接下来进行ffill处理后再explode拆分列：

out = (df
    .groupby('BAS_DT')
    .agg(lambda g: [g.tolist() if len(g) > 1 else g)
    .ffill()
    .explode('CUS_NO')
    .reset_index()
)

输出为：

        BAS_DT     CUS_NO
0   2023-02        NaN
1   23-03        NaN
2   2-04 90816
3   23-05 90816
4   23-5 90846
5   23-5 9081
6   26 90816
7   26 90846
8   26 9081
9   27 90816
10 27 90846
11 27 9081

注意对于问题的更新，你可能需要使用.explode['CUS_NO', 'VALUE', 'BR']]同时处理多个列，但只要使用的是pandas 2.0及以上版本，代码无需其他修改即可正常工作。