使用pandas将三个具有不同时间步长（10分钟、15分钟和30分钟）的数据框合并。

Question

目标是合并三个具有不同时间步长（分别为10分钟、15分钟和30分钟）的数据框。编写代码时，需要识别首先应考虑哪个时间步长，并找出紧接其后的下一个可用时间步长。例如，在数据框集合中并没有2019年4月2日10点40分这一时间戳，因此在2019年4月2日10点30分之后应选择的下一个时间步长是10点45分。

下面是三个数据框的内容：

df1：

| 时间戳        | 数据1 |
|---------------|-------|
| 2019/04/02 10:00:00 | 1    |
| 2019/04/02 10:10:00 | 1    |
| 2019/04/02 10:20:00 | 1    |
| 2019/04/02 10:30:00 | 1    |

df2：

| 时间戳        | 数据2 |
|---------------|-------|
| 2019/04/02 10:00:00 | 2    |
| 2019/04/02 10:15:00 | 22   |
| 2019/04/02 10:30:00 | 222  |
| 2019/04/02 10:45:00 | 2222 |
| 2019/04/02 11:00:00 | 22222|

df3：

| 时间戳        | 数据3 |
|---------------|-------|
| 2019/04/02 10:00:00 | 3    |
| 2019/04/02 10:30:00 | 33   |
| 2019/04/02 11:00:00 | 333  |
| 2019/04/02 11:30:00 | 3333 |

期望得到的结果如下：

| 时间戳        | 数据1 | 数据2 | 数据3 |
|---------------|-------|-------|-------|
| 2019/04/02 10:00:00 | 1    | 2     | 3     |
| 2019/04/02 10:10:00 | 1    | NaN   | NaN   |
| 2019/04/02 10:15:00 | NaN  | 22    | NaN   |
| 2019/04/02 10:20:00 | 1    | NaN   | NaN   |
| 2019/04/02 10:30:00 | 1    | 222   | 33    |
| 2019/04/02 10:45:00 | NaN  | 2222  | NaN   |
| 2019/04/02 11:00:00 | NaN  | 22222 | 333   |
| 2019/04/02 11:30:00 | NaN  | NaN   | 3333  |

我尝试使用了Python中的concat函数和merge函数，但未能达到预期的效果。

P Shved · Answer

# 将时间戳列转换为datetime格式
df1['Timestamp'] = pd.to_datetime(df1['Timestamp'])  
df2['Timestamp'] = pd.to_datetime(df2['Timestamp'])  
df3['Timestamp'] = pd.to_datetime(df3['Timestamp'])

# 按照时间戳对各数据框进行排序
df1 = df1.sort_values('Timestamp')  
df2 = df2.sort_values('Timestamp')  
df3 = df3.sort_values('Timestamp')

# 使用merge_asof函数进行近似合并
result = pd.merge_asof(df1, df2, on='Timestamp', direction='nearest')  
result = pd.merge_asof(result, df3, on='Timestamp', direction='nearest')

---

编辑：如果你想保留NaN值

# 将时间戳列转换为datetime格式
df1['Timestamp'] = pd.to_datetime(df1['Timestamp'])  
df2['Timestamp'] = pd.to_datetime(df2['Timestamp'])  
df3['Timestamp'] = pd.to_datetime(df3['Timestamp'])

# 使用merge函数以'outer'方式合并
result = pd.merge(df1, df2, on='Timestamp', how='outer')  
result = pd.merge(result, df3, on='Timestamp', how='outer')

# 根据时间戳对合并结果进行排序
result = result.sort_values('Timestamp')

Flimm · Answer

使用外连接（outer join）方式进行合并：

from functools import reduce

dfs = [df1, df2, df3]

merge = lambda *lr: pd.merge(*lr, how="outer")

out = (reduce(merge, dfs).convert_dtypes()
           .sort_values(by="Timestamp", key=pd.to_datetime))

输出

   Timestamp  data1  data2  data3
0  2019/04/02 10:00:00      1      2      3
1  2019/04/02 10:10:00      1   <NA>   <NA>
4  2019/04/02 10:15:00   <NA>     22   <NA>
2  2019/04/02 10:20:00      1   <NA>   <NA>
3  2019/04/02 10:30:00      1    222     33
5  2019/04/02 10:45:00   <NA>   2222   <NA>
6  2019/04/02 11:00:00   <NA>  22222    333
7  2019/04/02 11:30:00   <NA>   <NA>   3333

[8 rows x 4 columns]

Yarin · Answer

解决方案：

另一种可能的解决方法是先垂直堆叠这三个数据框，然后将timestamps列设为索引，接着对其进行堆叠和展平操作，使data1、data2和data3成为水平列：

pd.concat([df1, df2, df3]).set_index('Timestamp').stack().unstack(1).reset_index()

中间步骤

步骤1

代码

pd.concat([df1, df2, df3]).set_index('Timestamp')

产生的结果是：

                     data1    data2   data3
Timestamp                                  
2019/04/02 10:00:00    1.0      NaN     NaN
2019/04/02 10:10:00    1.0      NaN     NaN
2019/04/02 10:20:00    1.0      NaN     NaN
2019/04/02 10:30:00    1.0      NaN     NaN
2019/04/02 10:00:00    NaN      2.0     NaN
2019/04/02 10:15:00    NaN     22.0     NaN
2019/04/02 10:30:00    NaN    222.0     NaN
2019/04/02 10:45:00    NaN   2222.0     NaN
2019/04/02 11:00:00    NaN  22222.0     NaN
2019/04/02 10:00:00    NaN      NaN     3.0
2019/04/02 10:30:00    NaN      NaN    33.0
2019/04/02 11:00:00    NaN      NaN   333.0
2019/04/02 11:30:00    NaN      NaN  3333.0

步骤2

代码

pd.concat([df1, df2, df3]).set_index('Timestamp').stack()

产生的结果是：

Timestamp                 variable  
2019/04/02 10:00:00  data1        1.0
2019/04/02 10:10:00  data1        1.0
2019/04/02 10:20:00  data1        1.0
2019/04/02 10:30:00  data1        1.0
2019/04/02 10:00:00  data2        2.0
2019/04/02 10:15:00  data2       22.0
2019/04/02 10:30:00  data2      222.0
2019/04/02 10:45:00  data2     2222.0
2019/04/02 11:00:00  data2    22222.0
2019/04/02 10:00:00  data3        3.0
2019/04/02 10:30:00  data3       33.0
2019/04/02 11:00:00  data3      333.0
2019/04/02 11:30:00  data3     3333.0
dtype: float64

步骤3

最后，代码

pd.concat([df1, df2, df3]).set_index('Timestamp').stack().unstack(1)

产生的结果是（注意unstack(1)取多级索引的第1层——即包含data1、data2和data3的那一层——来形成最终数据框的3列）：

                     data1    data2   data3
Timestamp                                  
2019/04/02 10:00:00    1.0      2.0     3.0
2019/04/02 10:10:00    1.0      NaN     NaN
2019/04/02 10:15:00    NaN     22.0     NaN
2019/04/02 10:20:00    1.0      NaN     NaN
2019/04/02 10:30:00    1.0    222.0    33.0
2019/04/02 10:45:00    NaN   2222.0     NaN
2019/04/02 11:00:00    NaN  22222.0   333.0
2019/04/02 11:30:00    NaN      NaN  3333.0

输出

             Timestamp  data1    data2   data3
0  2019/04/02 10:00:00    1.0      2.0     3.0
1  2019/04/02 10:10:00    1.0      NaN     NaN
2  2019/04/02 10:15:00    NaN     22.0     NaN
3  2019/04/02 10:20:00    1.0      NaN     NaN
4  2019/04/02 10:30:00    1.0    222.0    33.0
5  2019/04/02 10:45:00    NaN   2222.0     NaN
6  2019/04/02 11:00:00    NaN  22222.0   333.0
7  2019/04/02 11:30:00    NaN      NaN  3333.0