在忽略最小值和最大值的情况下，计算某一行的标准差。

Question

给定以下数据框：

| a | b | c | d | e | sd |
| --- | --- | --- | --- | --- | --- |
| -100 | 2 | 3 | 60 | 4 | 1 |
| 7 | 5 | -50 | 9 | 130 | 2 |

如何计算排除每行中的最小值和最大值后的标准差 sd 列？

实际的数据框有几百万行，因此使用向量化操作将会非常高效！

要复制这个数据框：

df = pd.DataFrame(
    {"a": [-100, 7], "b": [2, 5], "c": [3, -50], "d": [60, 9], "e": [4, 130]}
)

Lou Franco · Answer

您可以尝试以下代码：

# 示例DataFrame
df = pd.DataFrame(
    {"a": [-100, 7], "b": [2, 5], "c": [3, -50], "d": [60, 9], "e": [4, 130]}
)

# 计算排除最小值和最大值后标准差
df['sd'] = df.apply(lambda row: pd.Series(row).sort_values().iloc[1:-1].std(), axis=1)

print(df)

# 输出结果：
   a  b  c   d   e   sd
0 -100  2  3  60   4  1.0
1    7  5 -50   9 130  2.0

carlosfigueira · Answer

您可以使用列表推导式来实现：

df['std'] = df.apply(lambda row: pd.Series([x for x in row if x not in [row.min(), row.max()]]).std(), axis=1)

# 输出结果：
   a  b  c   d   e  std
0 -100  2  3  60   4  1.0
1    7  5 -50   9 130  2.0

wim · Answer

排除首个最小值和最大值

一个较快的方法是使用numpy对每行数据进行排序，然后排除首尾元素并计算
标准差:
df['sd'] = np.sort(df.values, axis=1)[:, 1:-1].std(axis=1, ddof=1)

处理重复的最小值和最大值（排除所有重复项）

如果同一行中可能存在多个相同的最小值或最大值，并且需要排除所有这些值，则可以创建一个掩码：

m1 = df.ne(df.min(axis=1), axis=0)
m2 = df.ne(df.max(axis=1), axis=0)

df['sd'] = df.where(m1 & m2).std(axis=1)

输出结果：

  a  b   c   d    e   sd
0 -100  2   3  60    4  1.0
1    7  5 -50   9  130  2.0

Dan Abramov · Answer

为了进一步探讨，并在@mozway的回答基础上拓展，如果数据中存在接近最小值（如-95）或最大值（如58）的数值时，由于异常值的存在，计算得到的方差将不再具有代表性。另一种方法是通过四分位数范围（IQR）来移除异常值：

q = df.quantile([0.25, 0.75], axis=1).T
q1, q3 = q[0.25], q[0.75]
iqr = q3 - q1
lb, ub = q1 - 1.5 * iqr, q3 + 1.5 * iqr

df['sd'] = df.where(df.ge(lb, axis=0) & df.le(ub, axis=0)).std(axis=1)

输出结果：

>>> df
     a  b   c   d    e   sd
0 -100  2   3  60    4  1.0
1    7  5 -50   9  130  2.0

>>> q
   0.25  0.75
0   2.0   4.0
1   5.0   9.0

>>> lb  # 只保留大于等于下界阈值的值
0   -1.0
1   -1.0
dtype: float64

>>> ub  # 只保留小于等于上界阈值的值
0     7.0
1    15.0
dtype: float64

>>> df.where(df.ge(lb, axis=0) & df.le(ub, axis=0))
     a  b    c    d    e
0  NaN  2  3.0  NaN  4.0
1  7.0  5  NaN  9.0  NaN