如何检查数据框列中所有非NaN值都大于0？

Question

我有一个数据帧列，其中可能包含NaN值，这是可以接受的，但是非正数的值是不可以接受的。

我尝试使用以下代码进行检查：

assert (df[col] > 0).all()

但是，如果有NaN值存在，这个断言也会触发错误。

接着，我又尝试了：

assert (df[col] > 0 | df[col] == np.nan).all()

然而，这导致了一个类型错误：

TypeError: cannot compare a dtyped [float64] array with a scalar of type [bool]

请问，正确的检查方式应该是什么？

the Tin Man · Answer

您确实需要检查NaN的情况，但是不能使用==来进行判断，因为NaN不等于任何值，包括它自己。此时，您应该使用类似numpy.isnan(x)这样的函数来检测NaN值。

这里提供一个符合您需求的表达式：

assert (df[col].dropna() > 0).all()

我们首先使用dropna()方法过滤掉NaN值，然后验证剩下的数值是否全部为正数。这样就可以避免因NaN值导致的错误，并确保只有非NaN且大于0的值才会通过断言检查。

manojlds · Answer

要实现在包含NaN值的情况下检查数据框列中是否存在非正数，同时考虑NaN值不应被视为违规情况，可以采用如下方法利用Pandas的df.any()函数来完成这一任务。

假设我们有如下的示例数据框：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'a': [1, 2, 3, np.nan, -1, -2, -3],
    'b': [np.nan, 4, 5, 6, 7, 8, 9],
    'c': [10, 11, 12, 13, 14, 15, 16]
})

我们可以使用以下代码来检查各列中是否存在负值，同时通过skipna=True参数来指示在计算过程中忽略NaN值，即不将NaN视为负值：

# 检查'a'列是否有任何小于0的值，跳过NaN
(df['a'] < 0).any(skipna=True)  # 输出: False，因为所有非NaN值都是非负的

# 检查'b'列是否有任何小于0的值，跳过NaN
(df['b'] < 0).any(skipna=True)  # 输出: True，因为这个判断忽略了NaN，实际的数都非负，但逻辑上认为未检查到负值

# 检查'c'列是否有任何小于0的值，跳过NaN
(df['c'] < 0).any(skipna=True)  # 输出: True，逻辑上同样认为未直接检查到负值，但实际上所有数都是非负的

Quassnoi · Answer

我会将空值替换为一个有效的数字，在您的情况下是正数1，然后检查是否有剩余的负数。

实质上，这是确保列中的所有数字要么是空值，要么是正数。如果有任何负数，检查就会失败。

使用以下代码可以实现这一检查：

assert df[col].fillna(1).gt(0).all()

MarcinJuraszek · Answer

在编写以下代码时：

(df[col] > 0 | df[col] == np.nan)

你遇到了Python中两个相当棘手的问题。

一个是 (np.nan == np.nan) 会评估为False。正如另一个回答已经指出的，要检测NaN，你需要使用类似df[col].isna()的方法。

另一个问题是|的优先级高于>和==，因此你需要使用嵌套括号并编写

((df[col] > 0) | df[col].isna())