Pandas DataFrame高效删除行

Pandas是一个强大的Python数据处理库。一个常见的任务是根据列值删除DataFrame中的行。本文探讨了高效的方法。

目录

• 使用布尔掩码高效删除行
• 使用.drop方法（效率较低）
• 大型数据集的性能考虑

使用布尔掩码高效删除行

布尔掩码提供了根据列值删除行的最简洁和最高效的方法。它使用布尔条件直接过滤DataFrame。

import pandas as pd

# 示例DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
        'Age': [25, 30, 25, 35],
        'City': ['New York', 'London', 'Paris', 'Tokyo']}
df = pd.DataFrame(data)
print("原始DataFrame:n", df)

# 删除Age为25的行
df = df[df['Age'] != 25]  
print("n删除Age为25的行后的DataFrame:n", df)

df['Age'] != 25创建一个布尔Series。True表示’Age’不为25的行。使用它来索引df可以直接过滤，只保留条件为True的行。这避免了查找索引的中间步骤，提高了速度和内存效率，尤其是在大型数据集的情况下。

使用.drop方法（效率较低）

.drop方法根据索引标签删除行。要根据列值删除，首先需要使用布尔索引识别相关的索引。

import pandas as pd

# 示例DataFrame（与之前相同）
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David'],
        'Age': [25, 30, 25, 35],
        'City': ['New York', 'London', 'Paris', 'Tokyo']}
df = pd.DataFrame(data)
print("原始DataFrame:n", df)

# 识别Age为25的行索引
indices_to_drop = df[df['Age'] == 25].index

# 使用.drop删除行
df = df.drop(indices_to_drop)
print("n删除Age为25的行后的DataFrame:n", df)

#就地修改（直接修改原始DataFrame）
#df.drop(indices_to_drop, inplace=True) 

这种方法虽然清晰，但效率低于布尔掩码，尤其是在大型DataFrame中，因为它需要额外步骤来识别和删除索引。

大型数据集的性能考虑

对于较小的数据集，这些方法之间的性能差异可能可以忽略不计。但是，对于大型数据集，布尔掩码的性能明显优于.drop方法。布尔掩码直接操作底层数据，而.drop会创建一个新的DataFrame，这可能会导致内存问题和处理时间变慢。