在上一集中，我们学习了基本的筛选技术。今天，我们将学习如何使用`.query()`和`.apply()`方法进行更高级的筛选。
条件筛选进阶概述
随着数据集的复杂性增加，我们需要更强大的工具来帮助我们筛选数据。Pandas提供了`.query()`和`.apply()`这样的方法，让我们能够以更灵活、更强大的方式进行筛选。
使用.query()方法
python代码
# 使用.query()筛选工资高于平均值的员工
df_query = df.query('Salary > @df["Salary"].mean()')
# .query()方法允许我们使用python代码原生的变量，并且使筛选条件的表达更加直观。
使用.apply()方法
python代码
# 假设我们要根据一个自定义函数的计算结果来筛选数据
def is_top_earner(row):
return row['Salary'] > df['Salary'].mean()
# 使用.apply()和自定义函数筛选
df_apply = df.apply(is_top_earner, axis=1)
# .apply()方法允许我们对DataFrame的行或列应用一个函数，根据函数的返回值来筛选数据。
综合案例分析
假设我们有一个包含员工信息的DataFrame df，数据如下：
python代码
import pandas as pd
import numpy as np
# 示例数据
data = {
'EmployeeID': [101, 102, 103, 104, 105, 106],
'Name': ['John Doe', 'Jane Smith', 'Bob Johnson', 'Alice Davis', 'Mike Brown', 'Sophia Lee'],
'Department': ['Engineering', 'HR', 'Marketing', 'Engineering', 'Sales', 'Engineering'],
'Age': [34, 29, 45, 31, 28, 40],
'Salary': [70000, 50000, 60000, 75000, 48000, 80000]
}
df = pd.DataFrame(data)
步骤1：使用.query()方法
我们想要筛选出工资高于平均工资的员工。
python代码
# 使用.query()方法筛选
average_salary = df['Salary'].mean()
high_earners = df.query("Salary > @average_salary")
print(high_earners)
步骤2：使用.apply()方法
假设我们要根据员工的工龄（假设工龄为当前年份减去入职年份）来筛选员工，工龄超过10年的员工我们认为是资深员工。
python代码
# 假设当前年份为2023
current_year = 2023
# 使用.apply()方法筛选资深员工
senior_employees = df.apply(lambda x: current_year - x['EmployeeID'] // 100 > 10, axis=1)
print(senior_employees)
步骤3：结合.apply()和自定义函数
我们可以定义一个自定义函数来判断员工是否为高薪。
python代码
# 定义自定义函数判断是否为高薪
def is_high_earner(salary):
return salary > 75000
# 使用.apply()和自定义函数筛选高薪员工
high_earning_employees = df.apply(lambda x: is_high_earner(x['Salary']), axis=1)
print(high_earning_employees)
步骤4：筛选并展示结果
使用.query()和.apply()筛选出的数据可以用于进一步的分析或可视化。
python代码
# 使用.query()筛选高薪员工
high_earning_employees_query = df.query("Salary > 75000")
print(high_earning_employees_query)
步骤5：应用更改
将筛选后的数据保存到新的DataFrame或CSV文件中。
python代码
# 将筛选后的高薪员工数据保存到新的CSV文件
high_earning_employees_query.to_csv('high_earning_employees.csv', index=False)
性能考量
在进行筛选时，我们也需要考虑代码的性能。`.query()`通常比`.apply()`更快，因为它进行了优化以处理向量化操作。但是，`.apply()`提供了更大的灵活性，尤其是在处理复杂的自定义逻辑时。
总结与预告
今天我们学习了如何使用Pandas的`.query()`和`.apply()`方法进行高级筛选。这些方法提供了筛选数据的强大工具，使我们能够更加精确地控制数据的筛选过程。如果大家对条件筛选有任何疑问，或者在实践中遇到问题，请在评论区留言，我会尽快解答。