使用任何数据集之前，都必须进行数据清洗，以便开展进一步分析。常见的数据质量问题包括重复数据、不正确的格式、超出范围的数值以及缺失的数据。

本教程将介绍在Python中用于常见数据清洗任务的一系列单行代码技巧，并以一个示例数据集为基础进行演示。

若想顺利掌握本教程，你需要熟练掌握Python中的列表推导式和字典推导式。让我们开始吧！

生成示例数据

这里是本教程对应的Google Colab笔记本。

首先生成示例数据：

data = [ {"name": "alice smith", "age": 30, "email": "alice@example.com", "salary": 50000.00, "join_date": "2022-03-15"}, {"name": "bob gray", "age": 17, "email": "bob@not-an-email", "salary": 60000.00, "join_date": "invalid-date"}, {"name": "charlie brown", "age": None, "email": "charlie@example.com", "salary": -1500.00, "join_date": "15-09-2022"}, {"name": "dave davis", "age": 45, "email": "dave@example.com", "salary": 70000.00, "join_date": "2021-07-01"}, {"name": "eve green", "age": 25, "email": "eve@example.com", "salary": None, "join_date": "2023-12-31"}, ]

现在，我们尝试编写一些代码来解决示例数据中的问题。

1. 字符串首字母大写标准化

统一数据集中字符串格式很重要。我们将姓名格式统一为首字母大写：

将姓名首字母大写以保持一致性

data = [{**d, "name": d["name"].title()} for d in data]

2. 数据类型转换

为确保分析准确，保持数据类型的一致性至关重要。以下代码将年龄转换为整数，转换失败则默认赋值25：

将年龄转换为整数类型，若转换失败则默认25

data = [{**d, "age": int(d["age"]) if isinstance(d["age"], (int, float)) else 25} for d in data]

3. 数值范围校验

我们还需确保数值在合理范围内。以下代码检查年龄是否在18到60之间，否则赋值为默认年龄25：

确保年龄为18-60之间的整数，否则设为25

data = [{**d, "age": d["age"] if isinstance(d["age"], int) and 18 <= d["age"] <= 60 else 25} for d in data]

4. 邮箱格式校验

文本字段格式问题较常见。以下代码检查邮箱格式是否有效，不符合规范则替换为默认邮箱：

验证邮箱包含"@"和"."，否则设为'invalid@example.com'

data = [{**d, "email": d["email"] if "@" in d["email"] and "." in d["email"] else "invalid@example.com"} for d in data]

5. 处理缺失值

缺失值在数据集中较为常见，下述代码检查工资是否缺失，若缺失则赋默认值：

若薪资缺失，则默认设为30,000

data = [{**d, "salary": d["salary"] if d["salary"] is not None else 30000.00} for d in data]

6. 日期格式标准化

统一日期格式有助于分析，以下代码将不同日期格式统一，并对无效日期赋予默认日期：

from datetime import datetime

尝试将日期转为标准格式，若无效则默认'2023-01-01'

data = [{**d, "join_date": (lambda x: (datetime.strptime(x, '%Y-%m-%d').date() if '-' in x and len(x) == 10 else datetime.strptime(x, '%d-%m-%Y').date()) if x and 'invalid-date' not in x else '2023-01-01')(d['join_date'])} for d in data]

但需要注意，这种写法可能不易阅读，建议拆解为多个步骤。推荐阅读：《为何不要过度使用Python列表推导式》，了解更多细节。

7. 移除负数值

有时需要确保特定数值字段（如年龄、工资）为非负值。以下代码将负的工资值替换为0：

将负工资值替换为0，确保所有工资非负

data = [{**d, "salary": max(d["salary"], 0)} for d in data]

8. 去除重复数据

分析数据前需去除重复记录。以下代码基于姓名字段去除重复项：

基于姓名字段去除重复记录

data = {tuple(d.items()) for d in data} # 使用集合去除重复 data = [dict(t) for t in data] # 再转换回字典列表

9. 数值缩放（归一化）

数值缩放有助于统一分析。以下代码将工资缩放为数据集中最高工资的百分比：

将工资值归一化为最高工资的百分比

max_salary = max(d["salary"] for d in data) data = [{**d, "salary": (d["salary"] / max_salary * 100) if max_salary > 0 else 0} for d in data]

10. 字符串去除空格

有时需要去除字符串前后的多余空格，以下代码完成此操作：

去除姓名中首尾空格，数据更整洁

data = [{**d, "name": d["name"].strip()} for d in data]

运行完上述数据清洗步骤后，数据字典变为：

[{'name': 'Bob Gray', 'age': 25, 'email': 'invalid@example.com', 'salary': 85.71428571428571, 'join_date': '2023-01-01'}, {'name': 'Alice Smith', 'age': 30, 'email': 'alice@example.com', 'salary': 71.42857142857143, 'join_date': datetime.date(2022, 3, 15)}, {'name': 'Charlie Brown', 'age': 25, 'email': 'charlie@example.com', 'salary': 0.0, 'join_date': datetime.date(2022, 9, 15)}, {'name': 'Dave Davis', 'age': 45, 'email': 'dave@example.com', 'salary': 100.0, 'join_date': datetime.date(2021, 7, 1)}, {'name': 'Eve Green', 'age': 25, 'email': 'eve@example.com', 'salary': 42.857142857142854, 'join_date': datetime.date(2023, 12, 31)}]

总结

本教程介绍了常见的数据质量问题以及使用 Python 单行代码进行数据清洗的方法。

这些代码在需要快速清洗数据并立即进行分析时非常实用。如果你希望了解pandas库的类似技巧，可以阅读《10个Pandas单行代码技巧，轻松搞定数据访问、操作和管理》。

祝你数据清洗愉快！