网站首页 > 技术文章 正文
导读:本文主要介绍利用自定义函数实现pandas数据聚合,约550字,正常阅读需要3~5分钟。
之前的例子(传送门:python数据分析实战:pandas之分组聚合;python数据分析实战:pandas之层级聚合)我们已经简单介绍了数据聚合的求和操作,此外常见的聚合还包括count,min,max,mean等。很多时候这些程序内部已经实现优化的操作并不能满足我们的实际需求,我们可以自行定制聚合函数,并应用在分组对象上。
问题描述:
利用逐小时降水资料,计算各站点的日降水总量。实际的观测站点可能会存在缺测,直接进行sum()求和操作,程序会滤去缺测值返回剩余有效值的和。如果存在的缺测过多,则返回的总降水偏差过大。现在需要设定一个阈值(如,0.1),当缺测比例超过这个阈值后,日总降水返回缺测,否则返回剩余有效值的和。
解决思路:
针对每一个分组,我们需要先统计其数据总长度和缺测数据总长度,再进行一个判断,若缺测值比例超过阈值则返回缺测,否则执行sum()操作。令x为df. PRE_1h的一个分组
- 统计数据长度
Records = x.count()
- 统计缺测长度
NA_rec = x.isnull().sum().
x.isnull()返回一个等长的逻辑序列,缺测记为True。再对结果进行sum()操作可以求得True的个数。
- 自定义聚合函数
具体过程:
- 定义聚合函数,打开文件
2.分组,自定义聚合:
最后,想要代码更加精简,可以用匿名函数代替sumpcp
猜你喜欢
- 2025-06-28 Python数据分析实战-dataframe分组提取每一组的首条记录
- 2025-06-28 如何使用Python将多个excel文件数据快速汇总?
- 2025-06-28 「Python数据分析」Pandas进阶,使用groupby分组聚合数据(二)
- 2025-06-28 还在熬夜合并30个Excel 3个案例,带你用Python玩转Excel高阶操作
- 2025-06-28 Python 知识点 #31 - 分组和聚(python分层聚类)
- 2025-06-28 人生苦短,自学 python——pandas 的分组操作
- 2025-06-28 利用Python进行数据分组/数据透视表
- 2025-06-28 超实用!用Python快速实现数据分组统计与透视表
- 2025-06-28 Python 之 Pandas:数据分组聚合统计的魔法秘籍
- 2025-06-28 Python 数据分析——利用Pandas进行分组统计
- 272℃Python短文,Python中的嵌套条件语句(六)
- 271℃python笔记:for循环嵌套。end=""的作用,图形打印
- 269℃PythonNet:实现Python与.Net代码相互调用!
- 264℃Python实现字符串小写转大写并写入文件
- 263℃Python操作Sqlserver数据库(多库同时异步执行:增删改查)
- 122℃原来2025是完美的平方年,一起探索六种平方的算吧
- 104℃Python 和 JavaScript 终于联姻了!PythonMonkey 要火?
- 99℃Ollama v0.4.5-v0.4.7 更新集合:Ollama Python 库改进、新模型支持
- 最近发表
-
- Python数据分析实战-dataframe分组提取每一组的首条记录
- 如何使用Python将多个excel文件数据快速汇总?
- 「Python数据分析」Pandas进阶,使用groupby分组聚合数据(二)
- 还在熬夜合并30个Excel 3个案例,带你用Python玩转Excel高阶操作
- python数据分析实战:pandas分组聚合-自定义聚合函数
- Python 知识点 #31 - 分组和聚(python分层聚类)
- 人生苦短,自学 python——pandas 的分组操作
- 利用Python进行数据分组/数据透视表
- 超实用!用Python快速实现数据分组统计与透视表
- Python 之 Pandas:数据分组聚合统计的魔法秘籍
- 标签列表
-
- python中类 (31)
- python 迭代 (34)
- python 小写 (35)
- python怎么输出 (33)
- python 日志 (35)
- python语音 (31)
- python 工程师 (34)
- python3 安装 (31)
- python音乐 (31)
- 安卓 python (32)
- python 小游戏 (32)
- python 安卓 (31)
- python聚类 (34)
- python向量 (31)
- python大全 (31)
- python次方 (33)
- python桌面 (32)
- python总结 (34)
- python浏览器 (32)
- python 请求 (32)
- python 前端 (32)
- python验证码 (33)
- python 题目 (32)
- python 文件写 (33)
- python中的用法 (32)