程序员文章、书籍推荐和程序员创业信息与资源分享平台

网站首页 > 技术文章 正文

Python 代码优化,让你的Pandas速度飞起来

hfteth 2025-04-26 18:28:44 技术文章 3 ℃

让我们来做这样一个处理,如果某一列的值小于.5就把值统一替换为0,否则就替换为100.

原创不易,喜欢就转发和给个赞吧

首先创建一个dataframe:

import pandas as pd
import numpy as np
import time
df = pd.DataFrame(np.random.rand(100000, 4), columns=['A', 'B', 'C', 'D'])
print(df)

数据输出如下:


第一种方法:iterrows()

总共耗时8.12秒,iterrows()遍历确实比较慢,让人等得着急啊!

第二种方法:iloc

总共耗时2.76秒,是iterrows的2.9倍,速度提高了很多。


第三种方法:apply函数

总共耗时52.2毫秒,是iterrows的155倍。


第四种方法:numpy的where, 使用前先导入numpy.

总共耗时778微秒,处理速度是iterrows的10437倍,快到让人不敢相信。


本人觉得这个速度已经达到极致了,那还有没有更快的方法呢?那我们在用numpy的where(.values)来看看,结果简直不可思议只用了426微妙,速度快的离奇,处理速度是iterrows的一万九千都倍。


Tags:

最近发表
标签列表