待解决25 积分悬赏

Python 数据分析：Pandas 内存不足怎么办？

数据分析新手·2026年7月25日 00:00·340 浏览

Python数据处理大数据

在用 Pandas 处理一个 5GB 的 CSV 文件时总是内存不足。已经用了分块读取，但后续的聚合操作还是会爆内存。有没有更好的方案？

1 个回答

5GB CSV 建议换工具。如果坚持用 Python，可以试试：1) Dask DataFrame（和 Pandas API 几乎一样但是分布式的）2) Polars（比 Pandas 内存效率高很多）3) 如果是聚合操作，试试 SQLite（pandas 可以直接写 SQL）。分块读取 + 逐块聚合其实可行，但要注意聚合的复杂度。

数据工程师小张2026年7月25日 16:0015 赞