·
日常编程 ·
261959
memory_profiler仅统计每行新分配内存,不追踪对象生命周期或引用链,适合定位单次执行的内存尖峰,而非长周期泄漏;真正卡住内存的是强引用未释放,需用gc.get_referrers()或objgraph分析。
内存持续升高不释放,大概率不是“没回收”,而是对象还在被强引用着——memory_profiler能帮你看到哪行代码在吃内存,但不能告诉你谁在死死拽着它不放。
为什么memory_profiler常被误用
很多人装上就加@profile,跑完看输出里某行“+10MB”,就去改那行。结果重跑,RSS 还是涨。问题在于:memory_profiler只统计每行新分配的内存,不追踪对象生命周期,也不显示引用链。
- 它对生成器、惰性计算(如
map()、filter())几乎不报内存——实际可能缓存了大量中间结果
- 它无法区分“临时变量刚分配”和“全局缓存持续累积”,比如
cache.append(obj)在循环里执行 1000 次,memory_profiler会标出 1000 行“+很小”,但根本看不出cache本身已膨胀到 500MB
- 对 NumPy/Pandas 视图(view)完全失明:一个
df.iloc[:1000]可能只占几 KB 引用开销,但底层 buffer 仍是整个 GB 级 DataFrame —— memory_profiler不会警告你
memory_profiler该什么时候用、怎么用才有效
它适合定位“单次执行中明显异常的内存尖峰”,比如函数内加载大文件、拼接超长字符串、误用list(range(10**7))。前提是:你已经排除了长周期引用(全局变量、闭包、信号监听器)干扰。
Python 3.14.3
微软官方的 Python 扩展,是 VS Code 安装量最高的扩展(209M+)。集成 IntelliSense(通过 Pylance)、调试(通过 Python Debugger)、代码检查、格式化、重构和单元测试等功能。支持 Jupyter Notebook、虚拟环境管理和多 Python 版本切换。
- 启动时加
-M参数启用多行监控:python -m memory_profiler -M your_script.py
- 关注
Mem usage列的**跳变点**,而非累计值;例如从 80MB → 280MB 那一行,比后面缓慢爬升的几十行更有价值
- 配合
stream=True写入日志,避免终端刷屏丢失关键帧:@profile(stream=open('mem.log', 'w'))
- 对可疑函数,用
mprof run + mprof plot画趋势图,确认是单次暴涨还是随时间线性增长——后者基本可排除memory_profiler主责,该切tracemalloc或psutil
它报不出问题的三类典型场景
如果你发现memory_profiler输出平平无奇,但psutil.Process().memory_info().rss每分钟涨 50MB,大概率掉进以下坑里:
-
global_cache = {}在模块顶层,被某个 handler 不断cache[key] = big_result,而 key 永远不重复——memory_profiler只记下每次赋值的开销,不提醒你字典本身已存了 2 万个键
- 使用了
lru_cache(maxsize=None)装饰器处理高频率小参数函数,缓存无限增长;它分配内存的动作分散在每次调用里,memory_profiler无法聚合识别
- 第三方库(如
requests.adapters.HTTPAdapter)内部维护连接池或缓冲区,Python 层看不到对象,memory_profiler自然不统计——这时得看/proc/[pid]/maps或用gdb --pid查 native 堆
真正卡住内存的,往往不是某行代码“分配得多”,而是某处引用“松不开手”。memory_profiler是听诊器,不是 CT 机;想看清谁在拽着对象不放,得切到gc.get_referrers()或objgraph。别让它替你做本不属于它的判断。
TabularDrift比手动KL散度更可靠,因其采用MMD+RFF非参数检验,不假设分布、兼容混合特征并支持特征贡献分析;需正确配置cat_vars处理类别变量,且predict低延迟需优化。 AlibiDetect 的 TabularDrift 为什么比手动计算 KL 散度更可靠 直接用 scipy.stats.entropy 算训练集和线上 batch 的 KL 散度,结果波动大、阈值难设,...
psutil.disk_usage()通过statvfs()获取实时磁盘使用率,比df -h更准确;需传标准化绝对路径,监控应判连续阈值而非瞬时峰值,并以systemd Type=simple长期运行。 用 psutil 获取真实磁盘使用率,别信 df -h 的缓存值 Linux 的 df 命令默认显示的是挂载点的统计,但内核可能缓存了部分元数据,导致短时间重复调用结果滞后。而 psutil.di...
torch.cuda.empty_cache()仅释放CUDA缓存中空闲块,不释放被张量占用的显存;显存泄漏需通过控制张量生命周期、切断计算图引用和及时del+gc.collect()解决。 torch.cuda.empty_cache() 不是万能解药,它只清空当前设备上 CUDA 缓存分配器里的空闲块,对真正泄漏的显存无效,反而可能拖慢高频推理。 torch.cuda.empty_cache(...
FastAPI中需用可哈希标识(如id(websocket)或user_id)增减在线人数,内存方案须加锁防竞态,多进程必须用Redis原子指令incr/decr维护共享计数,并配合心跳键实现高可用。 WebSocket连接建立时怎么安全地增减在线人数 FastAPI的WebSocket实例没有唯一ID,直接用websocket对象做字典键会报TypeError: unhashable type:...
应避免大文件读取时调用.read()等一次性加载方法,改用分块读取、流式处理、临时文件磁盘存储及作用域隔离,并通过MAX_CONTENT_LENGTH限制上传大小、禁用全局缓存、谨慎记录日志来防止内存溢出。 大文件读取时直接用 open().read() 会爆内存 Flask 默认没有请求体大小限制,用户上传一个 500MB 的文件,如果你写 request.files['file'].read(...
树莓派pip安装常卡在“Building wheel”阶段,因ARM架构编译资源有限、默认swap仅100MB,编译大库易OOM导致假死;需增大swap、换清华源(含apt主源、raspi.list和pip.conf)、优先用apt装预编译包(如sudo apt install python3-opencv),或强制二进制安装。 树莓派上直接用系统自带的 Python 3 就能跑基础脚本,但想稳定...
PyTorch DataLoader的num_workers过高导致CPU爆满,根本原因是子进程过多且默认占满线程,引发调度与pickle开销;实操应设num_workers=0(调试/Windows)或2–4(Linux/macOS),配pin_memory=True,避免ToTensor等CPU密集操作,并通过环境变量或spawn方式限制线程。 PyTorch DataLoader的num_w...
DeepSpeed集成前必须确认三件事:CUDA可用且驱动≥525.60.13;模型已封装为torch.nn.Module;训练循环未手动调用.to(device)或.cuda(),否则张量跨设备错误。 DeepSpeed集成前必须确认的三件事 不装DeepSpeed就直接改代码,大概率白忙活。它不是“加个装饰器就能省显存”的轻量工具,而是要重走训练流程的系统级改造。 先检查这三项是否全部满足: ...
用 slots 能有效禁止实例动态添加未声明的属性并降低内存占用,但需显式列出所有允许属性名,且禁用 __dict__;其原理是移除实例的属性字典而改用固定结构体存储。 直接说结论:用 __slots__ 能有效禁止实例动态添加未声明的属性,同时降低内存占用;但它不是“开关式”防护,一旦启用就必须显式列出所有允许的属性名,且会禁用 __dict__。 为什么 __slots__ 会阻止动态添加属性...
Python 3.11 的 frame 对象更轻量,通过重构生命周期与字段布局实现按需分配:基础帧仅保留核心字段(约160字节),异常、调试、生成器等非常规字段延迟动态附加,显著降低高频小函数调用的内存开销。 Python 3.11 的 frame 对象本身更轻量,不是靠“省一点内存”凑出来的优化,而是重构了帧对象的生命周期与字段布局,让每次函数调用默认不分配完整结构。 Frame 对象在 3.1...