Linux多线程与多进程选择取决于任务类型、资源边界和调度目标：Shell适合轻量并发控制，Python适合I/O密集或需共享状态的并行；运维关键在避免争抢、明确生命周期、统一日志与错误处理。

Linux下多线程与多进程不是靠“选一个就好”，而是看任务类型、资源边界和调度目标——Shell适合轻量并发控制，Python适合逻辑复杂、I/O密集或需共享状态的并行调度；运维中真正关键的是避免资源争抢、明确生命周期、统一日志与错误处理。

Shell里安全启动多进程：用wait+信号隔离防失控

Shell本身不支持真正的线程，但可通过子shell后台运行多个进程。常见陷阱是父脚本退出后子进程变孤儿，或并发数失控拖垮系统。

• 用jobs -r实时检查运行中后台任务，配合wait %n精确等待指定作业
• 限制并发数：用semaphore（来自GNU parallel）或简单计数器+trap捕获SIGUSR1控制启停
• 每个子进程开头加set -o pipefail; exec >>/var/log/batch.log 2>&1，确保日志可追溯、错误不静默
• 避免用&直接丢进后台而不记录PID——要用$!捕获并写入临时PID文件，便于后续kill -0校验存活

Python多进程不卡死：绕开GIL、管好内存、别乱共享

Python的multiprocessing模块能真正利用多核，但默认pickle序列化+子进程fork容易引发内存暴涨、句柄泄漏或Worker僵死。

• CPU密集型任务用Process或Pool，别用Thread——GIL让多线程几乎无效
• 传递大数据时，改用multiprocessing.shared_memory（3.8+）或numpy.memmap，避免pickle拷贝
• Worker函数必须是模块级可导入的（不能在if __name__ == '__main__':里定义），否则spawn方式启动失败
• 设置maxtasksperchild=100防止内存碎片累积；用initializer预加载大对象，避免每个Worker重复初始化

混合调度实战：Shell做流程编排，Python做核心计算

典型运维场景如日志分析流水线：Shell负责定时拉取、分片、触发、汇总；Python专注解析、统计、告警。两者通过文件、命名管道或Redis通信，解耦且易调试。

• Shell侧用find /data/logs -mmin -60 -name '*.log' | xargs -P 4 -I {} python3 analyze.py --file {} --output /tmp/res_$$，其中-P 4控并发，$$保临时路径隔离
• Python侧接收参数后，用concurrent.futures.ProcessPoolExecutor(max_workers=2)进一步细分解析任务，避免单文件解析阻塞整条流水线
• 结果统一输出为JSONL格式，Shell最后用jq -s 'reduce .[] as $item ({}; .count += 1 | .total += $item.value)' /tmp/res_* 聚合
• 加一层timeout 300包裹Python调用，超时自动kill，防止某个坏日志拖垮全局

监控与降级：别等OOM才发现调度崩了

并发调度不是启动就完事，得看得见、控得住、退得稳。

• 用pidstat -u -r -p $(pgrep -f 'analyze.py') 2每2秒采样CPU/内存，配合awk触发阈值告警
• Python中用psutil.Process().memory_info().rss在Worker内定期自检，超限主动raise SystemExit，由主进程捕获重启
• Shell脚本开头加ulimit -u 512 -v $((1024*1024*2))限制用户进程数和虚拟内存，防雪崩
• 准备降级开关：比如检测到负载＞0.8，自动切到--single-thread模式串行执行，保证结果正确性优先于速度

# linux  # shell脚本  # ai  # 虚拟内存  # 大数据  # json  # js  # redis  # python  # red