爬虫专用代理IP调度层：IP池、权重、熔断与隔离怎么写-易代理

客户运维最常问的一句话是：IP买了，为什么爬虫还是被封。答案通常在调度层，不在IP本身。爬虫专用代理IP如果只做“随机取一个”，那和抽奖没区别。

IP池不是列表，是状态机

我们线上用的结构大概是五块：可用池、占用池、临时黑名单、永久黑名单、质量评分。可用池放当前能调的出口，占用池记录这个出口正跑哪个站点，临时黑名单放被限流的，永久黑名单放连续探测失败的，质量评分存成功率、延迟、封禁次数。

权重怎么算才不拍脑袋

新IP进来默认中等权重。连续成功一次加一点，超时一次减一点，返回验证页直接进临时黑名单。调度时按权重采样，不是按顺序轮询。这样高质量出口会被多用，脏出口会自动沉下去。

熔断比更换更重要

很多新手写法是请求失败了就换IP，但没区分失败类型。连接超时、403、429、HTML里出现验证码，这几种含义完全不一样。连接超时可能是节点烂，403可能是目标站频控，429是明确限流，验证码说明环境已经被识别。爬虫专用代理IP调度层要先分类，再决定是换IP、降并发、停任务还是打人工告警。

业务隔离别省

价格监控、舆情采集、搜索排名观测、竞品官网抓取，这些任务别混同一个出口池。核心业务用独享资源，普通业务用共享资源，测试任务单独开一组。我们踩过坑：测试脚本把共享池打挂了，结果价格监控也跟着掉数据，老板直接找过来。

一段简化版调度思路

pythondef pick_proxy(task_type):
    pool = get_pool(task_type)
    proxy = weighted_choice(pool)    if probe(proxy) is False:
        move_to_temp_ban(proxy)        return pick_proxy(task_type)    return proxy

真实项目里还要加锁、加过期时间、加监控埋点。爬虫专用代理IP真正值钱的地方，不是地址数量，而是你有没有能力让对的任务用到对的出口。

给对接同学的建议

先别急着堆IP，先把调度层画出来：池子有几层、失败怎么分、权重怎么变、业务怎么隔离、监控怎么报警。这四张图画完，再谈扩容。很多项目不是IP不够，是调度太原始。