一、问题现象

在运行爬虫任务时，突然大量请求返回 HTTP 403 Forbidden：

如果你用自建代理池做爬虫，几乎一定会遇到这个问题。403 不等于 IP 彻底报废，很多时候是被临时标记或阶段性封禁，处理得当完全可以恢复。

二、被封后的紧急恢复方案（分等级）

2.1 冷却恢复法（最简单）

大多数网站的封禁策略是阶梯式的——短时间密集请求触发临时封禁，冷却后可自动恢复。

import time import random def recover_by_cooldown(proxy, base_wait=60): """ 将疑似被封的代理放入冷却队列 base_wait: 基础冷却时间（秒） """ cooldown_time = base_wait * random.uniform(0.8, 1.2) # 加抖动 print(f"[冷却] 代理 {proxy} 冷却 {cooldown_time:.0f} 秒") time.sleep(cooldown_time) # 冷却后用低优先级试探请求验证 if verify_proxy(proxy, test_url="https://httpbin.org/ip"): return True return False

适用场景：目标网站使用基于频率的临时封禁（如 1 分钟超过 30 次请求即封 5 分钟）。

2.2 代理存活探测 + 自动摘除

将 403 响应作为信号，触发自动摘除机制：

class ProxyManager: def __init__(self): self.proxy_pool = {} # proxy -> status self.blacklist = set() def mark_failed(self, proxy, status_code): if status_code == 403: # 增加失败计数 self.proxy_pool[proxy] = self.proxy_pool.get(proxy, 0) + 1 if self.proxy_pool[proxy] >= 3: # 连续 3 次 403，移入黑名单并触发恢复流程 self.blacklist.add(proxy) self.schedule_recovery(proxy) return False elif status_code == 200: # 成功后重置计数 self.proxy_pool[proxy] = 0 def schedule_recovery(self, proxy): """安排代理在 N 分钟后重新检测""" # 延迟任务：30分钟后重新探测 pass

2.3 更换请求指纹（进阶）

很多 403 不是封 IP，而是检测到爬虫指纹。自建代理池用户最容易忽略这一点。

import requests from fake_useragent import UserAgent def build_stealth_session(proxy): session = requests.Session() session.proxies = {"http": proxy, "https": proxy} # 1. 随机 UA session.headers.update({ "User-Agent": UserAgent().random, "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8", "Accept-Encoding": "gzip, deflate, br", }) # 2. TLS 指纹（需要 tls-client 或 curl_cffi） # 推荐使用 curl_cffi 替代 requests return session

很多情况下，换了指纹 + 同一个 IP 就恢复了——因为网站封的是请求特征而非 IP 本身。

2.4 更换 IP 段 + 子网隔离

如果目标网站封 IP 段（/24），需要：

• 从不同 C 段取代理
• 同一 C 段的代理不要同时使用
• 使用ipcalc做子网规划

# 查看当前代理的 C 段分布 for ip in $(cat proxies.txt); do echo "$ip" | awk -F. '{print $1"."$2"."$3}' done | sort | uniq -c | sort -rn

目标：每个 C 段最多同时活跃 2-3 个代理。

三、长效预防机制（架构层面）

3.1 代理分级管理

不要所有请求共用一个代理池。按信任度分级：

3.2 自适应请求节流

根据响应状态码动态调整速度：

class AdaptiveThrottle: def __init__(self, base_delay=1.0): self.base_delay = base_delay self.consecutive_errors = 0 def get_delay(self): # 每出现一次错误，延迟指数增长 if self.consecutive_errors > 0: return self.base_delay * (2 ** self.consecutive_errors) return self.base_delay * random.uniform(0.8, 1.5) def record_response(self, status_code): if status_code == 403: self.consecutive_errors += 1 elif status_code == 200: self.consecutive_errors = max(0, self.consecutive_errors - 1)

3.3 IP 轮换策略

import random from collections import deque class RotationStrategy: def __init__(self, proxies): self.available = list(proxies) self.active = {} # proxy -> last_used_time self.min_interval = 10 # 同一 IP 最短复用间隔（秒） def get_next(self): now = time.time() # 过滤掉还在冷却期的代理 candidates = [ p for p in self.available if p not in self.active or (now - self.active[p]) > self.min_interval ] if not candidates: # 都冷却中，等待 wait = min(self.active.values()) + self.min_interval - now if wait > 0: time.sleep(wait) return self.get_next() chosen = random.choice(candidates) self.active[chosen] = time.time() return chosen

3.4 目标网站风控摸底

在正式爬取前，先用少量代理做压力测试，摸清阈值：

def probe_rate_limit(url, proxy, start_rate=1): """探测目标网站的单 IP 请求上限""" rate = start_rate while True: success = 0 total = 20 for _ in range(total): if request_with_proxy(url, proxy): success += 1 time.sleep(1 / rate) success_rate = success / total if success_rate < 0.8: return rate / 2 # 建议的安全速率 rate += 1

四、实战案例：一次 403 大爆发的恢复全过程

背景：Scrapy 爬虫采集某电商平台商品数据，运行 2 小时后突然 90% 请求返回 403。

排查：

1. 检查代理池状态 → 80% 代理标记为 403，并非个别 IP 问题
2. 更换 UA 和请求头 → 仍然 403（排除指纹检测）
3. 检查请求频率 → 平均 1 req/s，偏高
4. 换浏览器手动访问 → 正常（未被 ban IP）

结论：触发了基于请求特征的速率限制，IP 本身未被封禁。

恢复步骤：

1. 立即停止所有爬虫任务（紧急制动）
2. 将频率降到 1 req/10s + 随机抖动
3. 更换所有请求的 TLS 指纹（改用curl_cffi）
4. 30 分钟后逐步恢复，频率控制在 1 req/5s

结果：2 小时后错误率降到 3% 以下。

五、总结

记住一个核心原则：网站封 403 通常不是因为"你是代理"，而是因为"你的行为不像真人"。做好指纹伪装 + 合理的请求节奏，自建代理池完全可以稳定运行。