在Python网络请求生态中，urllib和urllib3是两个极易混淆的基础库。很多开发者入门时只学requests，却不知道requests的底层完全基于urllib3封装；而urllib作为Python内置标准库，在轻量脚本、无依赖环境中有着不可替代的作用。
两者并非迭代关系，而是定位完全不同的两套HTTP实现：urllib是官方标准库，胜在零依赖、原生可用；urllib3是第三方工业级库，主打高性能、连接池、高并发，是绝大多数Python网络请求框架的底层基石。
本文从模块架构、底层原理、实战用法三个维度，完整拆解两个库的核心能力，对比各自的适用场景与最佳实践。
一、先理清关系：urllib / urllib3 / requests 三者定位
很多新手的第一个误区：以为urllib3是urllib的升级版本。实际上三者是完全独立的三层关系：
| 库 | 定位 | 特点 | 典型场景 |
|---|---|---|---|
| urllib | Python标准库，内置无需安装 | 功能基础，API偏底层，无第三方依赖 | 极简脚本、离线环境、快速验证 |
| urllib3 | 第三方底层HTTP库 | 连接池、线程安全、重试机制、HTTPS完善 | 高性能爬虫、框架底层、精细控制请求 |
| requests | 第三方业务级HTTP库 | 基于urllib3封装，API简洁人性化 | 日常业务开发、接口调用、普通爬虫 |
简单来说：requests 好用但封装深，urllib3 性能强但偏底层，urllib 无依赖但功能弱。做普通业务用requests足够，做高性能爬虫、写框架要懂urllib3，无依赖环境只能用urllib。
二、urllib 标准库：原生HTTP能力的基石
urllib是Python自带的标准库，不需要pip install，任何Python环境都能直接使用。它的功能覆盖URL解析、请求发送、异常处理、爬虫规则校验，是学习HTTP协议的最佳入门工具。
2.1 四大核心模块
urllib不是单一模块，而是由四个子模块组成的工具集：
- urllib.request：核心请求模块，负责构建和发送HTTP请求，最常用
- urllib.parse：URL解析与编码模块，处理参数编码、URL拼接、中文转义
- urllib.error：异常定义模块，包含URLError、HTTPError等异常类
- urllib.robotparser：robots.txt解析模块，判断页面是否允许爬取
2.2 底层执行流程
urllib.request.urlopen()是最常用的入口，它的底层基于Handler处理器链 + Opener调度器的可扩展架构：
- 构建Request对象，封装URL、请求头、请求体等信息
- OpenerDirector按顺序调用注册的各类Handler
- HTTPHandler：处理普通HTTP请求
- HTTPSHandler：处理HTTPS SSL验证
- ProxyHandler：处理代理转发
- CookieJar：处理Cookie持久化
- 底层基于
socket建立TCP连接，发送HTTP报文，接收响应 - 封装为addinfourl响应对象返回，支持流式读取响应体
这种Handler链的设计优势是可扩展，需要加代理、加Cookie、加鉴权时，只需要新增对应Handler并注册即可。
2.3 核心实战用法
1. 基础GET请求
fromurllibimportrequest# 最简单的GET请求withrequest.urlopen("https://www.example.com",timeout=5)asresp:print("状态码：",resp.status)print("响应头：",resp.getheaders())# 读取响应体，默认是bytes，需decodehtml=resp.read().decode("utf-8")print(html[:200])2. 带参数+请求头的请求
urllib不会自动处理中文编码，必须手动用urlencode转义：
fromurllibimportrequest,parse url="https://www.example.com/search"# 参数字典转URL编码字符串params=parse.urlencode({"keyword":"Python爬虫","page":1})full_url=f"{url}?{params}"# 自定义请求头，伪装浏览器headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36","Referer":"https://www.example.com/"}# 构建Request对象req=request.Request(full_url,headers=headers)withrequest.urlopen(req,timeout=5)asresp:print(resp.read().decode("utf-8"))3. POST表单请求
fromurllibimportrequest,parse data=parse.urlencode({"username":"test","password":"123456"}).encode("utf-8")req=request.Request("https://www.example.com/login",data=data,method="POST")withrequest.urlopen(req)asresp:print(resp.read().decode("utf-8"))4. 异常处理
爬虫场景必须做异常捕获，避免单次请求失败导致整个程序崩溃：
fromurllibimportrequest,errortry:resp=request.urlopen("https://www.example.com/404",timeout=5)excepterror.HTTPErrorase:# HTTP状态码异常，如404、500、403print(f"HTTP错误：状态码{e.code}，原因{e.reason}")excepterror.URLErrorase:# 网络层面错误，如断网、域名不存在、超时print(f"URL错误：{e.reason}")else:print("请求成功：",resp.status)5. 设置代理
fromurllibimportrequest proxy_handler=request.ProxyHandler({"http":"http://127.0.0.1:7890","https":"http://127.0.0.1:7890"})# 构建自定义Openeropener=request.build_opener(proxy_handler)# 安装为全局Opener，后续urlopen都会走代理request.install_opener(opener)resp=request.urlopen("https://www.example.com")2.4 urllib的核心局限性
- 无连接池：每次请求都新建TCP连接，无法复用，高并发下性能极差
- HTTPS支持弱：SSL验证配置繁琐，不支持现代TLS特性
- 无原生重试：网络波动、超时没有自动重试机制，需要手动实现
- API繁琐：编码、请求头、Cookie都需要手动处理，代码冗余度高
- 线程不安全：多线程并发场景下容易出现状态冲突
正因如此，生产环境几乎不会直接用urllib写爬虫，它更多用于轻量脚本、教学演示、无依赖环境。
三、urllib3：工业级高性能HTTP客户端
urllib3是Python生态中最主流的底层HTTP库，requests、aiohttp（部分）、Scrapy等知名框架底层都依赖它。它专门解决了urllib的性能短板，主打连接池复用、线程安全、自动重试、完整HTTPS支持，是高并发爬虫的首选底层库。
3.1 核心特性
- HTTP/HTTPS连接池：TCP连接复用，减少三次握手开销，吞吐量提升数倍
- 线程安全：连接池设计保证多线程并发下安全无竞争
- 智能重试：支持按状态码、异常类型配置重试次数与退避策略
- 完整HTTPS：支持证书验证、客户端证书、TLS版本配置
- 文件上传/下载：原生支持multipart/form-data文件上传、流式下载
- 代理支持：支持HTTP/HTTPS/SOCKS代理，配合连接池使用
3.2 底层架构与连接池原理
urllib3的性能优势，核心来自于分层连接池设计：
核心工作机制：
- PoolManager：全局入口，自动按域名管理不同的连接池
- ConnectionPool：每个域名对应一个连接池，维护多个空闲TCP连接
- 请求流程：发起请求时，先从池子里找空闲连接，有就直接复用；没有就新建连接；请求结束后，连接不关闭，放回池中等待下次复用
- 连接复用：同一个域名的多次请求，复用同一个TCP连接，省去三次握手和TLS握手开销，高并发下性能提升3~10倍
3.3 核心实战用法
安装：
pipinstallurllib31. 基础请求（连接池自动生效）
importurllib3# 创建全局连接池管理器，自动按域名管理连接http=urllib3.PoolManager(num_pools=10,# 最多缓存多少个不同域名的连接池maxsize=5,# 单个域名的最大连接数timeout=5.0,# 全局超时时间retries=3# 自动重试次数)# 发送GET请求resp=http.request("GET","https://www.example.com",headers={"User-Agent":"Mozilla/5.0"},fields={"keyword":"test","page":1}# 自动拼接到URL)print("状态码：",resp.status)print("响应体：",resp.data.decode("utf-8"))关键注意：不要每次请求都新建PoolManager，全局初始化一次复用即可，否则连接池完全失效，性能还不如urllib。
2. POST请求
# 表单格式POSTresp=http.request("POST","https://www.example.com/login",fields={"username":"test","password":"123456"})# JSON格式POSTimportjson resp=http.request("POST","https://www.example.com/api",headers={"Content-Type":"application/json"},body=json.dumps({"key":"value"}))3. 流式下载大文件
resp=http.request("GET","https://example.com/large_file.zip",preload_content=False)withopen("file.zip","wb")asf:# 分块读取，不占用大量内存forchunkinresp.stream(1024*1024):# 每次读1MBf.write(chunk)resp.release_conn()# 释放连接回连接池4. 配置代理
fromurllib3importProxyManager http=ProxyManager("http://127.0.0.1:7890")resp=http.request("GET","https://www.example.com")3.4 进阶：重试策略与连接池调优
这是urllib3区别于其他库的核心能力，也是高性能爬虫的必调参数。
自定义重试策略
fromurllib3.utilimportRetry# 配置重试规则retry_strategy=Retry(total=5,# 总重试次数backoff_factor=0.5,# 退避因子，重试间隔：0.5, 1, 2, 4...秒status_forcelist=[429,500,502,503,504],# 哪些状态码重试allowed_methods=["GET","HEAD"]# 只对幂等请求重试，POST默认不重试)http=urllib3.PoolManager(retries=retry_strategy)连接池关键参数调优
| 参数 | 作用 | 推荐值 |
|---|---|---|
maxsize | 单个域名的最大空闲连接数 | 并发数的1~1.5倍，单IP不要超过10 |
block | 连接耗尽时是否阻塞等待 | 爬虫建议设为True，避免瞬间创建大量连接 |
num_pools | 最多缓存多少个不同域名的连接池 | 根据目标域名数量设置，默认10 |
timeout | 请求超时时间 | 建议3~10秒，避免长时间挂起 |
3.5 为什么生产环境都用urllib3
对比原生urllib，urllib3在高并发场景下的优势是碾压级的：
- 连接复用减少70%以上的TCP握手开销
- 连接池天然支持多线程并发，不用自己加锁
- 内置重试+退避，应对网络波动和限流更稳健
- 完善的HTTPS处理，符合现代安全标准
四、横向对比：urllib vs urllib3 怎么选
| 维度 | urllib | urllib3 |
|---|---|---|
| 依赖 | 标准库，零依赖 | 第三方库，需pip安装 |
| 连接池 | 无，每次新建连接 | 有，自动按域名复用 |
| 线程安全 | 不安全 | 安全 |
| 自动重试 | 无，需手动实现 | 原生支持，可配置 |
| HTTPS支持 | 基础，配置繁琐 | 完善，支持现代TLS |
| API易用性 | 偏底层，代码繁琐 | 中等，比urllib简洁 |
| 性能 | 低，适合低并发 | 高，适合高并发爬虫 |
| 适用场景 | 轻量脚本、无依赖环境、教学 | 生产环境、高性能爬虫、框架底层 |
五、最佳实践与踩坑指南
5.1 选型原则
- 极简脚本/离线环境：用urllib，不用装任何包，一行代码发请求
- 普通业务开发/接口调用：直接用requests，基于urllib3封装，API最友好
- 高性能爬虫/框架开发：直接用urllib3，精细控制连接池、重试、超时，性能最优
- 异步高并发：搭配aiohttp，异步生态下的对应方案
5.2 高频踩坑
urllib中文编码坑
URL中的中文、特殊字符必须用urllib.parse.quote()或urlencode()编码，否则会报错。不要直接拼接中文字符串到URL里。urllib3响应体只读一次
resp.data只能读取一次，读完流就空了；需要多次使用请先保存到变量。流式下载时记得调用release_conn()归还连接，否则连接池会泄漏。不要反复创建PoolManager
这是新手最常见的错误：把PoolManager()写在循环里，每次请求新建一个管理器，连接池完全失效，性能还不如urllib。正确做法是全局初始化一次，全程复用。重试不要滥用
POST请求不要随便开重试，容易造成重复提交；重试次数不要太多，配合退避策略，避免把目标服务器打挂。
5.3 爬虫场景的额外建议
- 控制单域名并发数，配合连接池
maxsize参数，不要短时间发起大量请求 - 必须设置合理的超时和重试，避免请求挂死
- 优先使用会话级连接池，复用Cookie和连接，降低被封禁概率
- 遵守目标网站的爬虫规则，控制抓取频率，合法合规使用技术
最后
urllib和urllib3分别代表了Python网络请求的两个层级：一个是标准库的基础能力，一个是工业级的高性能实现。日常开发可以只依赖requests，但理解底层的urllib3连接池原理，能帮你写出性能更好、更稳定的爬虫程序；而掌握urllib，则能让你在任何Python环境下都能快速实现网络请求。
技术没有绝对的优劣，只有场景的适配。根据项目需求选择合适的工具，才是最高效的做法。