Python爬虫经典案例第46篇：学术论文爬取——arXiv论文预印本采集实战
1. 项目背景与目标
1.1 arXiv简介
arXiv是全球最大的学术论文预印本平台，由康奈尔大学图书馆维护，成立于1991年。它涵盖物理学、数学、计算机科学、统计学、经济学等多个学科领域，拥有超过200万篇论文，是科研人员获取最新研究成果的重要渠道。
网站特点：
- 海量论文资源（200万+）
- 覆盖多学科领域（physics, math, cs, stat, econ等）
- 提供官方API接口
- 支持多种格式下载（PDF, HTML, source）
- 强大的搜索功能
- 反爬机制相对宽松
1.2 爬取目标
本实战项目将实现以下功能：
| 功能模块 | 描述 |
|---|---|
| 论文搜索 | 按关键词、作者、标题搜索论文 |
| 论文列表 | 获取分类论文列表、最新论文、热门论文 |
| 论文详情 | 提取论文元数据（标题、作者、摘要、分类、提交日期等） |
| 论文下载 | 下载PDF全文 |