1. 项目概述：从“电影天堂”说起，为什么分页爬取是必修课

最近在整理自己的电影收藏库，想找一些经典老片的高清资源，很自然地就想到了“电影天堂”这类老牌资源站。手动一页页翻找效率太低，于是顺手写了个Python脚本来帮忙。这个过程中，“分页爬取”这个看似基础的技术点，却藏着不少新手容易踩的坑，也恰恰是检验爬虫功力的试金石。今天，我就结合“电影天堂”这个具体案例，把分页爬取从思路到细节，再到避坑技巧，完整地拆解一遍。无论你是刚接触Python爬虫，想找个实战项目练手，还是已经写过一些脚本，但在处理多页数据时总感觉代码不够优雅、健壮性不足，这篇文章都能给你提供一套可直接复用的解决方案和深度思考。

“电影天堂”这类网站的结构非常典型：一个列表页展示多部电影，通过底部的“下一页”链接或页码导航来承载海量数据。我们的目标很明确：自动化地遍历所有分页，高效、稳定地提取每一页上的电影信息（如名称、下载链接、发布时间等）。这不仅仅是写个for循环那么简单，它涉及到请求管理、页面解析、异常处理、数据存储以及最重要的——对网站反爬机制的尊重与应对。接下来，我会带你一步步构建一个健壮的分页爬虫，并重点分享那些在官方教程里很少提及的实战经验。

2. 核心思路与架构设计：如何优雅地“翻页”

在动手写代码之前，理清思路至关重要。一个混乱的爬虫架构，后期维护和调试会是噩梦。对于分页爬取，核心要解决三个问题：如何发现下一页、如何循环遍历、如何应对意外。

2.1 分页策略分析：寻找翻页的“钥匙”

首先，我们需要观察“电影天堂”列表页的分页机制。常见的有以下几种，处理方式也各异：

1. 显式页码链接：页面底部有清晰的“1,2,3,...下一页”的链接。这是最简单的情况，我们只需要解析出“下一页”的href属性，或者直接根据页码规律拼接URL（例如?page=2）。
2. “加载更多”按钮：点击后通过Ajax动态加载数据。这需要分析网络请求，找到真实的API接口，通常是一个返回JSON数据的POST或GET请求，参数中会包含页码或上一批数据的标识。
3. 滚动加载：滚动到底部自动加载。这本质上是Ajax加载的一种，需要模拟滚动行为或直接找到分页的API。

以我这次爬取的“电影天堂”某个板块为例，它属于第一种情况，是经典的URL参数分页，比如第一页是https://www.dytt89.com/list/1/，第二页是https://www.dytt89.com/list/2/。这种规律性强的分页，让我们可以轻松地通过循环生成所有页面的URL。但切记，不能盲目地一直生成页码，必须设置合理的终止条件，否则可能陷入死循环或请求到不存在的页面（返回404或空列表）。一个稳妥的方法是：在解析每一页时，同时判断是否存在“下一页”链接。如果不存在，或者连续两页解析到的电影条目数为0，则终止爬取。

2.2 技术栈选型：为什么是它们？

工欲善其事，必先利其器。以下是本次项目的核心库及其选型理由：

• Requests：发送HTTP请求的不二之选。比标准库的urllib更简洁易用，社区活跃，文档完善。对于“电影天堂”这类静态页面，requests.get()足矣。
• BeautifulSoup4 (bs4)：HTML解析神器。相较于正则表达式，它用起来更直观，容错性更好；相较于lxml，它的API对新手更友好。对于结构不算特别复杂的页面，bs4是快速开发的最佳选择。
• 正则表达式 (re)：作为bs4的补充。当需要从杂乱的文本中（比如一段JavaScript代码或某个标签的特定属性值）提取非常规信息时，正则表达式是利器。但原则是：能用bs4就不用re，因为re的维护成本更高。
• Pandas & CSV/JSON：数据存储。对于中小规模数据，直接保存为CSV或JSON文件是最轻量、最通用的方式。Pandas的DataFrame可以方便地进行数据清洗和转换，最后用to_csv一键保存。如果数据量极大，可以考虑数据库（如SQLite、MySQL），但本项目暂不涉及。

注意：在正式编写爬虫前，务必仔细阅读目标网站的robots.txt文件（通常在网站根目录，如https://www.example.com/robots.txt），并遵守其中关于爬取频率和禁止爬取目录的规定。这是网络爬虫的道德和法律底线。

2.3 项目结构设计

清晰的代码结构是项目可维护性的基础。建议按如下方式组织你的脚本：

movie_paradise_crawler/ ├── crawler.py # 主爬虫逻辑，包含爬取、解析、分页控制 ├── parser.py # 页面解析函数，专门负责从HTML中提取数据 ├── utils.py # 工具函数，如请求头生成、延时、日志记录 ├── config.py # 配置文件，存放URL模板、请求头、数据库连接等常量 ├── requirements.txt # 项目依赖库列表 └── data/ # 存储爬取结果的目录 └── movies_20240515.csv

这种模块化设计使得代码功能分离，比如当网站改版导致解析规则变化时，你只需要修改parser.py，而无需动主流程。

3. 实战拆解：构建健壮的分页爬虫

现在，我们进入实战环节。我将分步详解，并附上关键代码和注释。

3.1 环境准备与依赖安装

首先，确保你的Python环境（建议3.7以上）已就绪。使用pip安装必要的库：

pip install requests beautifulsoup4 pandas lxml

这里安装了lxml是因为BeautifulSoup推荐用它作为解析引擎，速度比默认的html.parser更快。

3.2 请求头设置与会话维持

直接使用requests.get()而不做任何伪装，很容易被网站识别为爬虫并拒绝服务。设置一个合理的请求头是第一步。

# config.py 或 crawler.py 开头 HEADERS = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Connection': 'keep-alive', }

为什么是这些字段？

• User-Agent：模拟真实浏览器，这是最基本的伪装。可以从自己浏览器的开发者工具中复制。
• Accept：告诉服务器客户端可以处理哪些类型的响应。
• Accept-Language：声明优先的语言，使请求更像来自真实用户。
• Connection:keep-alive可以复用TCP连接，稍微提升请求效率。

此外，建议使用requests.Session()来维持一个会话。会话对象可以自动处理cookies，在多次请求间保持某些状态，并且可以方便地设置默认请求头。

import requests session = requests.Session() session.headers.update(HEADERS)

3.3 核心爬取循环与分页逻辑

这是爬虫的“心脏”。我们以URL模式已知的情况为例。

# crawler.py import time from utils import make_request, parse_movie_list # 假设这些函数在别的模块 from config import BASE_URL_TEMPLATE # 例如 "https://www.dytt89.com/list/{page}/" def crawl_all_pages(start_page=1, max_pages=50): """ 爬取所有分页 :param start_page: 起始页码 :param max_pages: 最大爬取页数，防止意外无限循环 :return: 所有电影数据的列表 """ all_movies = [] current_page = start_page consecutive_empty_pages = 0 # 记录连续空页数，作为终止条件之一 while current_page <= max_pages: print(f"正在爬取第 {current_page} 页...") # 1. 构建当前页URL url = BASE_URL_TEMPLATE.format(page=current_page) # 2. 发送请求（包含在工具函数中的异常处理和延时） html_content = make_request(session, url) if html_content is None: print(f"第 {current_page} 页请求失败，跳过。") current_page += 1 continue # 3. 解析当前页，获取电影列表和下一页信息 movies_on_page, has_next_page = parse_movie_list(html_content) # 4. 处理解析结果 if movies_on_page: all_movies.extend(movies_on_page) print(f" 成功获取 {len(movies_on_page)} 条电影信息。") consecutive_empty_pages = 0 # 重置连续空页计数 else: print(f" 第 {current_page} 页未解析到电影数据。") consecutive_empty_pages += 1 # 5. 判断终止条件 # 条件1: 解析函数明确告知没有下一页 # 条件2: 连续3页都是空的，可能已经爬完了或遇到异常结构 if not has_next_page or consecutive_empty_pages >= 3: print(f"分页爬取结束。最后一页为第 {current_page} 页。") break # 6. 准备下一页 current_page += 1 # 重要：请求间延时，避免对服务器造成压力 time.sleep(1.5) # 延时1.5秒，这是一个比较保守友好的值 return all_movies

关键点解析：

1. max_pages安全阀：这是一个非常重要的防护措施。即使你的终止条件逻辑有bug，它也能保证爬虫不会无限运行下去。
2. 连续空页判断：仅靠“是否有下一页链接”有时不可靠。网站最后一页可能仍有“下一页”按钮（但链接无效或指向首页），或者中间某些页面可能临时无数据。连续多页无数据是更可靠的终止信号。
3. 延时 (time.sleep)：这是体现爬虫道德的关键。不加延时的高频请求等同于攻击，可能导致你的IP被封。延时时间（1-3秒）需要根据网站情况和robots.txt的建议调整。

3.4 页面解析与数据提取

解析是爬虫中最繁琐也最易变的部分。我们需要仔细分析“电影天堂”列表页的HTML结构。

假设我们通过浏览器开发者工具检查，发现每个电影条目在一个<div class="movie-item">里，里面包含了标题链接和详情。

# parser.py from bs4 import BeautifulSoup import re def parse_movie_list(html_content): """ 解析列表页HTML，提取当前页电影信息和下一页状态。 :param html_content: 网页HTML文本 :return: (movies_list, has_next_page) """ soup = BeautifulSoup(html_content, 'lxml') movies_list = [] has_next_page = True # 1. 查找所有电影条目容器 movie_items = soup.find_all('div', class_='movie-item') # 根据实际class调整 # 如果上述方法找不到，可能需要用更灵活的选择器，如 soup.select('.co_content8 ul table a.ulink') if not movie_items: # 尝试其他可能的选择器，或者直接返回空 return movies_list, False for item in movie_items: movie_info = {} # 2. 提取标题和详情页链接 title_tag = item.find('a', title=True) # 找带有title属性的a标签 if title_tag: movie_info['title'] = title_tag.get('title') or title_tag.text.strip() movie_info['detail_url'] = title_tag.get('href') # 注意：href可能是相对路径，需要补全为绝对URL if movie_info['detail_url'] and not movie_info['detail_url'].startswith('http'): from urllib.parse import urljoin # 需要一个base_url来补全，可以从传入的上下文或config获取 movie_info['detail_url'] = urljoin('https://www.dytt89.com', movie_info['detail_url']) # 3. 提取其他信息，如评分、年代、简介（可能在同一容器的其他标签里） desc_tag = item.find('p', class_='desc') if desc_tag: movie_info['description'] = desc_tag.text.strip()[:100] # 截取前100字符 # 4. 将提取的信息加入列表 if movie_info: # 确保不是空字典 movies_list.append(movie_info) # 5. 判断是否有下一页 # 方法一：查找“下一页”按钮或链接 next_tag = soup.find('a', text=re.compile(r'下一页|Next')) # 方法二：查找页码区域，看当前页是否是最后一页（根据网站结构） if not next_tag: has_next_page = False # 更严谨的做法：检查下一页链接是否有效（例如，不是`javascript:void(0)`） elif next_tag.get('href') in ['#', 'javascript:void(0)']: has_next_page = False return movies_list, has_next_page

实操心得：

• 选择器的稳健性：不要使用过于脆弱的选择器，比如依赖固定的标签索引（如div:nth-child(5)）。尽量使用具有唯一性的class或id。如果网站没有好的class，可以考虑用CSS Selector组合多个特征。
• 防御性编程：在每次调用.find()或.get()后，都要假设它可能返回None，并做好处理。使用.get(attr, default)方法提供默认值。
• 相对路径转绝对路径：这是新手常忘的坑。提取的链接很可能是/html/gndy/dyzz/20240515/63411.html这样的相对路径，必须用urljoin与基础URL拼接才能用于后续请求。

3.5 数据存储与持久化

爬取到的数据最好立即保存，避免因程序异常导致全部丢失。可以采用增量保存的方式。

# 在 crawler.py 的循环中或主函数中 import pandas as pd import os def save_to_csv(data, filename='movies.csv'): """将数据追加或保存到CSV文件""" df = pd.DataFrame(data) file_exists = os.path.isfile(filename) # mode='a' 追加， header=not file_exists 表示如果文件不存在就写入表头 df.to_csv(filename, mode='a', index=False, header=not file_exists, encoding='utf-8-sig') print(f"数据已保存至 {filename}") # 在主循环中，可以每爬完一页或几页就保存一次 all_movies_data = [] for page in range(1, 10): movies = crawl_one_page(page) all_movies_data.extend(movies) if page % 5 == 0: # 每5页保存一次 save_to_csv(all_movies_data, 'temp_movies.csv') all_movies_data = [] # 清空内存中的数据，防止占用过高 # 最后再保存剩余的数据 if all_movies_data: save_to_csv(all_movies_data, 'final_movies.csv')

使用utf-8-sig编码可以确保在Excel中打开CSV文件时，中文字符能正常显示。

4. 进阶技巧与深度优化

一个能跑起来的爬虫只是开始，一个能在复杂网络环境中稳定、高效、长期运行的爬虫才是目标。

4.1 异常处理与重试机制

网络请求充满不确定性：连接超时、服务器返回5xx错误、页面结构临时改变等。我们必须为这些情况做好准备。

# utils.py import requests from requests.exceptions import RequestException, Timeout, ConnectionError import time def make_request(session, url, retries=3, delay=5): """ 带重试和异常处理的请求函数 :param session: requests.Session 对象 :param url: 请求URL :param retries: 最大重试次数 :param delay: 重试前等待的秒数 :return: 成功则返回响应文本，失败返回None """ for attempt in range(retries): try: # 可以在这里随机切换User-Agent或代理IP（如果需要） response = session.get(url, timeout=10) # 设置超时时间 response.raise_for_status() # 如果状态码不是200，抛出HTTPError异常 # 检查内容是否有效，例如是否包含特定的错误提示（如“验证码”） if "验证码" in response.text: print(f"请求 {url} 时触发验证码，停止重试。") return None return response.text except Timeout: print(f"请求 {url} 超时 (尝试 {attempt + 1}/{retries})") except ConnectionError: print(f"连接 {url} 失败 (尝试 {attempt + 1}/{retries})") except RequestException as e: print(f"请求 {url} 发生错误: {e} (尝试 {attempt + 1}/{retries})") except Exception as e: print(f"未知错误: {e} (尝试 {attempt + 1}/{retries})") if attempt < retries - 1: print(f"等待 {delay} 秒后重试...") time.sleep(delay) delay *= 1.5 # 指数退避，避免加重服务器负担 else: print(f"请求 {url} 失败，已达最大重试次数。") return None

指数退避：每次重试前等待的时间逐渐增加（例如delay *= 1.5），这是一种良好的网络公民行为，避免在服务器暂时故障时对其进行“风暴”式重试。

4.2 应对反爬策略

“电影天堂”这类站点的反爬可能不算严厉，但了解常见手段有备无患。

• User-Agent轮换：准备一个列表，每次请求随机选取一个。

  USER_AGENTS = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) ...', # ... 更多UA ] session.headers['User-Agent'] = random.choice(USER_AGENTS)

• 请求速率限制：我们已经做了，就是time.sleep。更精细的做法可以控制每秒请求数(QPS)。
• IP代理池：如果单个IP被封锁，就需要使用代理。维护一个可靠的代理IP池是一个复杂的课题，涉及代理的获取、验证、调度。对于个人小规模爬取，通常不需要走到这一步，保持礼貌的爬取间隔是关键。
• 处理Cookie和Session：使用requests.Session()会自动管理。某些网站可能需要先访问首页获取初始Cookie。
• JavaScript渲染：如果目标数据是通过JS动态加载的，requests+BeautifulSoup就无能为力了。这时需要用到Selenium或Playwright这类浏览器自动化工具，或者找到并模拟背后的API调用。这会大大增加复杂度和资源消耗。

4.3 增量爬取与断点续传

对于需要定期更新的爬虫，每次都全量爬取是低效的。我们需要记录上次爬取的位置。

• 基于页码/ID：将最后成功爬取的页码或最后一条数据的ID记录到文件或数据库。下次启动时从该点之后开始。
• 基于数据哈希：计算每条数据的哈希值（如MD5），与已存储的数据对比，只爬取新的。
• 状态文件：简单场景下，可以创建一个state.json文件，记录last_page和last_update_time。

# 示例：简单的断点续传 import json import os STATE_FILE = 'crawler_state.json' def load_state(): if os.path.exists(STATE_FILE): with open(STATE_FILE, 'r', encoding='utf-8') as f: return json.load(f) return {'last_page': 0} def save_state(page): with open(STATE_FILE, 'w', encoding='utf-8') as f: json.dump({'last_page': page}, f) # 在主函数中 state = load_state() start_page = state['last_page'] + 1 if state['last_page'] > 0 else 1 # ... 开始爬取 # 每成功爬取一页，就更新状态 save_state(current_page)

5. 常见问题排查与调试技巧

即使思路清晰，代码严谨，在实际运行中还是会遇到各种问题。这里记录一些典型场景和排查方法。

5.1 问题速查表

5.2 调试心得：打印的艺术

在爬虫开发中，print是你最好的朋友。关键位置一定要打印状态信息：

print(f"[DEBUG] 正在请求URL: {url}") print(f"[DEBUG] 响应状态码: {response.status_code}") print(f"[DEBUG] 页面长度: {len(html_content)}") print(f"[DEBUG] 找到的电影条目数: {len(movie_items)}") if not movie_items: # 保存当前页的HTML到文件，方便离线分析 with open(f'debug_page_{current_page}.html', 'w', encoding='utf-8') as f: f.write(html_content) print(f"[DEBUG] 已保存异常页面供分析。")

将可疑页面的HTML保存到本地文件，然后用浏览器打开，可以直观地看到爬虫“看到”的页面是什么样子，这对于诊断解析失败问题极其有效。

5.3 法律与道德边界再强调

最后，我必须再次强调爬虫的伦理和法律边界。我们所做的一切，都应建立在以下原则之上：

1. 尊重robots.txt：这是网站所有者表达爬虫偏好的首要方式。
2. 控制访问频率：你的爬虫不应该影响网站的正常服务。
3. 仅爬取公开数据：避开需要登录才能访问的个人信息、敏感内容。
4. 明确数据用途：爬取的数据应用于个人学习、分析或符合网站条款的用途，切勿用于商业牟利或侵害他人权益。
5. 考虑版权问题：像“电影天堂”上的资源链接，其本身可能涉及版权。爬取行为本身可能合法，但使用爬取到的资源可能侵权。请务必了解相关法律法规。

构建一个分页爬虫，从技术上看是字符串处理、网络请求和逻辑控制的结合。但从工程角度看，它更是对稳健性、可维护性和道德自律的考验。希望这篇从实战出发的详细拆解，能让你下次面对类似任务时，不仅写出能跑的代码，更能写出经得起时间考验的、优雅健壮的程序。爬虫的世界很深，从简单的requests到复杂的分布式、反反爬，每一步都有新的挑战和乐趣，保持好奇，持续学习，但永远别忘了脚下的法律与道德红线。