1. 环境准备与工具选择

做爬虫项目前，选对工具相当于厨师选好了菜刀。我推荐用Python 3.8+版本，主要依赖这几个库：

• requests：比urllib更人性化的网络请求库
• BeautifulSoup：HTML解析神器
• lxml：XPath解析必备
• openpyxl：处理Excel文件

安装这些库特别简单，一行命令搞定：

pip install requests beautifulsoup4 lxml openpyxl

新手常犯的错误是直接上手写代码，结果被反爬机制按在地上摩擦。建议先准备好这些防封杀装备：

1. 随机User-Agent池（至少准备10个不同浏览器标识）
2. 代理IP池（免费的可试试快代理、站大爷）
3. 请求间隔随机化（1-3秒比较安全）

2. 静态页面抓取实战

东方财富股吧的新闻列表页是典型的分页结构，URL规律很明显：

http://guba.eastmoney.com/list,股票代码,1,f_页码.html

比如贵州茅台（600519）的第2页：

base_url = "http://guba.eastmoney.com/list,600519,1,f_{}.html"

抓取标题和阅读量的核心代码：

def parse_news_list(html): soup = BeautifulSoup(html, 'html.parser') titles = [a['title'] for a in soup.select('.l3.a3 a')] reads = [span.text for span in soup.select('.l1.a1 span')] return list(zip(titles, reads))

这里有个坑要注意：东方财富的阅读量数据有时候会藏在>reads = [span['data-read'] for span in soup.select('.l1.a1 span')]

3. 动态评论抓取技巧

动态内容才是真正的挑战。通过Chrome开发者工具（F12），我发现了评论数据的API接口：

http://guba.eastmoney.com/interface/GetData.aspx

关键参数是postid，这个ID藏在新闻详情页的URL里。比如这个链接：

https://guba.eastmoney.com/news,600519,123456789.html

其中的123456789就是postid。

模拟请求的代码示例：

def get_comments(postid): url = 'http://guba.eastmoney.com/interface/GetData.aspx' headers = { 'Referer': f'https://guba.eastmoney.com/news,600519,{postid}.html', 'User-Agent': 'Mozilla/5.0...' } data = { 'param': f'postid={postid}&sort=1&sorttype=1&p=1&ps=50', 'path': 'reply/api/Reply/ArticleNewReplyList', 'env': '2' } response = requests.post(url, headers=headers, data=data) return response.json()['re'] # 返回评论列表

4. 反爬策略实战心得

我连续抓取50页后被封IP的经历告诉大家，这些防护措施必须做：

1. 随机延时：别用固定间隔

from random import uniform sleep(uniform(1.5, 3)) # 1.5-3秒随机间隔

2. 请求头伪装：特别是Cookie和Referer

headers = { 'User-Agent': random.choice(user_agents), 'Referer': random.choice(referers), 'X-Requested-With': 'XMLHttpRequest' }

3. 异常处理：遇到429状态码立即暂停

try: response = requests.get(url, timeout=10) if response.status_code == 429: print("触发反爬！等待5分钟...") sleep(300) except Exception as e: print(f"请求失败：{str(e)}")

5. 数据存储优化方案

原始代码用Excel存储，当数据量超过1万条时会变得很卡。我推荐三种进阶方案：

1. CSV分批存储：每1000条存一个文件

import csv def save_to_csv(data, filename): with open(filename, 'a', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow(data.values())

2. MySQL存储：适合长期积累数据

import pymysql conn = pymysql.connect(host='localhost', user='root', password='123456', database='guba') cursor = conn.cursor() sql = "INSERT INTO news(title,read_count) VALUES(%s,%s)" cursor.execute(sql, ('茅台股价创新高', '10000')) conn.commit()

3. MongoDB存储：处理非结构化评论更方便

from pymongo import MongoClient client = MongoClient('mongodb://localhost:27017/') db = client['guba'] db.comments.insert_one({ 'postid': '123456', 'content': '茅台永远的神！', 'like': 15 })

6. 完整代码示例

把上述技巧整合后的完整流程：

import requests from bs4 import BeautifulSoup from time import sleep from random import uniform, choice import csv user_agents = [ 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit...', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)...' ] def crawl_stock_news(stock_code, max_page=10): base_url = f"http://guba.eastmoney.com/list,{stock_code},1,f_" with open('result.csv', 'w', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow(['标题', '阅读量', '评论数']) for page in range(1, max_page+1): sleep(uniform(1, 3)) url = base_url + str(page) + '.html' try: html = requests.get(url, headers={'User-Agent': choice(user_agents)}).text soup = BeautifulSoup(html, 'html.parser') # 解析新闻列表 news_items = soup.select('.articleh') for item in news_items: title = item.select('.l3 a')[0]['title'] read = item.select('.l1')[0].text comment = item.select('.l2')[0].text writer.writerow([title, read, comment]) except Exception as e: print(f"第{page}页抓取出错：{str(e)}") continue

7. 常见问题解决方案

问题1：返回数据乱码

• 解决方法：强制指定编码

response.encoding = 'utf-8' # 或者 response.apparent_encoding

问题2：动态加载内容缺失

• 解决方案：用Selenium模拟浏览器

from selenium import webdriver driver = webdriver.Chrome() driver.get(url) html = driver.page_source

问题3：验证码拦截

• 应对策略：

1. 降低采集频率
2. 使用打码平台（如超级鹰）
3. 保存Cookies维持会话

最后提醒：爬虫要遵守robots.txt规则，控制请求频率，建议在非交易时段（如凌晨）运行采集任务。完整项目代码我已经上传到GitHub，包含异常处理、日志记录等工业级实现，需要的话可以私信我获取