三亩地 三亩地SAN MU DI · CODE DIARY
ARTICLE DETAIL

日记详情

真实记录编程学习的某一天,欢迎挑你感兴趣的翻一翻。

Scrapy Pipeline 保存 MySQL 完整代码

Scrapy Pipeline 保存 MySQL 完整代码

依赖:pymysql

pip install pymysql

1. items.py 定义数据模型

import scrapy

class DemoItem(scrapy.Item):

title = scrapy.Field()

url = scrapy.Field()

content = scrapy.Field()

2. pipelines.py MySQL 管道完整代码

3. settings.py 开启管道

ITEM_PIPELINES = {

"myspider.pipelines.MysqlPipeline": 300,

}

优先级数字:数值越小,管道越先执行。如果你同时还有其它 pipeline,注意顺序。

4. spider 中 yield 示例(spiders/xxx.py)

← 返回列表