【Python】01快速上手爬虫案例一：搞定豆瓣读书

文章目录

  • 前言
  • 一、VSCode+Python环境搭建
  • 二、爬虫案例一
    • 1、爬取第一页数据
    • 2、爬取所有页数据
    • 3、格式化html数据
    • 4、导出excel文件

前言

实战是最好的老师，直接案例操作，快速上手。

案例一，爬取数据，最终效果图：

在这里插入图片描述

一、VSCode+Python环境搭建

开发环境：MacBook Pro + VSCode + Python。

打开最新版VSCode，安装Python开发环境，快捷键：cmd+shift+x。

在这里插入图片描述
选择Python解释器，快捷键：cmd+shift+p。输入：Python: Select Interpreter，选择解释器。
在这里插入图片描述
写“hello world”。
新建文件，输入print(‘hello world~’)，另存为hello.py文件。
shift+enter 运行：
在这里插入图片描述

二、爬虫案例一

以爬取“豆瓣读书TOP250”的书籍为案例。

网址链接：https://book.douban.com/top250?start=0

1、爬取第一页数据

代码如下：

import requests
def askUrl(url):
    head = { 
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"
    }
    html=""  
    r = requests.get(url, headers = head) 
    html = r.text 
    print(html)  
    return html

if __name__ == "__main__": 
    askUrl("https://book.douban.com/top250?start=0")

head->User-Agent的值可以从这个地方获取：

在这里插入图片描述
如果import requests报错，使用pip3 install requests安装。

运行之后，结果如下：

在这里插入图片描述

第一页25个，都以html的形式显示了出来，第25个为书籍《野草》。

2、爬取所有页数据

代码如下：


import requests
def askUrl(url):
    head = { 
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"
    }
    r = requests.get(url, headers = head)
    html = r.text
    print(html)

def getData(baseurl):
    for i in range(0, 10):
        url = baseurl + str(i * 25)
        html = askUrl(url)

if __name__ == "__main__": 
    baseurl = "https://book.douban.com/top250?start="
    getData(baseurl)

运行之后，结果如下：

在这里插入图片描述

最后一页，最后一个，为书籍《哈姆莱特》。

3、格式化html数据

上面1和2，只是输出了html源码，现在按自己需要的几个字段进行格式化。

分别取这4个字段：封面图、书籍名称、作者（出版社、价格等）、引用。

在这里插入图片描述

这里使用lxml库，解析html。

# 导入lxml库子模块etree
from lxml import etree

格式化代码如下：

import requests
from lxml import etree 

def askUrl(url):
    head = { 
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"
    }
    html=""  
    r = requests.get(url, headers = head) 
    html = r.text 
    parse = etree.HTML(html)  
    # 数据
    # all_tr = parse.xpath('/html[@class="ua-mac ua-webkit book-new-nav"]/body/div[@id="wrapper"]/div[@id="content"]/div[@class="grid-16-8 clearfix"]/div[@class="article"]/div[@class="indent"]/table')
    all_tr = parse.xpath('//*[@id="content"]/div/div[1]/div/table')

    for tr in all_tr:
        tr_data = {
        'vover': ''.join(tr.xpath('./tr/td[1]/a/img/@src')).strip(), # 封面图
        'name': ''.join(tr.xpath('./tr/td[2]/div[@class="pl2"]/a/text()')).strip(), # 书名
        'author': ''.join(tr.xpath('./tr/td[2]/p[1]/text()')).strip(), # 作者
        'quote': ''.join(tr.xpath('./tr/td[2]/p[2]/span/text()')).strip() # 引用
        }
        print(tr_data)

if __name__ == "__main__": 
    askUrl("https://book.douban.com/top250?start=0")

如果报错：

urllib3 v2 only supports OpenSSL 1.1.1+, currently the 'ssl' module is compiled with 'LibreSSL 2.8.3'.

解决方法：

pip3 install urllib3==1.26.15

结果如下：

在这里插入图片描述

数据，已经非常清晰了。

PS：使用parse.xpath，最重要的是获取到准确的xpath值。

两个方法：

方法一：Google Chrome浏览器插件：xpath helper。

效果如下：

弹出插件面板：cmd+shift+x。

选中：shift。

在这里插入图片描述
取到的值为：

# 原始值
/html[@class='ua-mac ua-webkit book-new-nav']/body/div[@id='wrapper']/div[@id='content']/div[@class='grid-16-8 clearfix']/div[@class='article']/div[@class='indent']/table[1]/tbody/tr[@class='item']

# 优化后的值（使用此值，去掉了tbody和[1]）
/html[@class='ua-mac ua-webkit book-new-nav']/body/div[@id='wrapper']/div[@id='content']/div[@class='grid-16-8 clearfix']/div[@class='article']/div[@class='indent']/table

方法二：Google Chrome浏览器，查看源代码。

在这里插入图片描述

取到的值为：

# 原始值
//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr

# 优化后的值（使用此值，去掉了tbody和[1]）
//*[@id="content"]/div/div[1]/div/table

每一个字段对应的xpath值，也是这么获取。

4、导出excel文件

生成csv格式文件。

导入csv库：

import csv

导出cvs文件（第一页25条），代码如下：

import requests
from lxml import etree 
import csv

def askUrl(url):
    head = { 
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"
    }
    html=""  
    r = requests.get(url, headers = head) 
    html = r.text 
    parse = etree.HTML(html)  
    # 数据
    all_tr = parse.xpath('//*[@id="content"]/div/div[1]/div/table')

    # 创建book.csv文件
    with open('book.csv', 'a', encoding='utf_8_sig', newline='') as fp:  
        header = ['封面','名称', '作者', '引用']  
        writer = csv.writer(fp)  
        writer.writerow(header)

    for tr in all_tr:
        tr_data = {
        'vover': ''.join(tr.xpath('./tr/td[1]/a/img/@src')).strip(), # 封面图
        'name': ''.join(tr.xpath('./tr/td[2]/div[@class="pl2"]/a/text()')).strip(), # 书名
        'author': ''.join(tr.xpath('./tr/td[2]/p[1]/text()')).strip(), # 作者
        'quote': ''.join(tr.xpath('./tr/td[2]/p[2]/span/text()')).strip() # 引用
        }
        # print(tr_data)
        # 写入数据行
        with open('book.csv', 'a', encoding='utf_8_sig', newline='') as fp:  
            fieldnames = ['vover','name', 'author', 'quote']  
            writer = csv.DictWriter(fp, fieldnames)  
            writer.writerow(tr_data)

if __name__ == "__main__": 
    askUrl("https://book.douban.com/top250?start=0")

导出的book.csv文件（第一页），如下：

在这里插入图片描述

导出cvs文件（所有的250条），代码如下：

import requests
from lxml import etree 
import csv

def askUrl(url):
    head = { 
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15"
    }
    r = requests.get(url, headers = head)
    html = r.text
    # print(html)

    parse = etree.HTML(html)
    all_tr = parse.xpath('//*[@id="content"]/div/div[1]/div/table')

    for tr in all_tr:
        tr_data = {
            'vover': ''.join(tr.xpath('./tr/td[1]/a/img/@src')).strip(), # 封面图
            'name': ''.join(tr.xpath('./tr/td[2]/div[@class="pl2"]/a/text()')).strip(), # 书名
            'author': ''.join(tr.xpath('./tr/td[2]/p[1]/text()')).strip(), # 作者
            'quote': ''.join(tr.xpath('./tr/td[2]/p[2]/span/text()')).strip() # 引用
            }
            # print(tr_data)
        # 写入数据行
        with open('bookall.csv', 'a', encoding='utf_8_sig', newline='') as fp:  
                fieldnames = ['vover','name', 'author', 'quote']  
                writer = csv.DictWriter(fp, fieldnames)  
                writer.writerow(tr_data)

def getData(baseurl):
    # 创建book.csv文件
    with open('bookall.csv', 'a', encoding='utf_8_sig', newline='') as fp:  
        header = ['封面','名称', '作者', '引用']  
        writer = csv.writer(fp)  
        writer.writerow(header)
    # 插入25页的数据
    for i in range(0, 10):
        url = baseurl + str(i * 25)
        html = askUrl(url)


if __name__ == "__main__": 
    baseurl = "https://book.douban.com/top250?start="
    getData(baseurl)

导出的book.csv文件（所有页250条数据），如下：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/350683.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

降维(Dimensionality Reduction)

降维(Dimensionality Reduction)

1.动机一：数据可视化 将数据可视化，我们便能寻找到一个更好的解决方案，降维可以帮助我们。 假使我们有有关于许多不同国家的数据，每一个特征向量都有 50 个特征（如 GDP，人均 GDP，平均寿命等&a…
阅读更多...
python深度学习—第6章（波斯美女）

python深度学习—第6章（波斯美女）

第6章 深度学习用于文本和序列 6.1　处理文本数据 与其他所有神经网络一样，深度学习模型不会接收原始文本作为输入，它只能处理数值张量。 文本向量化（vectorize）是指将文本转换为数值张量的过程。它有多种实现方法。 将文本分割…
阅读更多...
力扣80、删除有序数组中的重复项Ⅱ（中等）

力扣80、删除有序数组中的重复项Ⅱ（中等）

1 题目描述 图1 题目描述 2 题目解读 对于有序数组nums，要求在不使用额外数组空间的条件下，删除数组nums中重复出现的元素，使得nums中出现次数超过两次的元素只出现两次。返回删除后数组的新长度。 3 解法一：双指针 双指针法可以…
阅读更多...
【代码随想录-数组】二分查找

【代码随想录-数组】二分查找

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 jav…
阅读更多...
学习笔记-李沐动手学深度学习（四）（12-13，权重衰退、L2正则化、Dropout）

学习笔记-李沐动手学深度学习（四）（12-13，权重衰退、L2正则化、Dropout）

总结 【trick】过拟合及正则化项参数的理解 实际数据都有噪音，一般有噪音后，模型实际学习到的权重w就会比 理论上w的最优解（即没有噪音时）大。（QA中讲的） 【好问题】 （1）不使用正…
阅读更多...
Jupyter Notebook安装以及简单使用教程

Jupyter Notebook安装以及简单使用教程

Jupyter Notebook安装以及简单使用教程 本文章将，简要的讲解在已经拥有Python环境下如何进行Jupyter Notebook的安装。并且简短的介绍Jupyter Notebook的使用方法。 Jupyter Notebook是什么 Jupyter Notebook是一个基于Web的交互式计算环境，它支持多种…
阅读更多...
101.乐理基础-五线谱-五线谱的构造、谱号是什么

101.乐理基础-五线谱-五线谱的构造、谱号是什么

内容参考于：三分钟音乐社 上一个内容：100.乐理基础-五线谱-是否需要学习五线谱-CSDN博客 首先简谱的构造，如下图：真正影响音乐的是左上角的三部分，调号、拍号、情绪与速度，如图1 然后不管用什么谱&#xf…
阅读更多...
代码随想录第十七天| ● 110.平衡二叉树 ● 257. 二叉树的所有路径 ● 404.左叶子之和

代码随想录第十七天| ● 110.平衡二叉树 ● 257. 二叉树的所有路径 ● 404.左叶子之和

文章目录 110.平衡二叉树思路-递归：代码： 思路二-迭代 257. 二叉树的所有路径思路一：普通递归 思路二：递归优化思路三：迭代法（没细看） 404.左叶子之和思路-递归 110.平衡二叉树 思路-递归&#…
阅读更多...
解决WinForms跨线程操作控件的问题

解决WinForms跨线程操作控件的问题

解决WinForms跨线程操作控件的问题 介绍 在构建Windows窗体应用程序时，我们通常会遇到需要从非UI线程更新UI元素的场景。由于WinForms控件并不是线程安全的，直接这样做会抛出一个异常：“控件’control name’是从其他线程创建的，…
阅读更多...
Oracle DG环境下的秘钥管理

Oracle DG环境下的秘钥管理

今天有朋友问到1）DG环境下的秘钥管理需要注意什么，2）秘钥管理对DG的日志同步有影响吗？ 对于2）的回答是明确的，没有影响。秘钥的管理和DG的redo log shipping完全是两套机制。在最新版的Oracle Key Vault常…
阅读更多...
基于YOLOv7算法的高精度实时五类动物目标检测系统（PyTorch+Pyside6+YOLOv7）

基于YOLOv7算法的高精度实时五类动物目标检测系统（PyTorch+Pyside6+YOLOv7）

摘要：基于YOLOv7算法的高精度实时五类动物目标检测系统可用于日常生活中检测与定位狼、鹿、猪、兔和浣熊，此系统可完成对输入图片、视频、文件夹以及摄像头方式的目标检测与识别，同时本系统还支持检测结果可视化与导出。本系统采用YOLOv7目标…
阅读更多...
多数据源 dynamic-datasource 模块使用

多数据源 dynamic-datasource 模块使用

在项目中引入dynamic-datasource该modul 在application.yml中添加 dynamic:datasource:slave1: driver-class-name: oracle.jdbc.OracleDriverurl: jdbc:oracle:thin:XXX:orcl_tjhusername: XXpassword: XXvalidation-query: SELECT 1 FROM DUALslave2: driver-class-name: co…
阅读更多...
广东建筑模板厂家批发-建筑木模板市场供应

广东建筑模板厂家批发-建筑木模板市场供应

近年来，随着建筑行业的快速发展，建筑模板作为一种不可或缺的建筑材料，备受关注。广东作为中国建筑业的重要发展地区之一，其建筑模板市场也日渐繁荣。在这个市场中，建筑模板厂家能强优品木业成为了备受青睐的选择&#…
阅读更多...
操作符详解（上）

操作符详解（上）

目录 操作符的分类 二进制和进制转换 2进制转10进制 10进制转2进制数字 2进制转8进制 2进制转16进制 原码、反码、补码 移位操作符 左移操作符 右移操作符 位操作符：&、|、^、~ 单目操作符 逗号表达式 操作符的分类 • 算术操作符： …
阅读更多...
大数据学习之Flink，了解Flink的多种部署模式

大数据学习之Flink，了解Flink的多种部署模式

目录 一、部署模式 1. 部署模式分类： 1.1 会话模式（Session Mode）： 优点： 缺点： 1.2 单作业模式（Per-Job Mode）： 优点： ​ 缺点： ​ 1.3…
阅读更多...
Kubernetes/k8s之安全机制:

Kubernetes/k8s之安全机制:

k8s当中的安全机制 核心是分布式集群管理工具，容器编排，安全机制核心是:API SERVER作为整个集群内部通信的中介，也是外部控制的入口，所有的安全机制都是围绕api server开设计的。 请求api资源 1、认证 2、鉴权 3、准入机制 三…
阅读更多...
【技术预研】StarRocks官方文档浅析（2）

【技术预研】StarRocks官方文档浅析（2）

背景说明 基于starRocks官方文档，对其内容进行一定解析，方便大家理解和使用。 若无特殊标注，startRocks版本是3.2。 下面的章节和官方文档保持一致。 参考文档 产品简介 | StarRocks StarRocks StarRocks 是一款高性能分析型数据仓库&…
阅读更多...
Conda python管理环境environments 四 从入门到精通

Conda python管理环境environments 四 从入门到精通

Conda系列： 翻译: Anaconda 与 miniconda的区别Miniconda介绍以及安装Conda python运行的包和环境管理 入门Conda python管理环境environments 一 从入门到精通Conda python管理环境environments 二 从入门到精通Conda python管理环境environments 三 从入门到精通…
阅读更多...
CSS复合选择器和CSS层叠性、继承性有哪些内容？

CSS复合选择器和CSS层叠性、继承性有哪些内容？

知识引入 1.CSS复合选择器 书写CSS样式表时，可以使用CSS基础选择器选中目标元素。但是在实际网站开发中，一个网页中可能包含成千上万的元素，如果仅使用CSS基础选择器，是远远不够的。为此，CSS提供了几种复合选择器&am…
阅读更多...
【论文笔记】Learning Deconvolution Network for Semantic Segmentation

【论文笔记】Learning Deconvolution Network for Semantic Segmentation

重要说明：严格来说，论文所指的反卷积并不是真正的 deconvolution network 。 关于 deconvolution network 的详细介绍，请参考另一篇博客：什么是Deconvolutional Network？ 一、参考资料 Learning Deconvolution Netwo…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站