嗨喽,大家好呀~这里是爱看美女的茜茜呐
环境使用:
Python 3.8
Pycharm
模块使用:
import requests >>> pip install requests
import time
import tkinter
👇 👇 👇 更多精彩机密、教程,尽在下方,赶紧点击了解吧~
python源码、视频教程、插件安装教程、资料我都准备好了,直接在文末名片自取就可
爬虫实现流程:
一. 数据来源分析
1. 明确需求: 明确采集的网站以及数据
- 网址: https://live.**.com/697
- 数据: 弹幕数据 昵称 内容 发送时间
2. 抓包分析: 分析这些数据在什么地方 <具体请求那个链接地址可以获得>
数据包链接: https://api.live.bilibili.com/xlive/web-room/v1/dM/gethistory?roomid=1440094&room_type=0
二. 代码实现步骤
1. 发送请求, 模拟浏览器对于url地址发送请求
2. 获取数据, 获取服务器返回响应数据
3. 解析数据, 提取 昵称 内容 时间
4. 保存数据, 保存文件中
安装模块前提:
1. 有python环境 <解释器>
2. 设置好环境变量 <pip 不是内部命令>
3. win + R 输入cmd 输入安装命令 pip install requests
4. 安装好模块未使用灰色状态 <不是报错>
代码展示
'''
python资料获取看这里噢!! 小编 V:Pytho8987(记得好友验证备注:6 否则可能不通过)
即可获取:文章源码/教程/资料/解答等福利,还有不错的视频学习教程和PDF电子书!
'''
# 导入数据请求模块 <需要安装>
import requests
# 导入csv模块 <内置模块>
import csv
# 导入时间模块 <内置模块>
import time
# 导入正则表达式模块 <内置模块>
import re
# 导入Gui界面开发模块 <内置模块>
import tkinter as tk
def get_content():
# 获取输入框的内容
link = text_va.get()
# 模拟浏览器 <请求头>
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36'
}
# 发送请求
html_data = requests.get(url=link, headers=headers).text
# 提取房间ID
room_id = re.findall('"room_id":(\d+),', html_data)[0]
name = re.findall('"uname":"(.*?)",', html_data)[0]
print(room_id, name)
"""创建文件对象"""
csv_file = open(f'{name}.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(csv_file, fieldnames=['昵称', '弹幕', '时间'])
csv_writer.writeheader()
"""1. 发送请求"""
# 循环请求API接口数据 循环一次采集10条弹幕 <不要过快>
for page in range(1, 21):
# 请求链接
url = f'https://api.live.***.com/xlive/web-room/v1/dM/gethistory?roomid={room_id}&room_type=0'
# 发送请求 -> <Response [200]> 响应对象
response = requests.get(url=url, headers=headers)
"""2. 获取响应json数据"""
json_data = response.json()
"""3. 解析数据"""
# 键值对取值: 根据冒号左边的内容[键],提取冒号右边的内容[值]
for index in json_data['data']['room']:
name = index['nickname']
text = index['text']
timeline = index['timeline']
"""保存数据 <表格文件 csv/Excel> """
# 创建字典
dit = {
'昵称': name,
'弹幕': text,
'时间': timeline,
}
# 写入数据
csv_writer.writerow(dit)
time.sleep(0.5)
print(name, text, timeline, sep=' | ')
# 实例化界面 tk公式 要实现什么样效果, 使用什么样的公式
root = tk.Tk()
# 设置界面大小 宽 高 边距x 边距y
root.geometry('500x80+200+200')
# 设置界面标题
root.title('弹幕软件 v1.0')
# 设置内部窗口
frame = tk.Frame()
frame.pack(pady=20) # 布局到界面 默认是上下
# 设置标签文本
tk.Label(frame, text='直播地址:', font=('微软雅黑', 15)).pack(side=tk.LEFT)
# 可变变量接收输入框内容
text_va = tk.StringVar()
# 设置输入框
tk.Entry(frame, relief='flat', textvariable=text_va).pack(side=tk.LEFT, padx=10)
# 设置按钮 绑定事件
tk.Button(frame, text='确定', font=('微软雅黑', 12), relief='flat', command=get_content).pack(side=tk.LEFT)
# 展示界面
root.mainloop()
尾语
感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉,有学习到一点知识~
躲起来的星星🍥也在努力发光,你也要努力加油(让我们一起努力叭)。