用爬虫分析沪深300指数超长走势

我们知道,一个股市里面有非常多的股票,我们如何能够量化整个股市整体的行情呢,答案是通过一些综合性的指数。本文所选用的沪深300就是这类指数中的一个。我们先来看一下百度百科对于沪深300的解释。

由于股票价格起伏无常, 投资者必然面临市场价格风险。对于具体某一种股票的价格变化,投资者容易了解,而对于多种股票的价格变化,要逐一了解,既不容易,也不胜其烦。为了适应这种情况和需要,一些金融服务机构就利用自己的业务知识和熟悉市场的优势,编制出股票价格指数,公开发布,作为市场价格变动的指标。投资者据此就可以检验自己投资的效果,并用以预测股票市场的动向。同时,新闻界、公司老板乃至政界领导人等也以此为参考指标,来观察、预测社会政治、经济发展形势。

emmm,说的有点复杂,简单说就是选择了市场上比较有代表性的300只股票,按照权重计算的一个加权和,而且指数会根据市场的变化调整所选用的股票,因此可以认为沪深300就是股市的晴雨表。更有甚者,假如我们买了一只基金,这个基金还跑不过沪深300指数,那么有几种可能:

  • 第一种就是这只基金选取的股票是低于市场的平均收益的,可能是基金经理的技术不够好;
  • 第二种可能是这只基金所选择的赛道目前都处于被低估的状态

总而言之,我们在选股的时候可以根据类似沪深300这样的指数进行参考。

在网上查数据的时候,很容易查到沪深300最近一段时间的表现,但是如果想看看超长时间的表现则会比较困难。但是其实,很多网站都有历史数据,只不过没有直接进行整合然后展示出来,我们需要自己用爬虫爬取数据,然后绘图。

这里使用搜狐证券的接口,我直接将接口和参数放出来。

https://q.stock.sohu.com/hisHq?code=zs_399300&start=20190102&end=20200101&stat=1&order=D&period=w&callback=historySearchHandler&rt=jsonp

这是一个get类型的接口,下面介绍各个参数的含义

  • code:股票代码,zs_399300是沪深300的代码
  • start:开始时间,20190102表示2019年1月2日
  • end:结束时间,20200101表示2020年1月1日
  • stat:不明
  • order:排序顺序,D表示倒叙排序
  • period:表示周期,d表示天,w表示周,m表示月
  • callback:不明
  • rt:不明

以上信息中比较需要我们填写的就是code,start和end,由于我们统计的是超长周期的走势,因此period可以选择w,获取周信息即可看,下面是拼接url的代码

# 组装url
def packurl(stockcode, starttime, endtime):
    url = "https://q.stock.sohu.com/hisHq?"
    url += "code="
    url += stockcode
    url += "&start="
    url += starttime
    url += "&end="
    url += endtime
    url += "&stat=1"
    url += "&order=D"
    url += "&period=w"
    url += "&callback=historySearchHandler"
    url += "&rt=jsonp"
    print(url)
    return url

我们需要传入股票代码,开始时间和结束时间。

知道了接口后,其实就是非常简单了,我们将数据爬下来,然后使用matplotlib绘制出来就行。

下面就是所有的代码,我们从2005年的数据统计到2023年的数据,大概是18年左右。

import requests
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
import json

xAxis = []
yAxis = []

YLIMMIN = 500
YLIMMAX = 6000

plt.rcParams['font.sans-serif']=['SimHei']
MAJOR_LOCATOR = 20

font1 = {
    'size' : 30,
}
FONTSIZE = 30
# 颜色字典
cnames = {
'aliceblue':            '#F0F8FF',
'antiquewhite':         '#FAEBD7',
'aqua':                 '#00FFFF',
'aquamarine':           '#7FFFD4',
'azure':                '#F0FFFF',
'beige':                '#F5F5DC',
'bisque':               '#FFE4C4',
'black':                '#000000',
'blanchedalmond':       '#FFEBCD',
'blue':                 '#0000FF',
'blueviolet':           '#8A2BE2',
'brown':                '#A52A2A',
'burlywood':            '#DEB887',
'cadetblue':            '#5F9EA0',
'chartreuse':           '#7FFF00',
'chocolate':            '#D2691E',
'coral':                '#FF7F50',
'cornflowerblue':       '#6495ED',
'cornsilk':             '#FFF8DC',
'crimson':              '#DC143C',
'cyan':                 '#00FFFF',
'darkblue':             '#00008B',
'darkcyan':             '#008B8B',
'darkgoldenrod':        '#B8860B',
'darkgray':             '#A9A9A9',
'darkgreen':            '#006400',
'darkkhaki':            '#BDB76B',
'darkmagenta':          '#8B008B',
'darkolivegreen':       '#556B2F',
'darkorange':           '#FF8C00',
'darkorchid':           '#9932CC',
'darkred':              '#8B0000',
'darksalmon':           '#E9967A',
'darkseagreen':         '#8FBC8F',
'darkslateblue':        '#483D8B',
'darkslategray':        '#2F4F4F',
'darkturquoise':        '#00CED1',
'darkviolet':           '#9400D3',
'deeppink':             '#FF1493',
'deepskyblue':          '#00BFFF',
'dimgray':              '#696969',
'dodgerblue':           '#1E90FF',
'firebrick':            '#B22222',
'floralwhite':          '#FFFAF0',
'forestgreen':          '#228B22',
'fuchsia':              '#FF00FF',
'gainsboro':            '#DCDCDC',
'ghostwhite':           '#F8F8FF',
'gold':                 '#FFD700',
'goldenrod':            '#DAA520',
'gray':                 '#808080',
'green':                '#008000',
'greenyellow':          '#ADFF2F',
'honeydew':             '#F0FFF0',
'hotpink':              '#FF69B4',
'indianred':            '#CD5C5C',
'indigo':               '#4B0082',
'ivory':                '#FFFFF0',
'khaki':                '#F0E68C',
'lavender':             '#E6E6FA',
'lavenderblush':        '#FFF0F5',
'lawngreen':            '#7CFC00',
'lemonchiffon':         '#FFFACD',
'lightblue':            '#ADD8E6',
'lightcoral':           '#F08080',
'lightcyan':            '#E0FFFF',
'lightgoldenrodyellow': '#FAFAD2',
'lightgreen':           '#90EE90',
'lightgray':            '#D3D3D3',
'lightpink':            '#FFB6C1',
'lightsalmon':          '#FFA07A',
'lightseagreen':        '#20B2AA',
'lightskyblue':         '#87CEFA',
'lightslategray':       '#778899',
'lightsteelblue':       '#B0C4DE',
'lightyellow':          '#FFFFE0',
'lime':                 '#00FF00',
'limegreen':            '#32CD32',
'linen':                '#FAF0E6',
'magenta':              '#FF00FF',
'maroon':               '#800000',
'mediumaquamarine':     '#66CDAA',
'mediumblue':           '#0000CD',
'mediumorchid':         '#BA55D3',
'mediumpurple':         '#9370DB',
'mediumseagreen':       '#3CB371',
'mediumslateblue':      '#7B68EE',
'mediumspringgreen':    '#00FA9A',
'mediumturquoise':      '#48D1CC',
'mediumvioletred':      '#C71585',
'midnightblue':         '#191970',
'mintcream':            '#F5FFFA',
'mistyrose':            '#FFE4E1',
'moccasin':             '#FFE4B5',
'navajowhite':          '#FFDEAD',
'navy':                 '#000080',
'oldlace':              '#FDF5E6',
'olive':                '#808000',
'olivedrab':            '#6B8E23',
'orange':               '#FFA500',
'orangered':            '#FF4500',
'orchid':               '#DA70D6',
'palegoldenrod':        '#EEE8AA',
'palegreen':            '#98FB98',
'paleturquoise':        '#AFEEEE',
'palevioletred':        '#DB7093',
'papayawhip':           '#FFEFD5',
'peachpuff':            '#FFDAB9',
'peru':                 '#CD853F',
'pink':                 '#FFC0CB',
'plum':                 '#DDA0DD',
'powderblue':           '#B0E0E6',
'purple':               '#800080',
'red':                  '#FF0000',
'rosybrown':            '#BC8F8F',
'royalblue':            '#4169E1',
'saddlebrown':          '#8B4513',
'salmon':               '#FA8072',
'sandybrown':           '#FAA460',
'seagreen':             '#2E8B57',
'seashell':             '#FFF5EE',
'sienna':               '#A0522D',
'silver':               '#C0C0C0',
'skyblue':              '#87CEEB',
'slateblue':            '#6A5ACD',
'slategray':            '#708090',
'snow':                 '#FFFAFA',
'springgreen':          '#00FF7F',
'steelblue':            '#4682B4',
'tan':                  '#D2B48C',
'teal':                 '#008080',
'thistle':              '#D8BFD8',
'tomato':               '#FF6347',
'turquoise':            '#40E0D0',
'violet':               '#EE82EE',
'wheat':                '#F5DEB3',
'white':                '#FFFFFF',
'whitesmoke':           '#F5F5F5',
'yellow':               '#FFFF00',
'yellowgreen':          '#9ACD32'}


# 发送get请求
def find(url, A):
    result = A.get(url, timeout=7, allow_redirects=False)
    print(result.text)
    return result.text

# 组装url
def packurl(stockcode, starttime, endtime):
    url = "https://q.stock.sohu.com/hisHq?"
    url += "code="
    url += stockcode
    url += "&start="
    url += starttime
    url += "&end="
    url += endtime
    url += "&stat=1"
    url += "&order=D"
    url += "&period=w"
    url += "&callback=historySearchHandler"
    url += "&rt=jsonp"
    print(url)
    return url


# 将响应结果变成json
def changeResp(str):
    str = str.replace("historySearchHandler(", "")
    str = str.replace(")", "")
    dict = json.loads(str)
    x = []
    y = []
    for i in range(len(dict[0]["hq"])):
        x.append(dict[0]["hq"][i][0])
        y.append(float(dict[0]["hq"][i][2]))
    x.reverse()
    y.reverse()
    for i in range(len(x)):
        xAxis.append(x[i])
        yAxis.append(y[i])


# 绘图
def draw(filename, title):
    # xAxis.reverse()
    # yAxis.reverse()
    print(xAxis)
    print(yAxis)
    plt.figure(figsize=(100, 25))
    plt.title(title, font1)
    plt.plot(xAxis, yAxis, color=cnames["cadetblue"],label=title)
    # 隐藏部分x轴坐标
    plt.gca().xaxis.set_major_locator(ticker.MultipleLocator(MAJOR_LOCATOR))
    plt.ylim(YLIMMIN, YLIMMAX)
    plt.xticks(rotation=30)
    # 设置刻度的字体大小
    plt.xticks(fontsize=FONTSIZE)
    plt.yticks(fontsize=FONTSIZE)
    plt.grid()
    plt.rcParams.update({'font.size': FONTSIZE})  # 设置图例字体大小
    plt.legend()
    plt.savefig("./" + filename + ".png")
    plt.savefig("./" + filename + ".svg")
    #plt.show()



if __name__ == "__main__" :
    headers = {
        'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
        'Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0',
        'Upgrade-Insecure-Requests': '1'
    }
    A = requests.Session()
    A.headers = headers

    title_list = ["沪深300"]
    code_list = ["zs_399300", ]
    starttime_list = ["20050101", "20060102", "20070102", "20080102", "20090102", "20100102", "20110102", "20120102", "20130102", "20140102",
                      "20150102", "20160102", "20170102", "20180102", "20190102",
                      "20200102", "20210102", "20230102"]
    endtime_list = ["20060101", "20070101", "20080101", "20090101", "20100101", "20110101", "20120101", "20130101", "20140101", "20150101",
                    "20160101", "20170101", "20180101", "20190101", "20200101",
                    "20210101", "20220101", "20230520"]

    for i in range(len(code_list)):
        codestock = code_list[i]
        title = title_list[i]
        for j in range(len(starttime_list)):
            str = find(packurl(codestock, starttime_list[j], endtime_list[j]), A)
            changeResp(str)
        draw(codestock, title)

以上是python代码,你安装好三方库后直接运行就行了,下面来看一下走势图

这是一张超长图,不知道能不能看的清楚。

看到上面走势图一开始我也是比较惊讶的,从图中可以总结出几个信息:

  • 2005年到2006年指数都是比较低的,都不到1000点,一直到2007年左右开始起飞
  • 2007年到2008年初指数几乎冲到了历史最高点,达到将近6000点
  • 2008年中指数开始腰斩,期间发生了什么,估计也不需要我多说了
  • 2008年年末指数达到了最低点,随后开始拉升,估计是政府的救市计划起作用了,中国开始了基建狂魔模式
  • 指数到2014年都还是不温不火的状态,随后迎来了一个小高峰,但很快又开始回落
  • 到了2020年又是一个小高峰,但是今年2023年又开始回落

我写这篇文章的时候,沪深300指数大概是3900多点,不到4000点。不知道大家看到这个指数是什么感觉,我的感觉是这个指数波动很大,非常大,总是大起大落,高的时候很高,低的时候又很低;然后,目前的话,肯定是处于一个高位的状态,我们不否认经济相比于过去有了非常大的进步,但是股市终究也是充满了泡沫。

这是我对于宏观数据的第一次数据分析,其实互联网上是可以查询到非常多的宏观经济数据的,借助这些数据可以很好的观察整个经济的形式,以及相互之间的关联,后续的话我也会努力去学习一下宏观经济学,然后结合所学知识加深自己对于世界的认知。

最后提醒一句

入市有风险,投资需谨慎

本文不提供任何投资建议。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/22527.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

蓝桥杯拿到一等奖,并分享经验

昨天和群里的小伙伴在群里聊,有的小伙伴竟然说蓝桥杯一等奖没有含量,我也是醉了! 就像去年看了一个号主写的:研究生遍地都是! 放眼全国14亿人口,别说研究生了,本科生占比有多少? “蓝桥杯是我人生中得到…

数慧时空20年磨一剑:推出智能遥感云平台DIEY,自然资源多模态大模型“长城”,为地理信息产业提速

作者 | 伍杏玲 出品 | CSDN 据中国地理信息产业发展报告公布的数据,截至2020年末,行业从业单位13.8万家,从业人数336.6万,到2021年末,从业单位增加到16.4万家,从业人数增加到398万,产业规模越…

Go colly爬虫框架精简高效【杠杠的】入门到精通

1 前言 1.1 Go Colly 爬虫介绍 爬虫框架中,各中流行的编程语言都有自己热门框架,python中的selenium、Scrapy、PySpider等,Java中的Nutch、Crawler4j、WebMagic、WebCollector等。golang中colly使用Go语言编写的功能强大的爬虫框架&#xf…

pdf如何删除其中一页?不妨试试这些办法

PDF格式是一种非常常见的文档格式,它可以在各种系统和设备上使用,而且无论在哪里打开,都可以保持格式的一致性。有时候,我们需要删除PDF文档中的一页,无论是为了更改文档的结构,还是为了删除错误的信息。在…

拥抱生成式大模型 --- 提示工程篇

本文为系列的第二篇,主要是学习和总结chatgpt类模型的提示工程。感谢吴恩达老师的开源课程。 引言 随着大型语言模型(LLM)的发展,LLM 大致可以分为两种类型,即基础LLM和指令微调LLM。基础LLM是基于文本训练数据&…

Python机器学习入门 - - 贝叶斯算法学习笔记

文章目录 前言一、贝叶斯算法简介二、贝叶斯算法的数学原理1. 条件概率2. 全概率公式3. 贝叶斯公式4. 朴素贝叶斯分类器5. 高斯朴素贝叶斯分类器和伯努利朴素贝叶斯分类器 三、Python实现朴素贝叶斯分类总结 前言 贝叶斯公式是我们高中就耳熟能详的统计概率定理,贝…

亚马逊云科技出海日6月9日盛夏盛启

向全球价值链上游奋进 中国企业增强国际竞争力的关键,是努力朝全球价值链上游奋进,发力技术出海。中国的出海新机遇,背后曾是疫情在全球按下数字互联和数字化升级的快进键,跨境电商、在线社交、移动支付、数字服务等数字经济迎来…

如何让你的 Jmeter+Ant 测试报告更具吸引力?

目录 引言 一、安装apache-Ant 二、Jmeter准备 3、生成测试报告 4、JMeter动态参数处理逻辑是什么? 5、JMeter是怎么做API自动化测试的? 结语 引言 想象一下,你辛苦搭建了一个复杂的网站,投入了大量的时间和精力进行开发和…

005 - STM32学习笔记 - 启动代码

005 - STM32学习笔记 - 启动代码 常用汇编指令 指令名称作用EQU给数字常量取一个符号名,相当于C语言中的#define;AREA汇编一个新的代码段或者数据段;SPACE分配内存空间;PRESERVE8当前文件栈需要按照8字节对齐;EXPORT…

k8s pv pvc的介绍|动态存储|静态存储

k8s pv pvc的介绍|动态存储|静态存储 1 emptyDir存储卷2 hostPath存储卷3 nfs共享存储卷4 PVC 和 PVNFS使用PV和PVC 4 搭建 StorageClass NFS,实现 NFS 的动态 PV 创建 1 emptyDir存储卷 当Pod被分配给节点时,首先创建emptyDir卷,并且只要该…

详解c++STL—函数对象

目录 1、函数对象 1.1、函数对象概念 1.2、函数对象的使用 2、谓词 2.1、谓词概念 2.2、一元谓词 2.3、二元谓词 3、内建函数对象 3.1、理解内建函数对象 3.2、算术仿函数 3.3、关系仿函数 3.4、逻辑仿函数 1、函数对象 1.1、函数对象概念 概念: 重载…

编译原理个人作业--第六章——基于 编译原理 国防工业出版社 第三版

2 对表达式((a)(b)) (1) 按照表6.4属性文法构造抽象语法树 (2) 按6.17翻译模式构造表达式抽象语法树 5(1) 下列文法对整型常数、实型常熟世家加法运算符 生成表达式,当两个整型数相加,结果为整形,否则结果为实型 E → E T ∣ T E\r…

面试技术点

一、对热修复、插件化、模块化、组件化有一定研究。 1、模块化 将共享部分或业务模块抽取出来形成独立module。 2、组件化 基于模块化,核心思想是角色的转换,在打包时是library,分离独立的业务组件如微信朋友圈。 3、热修复和插件化种类、…

电力系统机组组合优化调度(IEEE14节点、IEEE30节点、IEEE118节点)(Matlab代码实现)

💥💥💥💞💞💞欢迎来到本博客❤️❤️❤️💥💥💥 📝目前更新:🌟🌟🌟电力系统相关知识,期刊论文&…

Java并发编程-synchronized

目录 1. synchronized在jdk 1.6中的优化 1.1 锁消除 1.2 锁粗化 1.2 锁升级/锁膨胀 1.2.1 锁升级原理 1.2.2 自适应自旋锁 2. synchronized实现原理 3. synchronized和Lock的对比 1. synchronized在jdk 1.6中的优化 在JDK1.5的时候,Doug Lee推出了ReentrantLock,lock的…

chatgpt赋能Python-python_os拷贝文件

Python os拷贝文件 – 从简介到实现 Python os库是一个经常使用的工具,它是Python的标准库,提供了与操作系统进行交互的函数和方法。其中,os拷贝文件是其常用的功能之一,可以用来实现文件备份、文件复制等等操作。接下来&#xf…

windows sever服务器安装系统新手版

混在learnsite群里已经有几年了吧,但是只有一段时间用了别人现成的一个iso版本还比较老,这次打算自己弄一个,一开始打算linux下弄,结果系统都装完了发现人家说learnsite在linux下有点bug没解决好,只能win下再弄&#x…

Vue+uniapp桃源婚恋交友APP 安卓小程序 nodejs java python

小程序框架:uniapp 小程序开发软件:HBuilder X 开发模式:混合开发本文先提出了开发基于小程序的桃源婚恋交友APP系统的背景意义,然后通过功能性和非功能性分析阐述本系统的需求,然后进行系统设计。技术实现部分选择Jav…

据不可靠消息,ST的新一代机皇正式命名为STM32V8系列,搭载Cortex-M85内核

根据以往的传统单片机命名方式: C0, L0, G0, F0 > Cortex-M0内核 F1, L1 > Corterx-M3内核 F2, F3 > Corterx-M3/M4 F4,G4,L4, L4 > Cortex-M4内核 L5,U5, H5 > Cor…

web安全第一天 ,域名,dns

第一天 什么是域名?域名就是网络地址 在hhtp之后的就是域名 域名在哪里注册呢 国内注册商有很多,在网络上搜索一下阿里云万网就可以注册 什么是二级域名和多级域名 域名通常都是www.开头 ,而www.被称为顶级域名,在搜索的时候…