redis进阶--IDEA环境

目录

一、解决redis服务器端口问题

二、java环境下使用redis

三、javaSpringt环境下使用redis

四、redis持久化

1、持久化概念

2、redis持久化策略

3、RDB策略

4、AOF策略

5、混合持久化策略

五、redis事务

1、数据库事务

2、redis事务特点

3、redis事务的作用

4、redis事务操作

六、主从复制

1、主从模式

2、主从复制

七、哨兵

1、哨兵的作用

2、哨兵原理

3、基于docker搭建redis哨兵环境

4、查看哨兵效果

八、集群

1、集群概念

2、集群的作用

3、集群原理

4、数据分片算法

5、基于docker搭建redis集群

6、集群效果

7、集群扩容

九、redis典型应用--缓存

1、实现过程

2、热点数据

3、缓存淘汰策略

4、缓存存在的问题

十、redis典型应用--分布式锁

1、分布式锁的作用

2、分布式锁的原理

3、分布式锁存在的问题

一、解决redis服务器端口问题

redis客户端在windows环境下(IDEA),redis在linux云服务下,若客户端想访问服务器,首先需要在云服务器外网IP下访问,其次还需要能访问到服务器端口。修改IP后,如何访问到服务器端口???redis的服务器端口默认是被云服务器的防火墙保护着的,即使在外网ip下也是不能访问的。那需要将redis服务器的端口号像tomcat一样,设成开放形式吗???这种做法是不可行的,tomcat即使设成开放形式,黑客也不容易入侵,但若redis设成开放形式,是很容易被黑客入侵的。那如何在不开放端口的情况下,访问到redis服务器???

解决方法:

1、将java代码打包成可执行的jar包,直接在linux服务器上运行。

2、配置ssh端口转发,把云服务器的redis端口,映射到本地主机

ssh支持端口转发,可以将redis服务器端口6379映射到本地端口8888,后续可以直接访问:127.0.0.1:8888就可以访问本机的redis服务器了。

在linux云服务器上进行配置:

检查是否配置成功,输入netstat查看本地是否有8888端口:

ps:当配置了端口转发后,一定要断开连接进行重新连接。

二、java环境下使用redis

1、引入依赖

2、使用(这里就只拿String举例,语法基本和redis命令一样)

(1)get和set

(2)mget和mset

(3)incr和decr

三、javaSpringt环境下使用redis

1、配置文件,连接redis

2、选择redis

3、使用

springboot对redis不同类型进行了封装,可以使用不同类型下的一些方法。

四、redis持久化

1、持久化概念

持久化是指将数据保存在持久存储介质(如硬盘、数据库等),保证数据的长期存储,以便在需要时能够重新读取和处理数据。

2、redis持久化策略

redis将数据放在内存中,内存的特点是访问速度快,但是不能长期存储数据,当计算机关闭或重启时,内存中的数据就会被清空,如何使得redis能持久化存储数据???redis采用RDB和AOF两种策略,将数据同步到硬盘中,当redis重启时,用来恢复数据,使得redis具有持久化。

3、RDB策略

(1)实现原理

触发RDB持久化后,将redis内存中的所有数据生成快照(RDB二进制文件),保存到硬盘。

(2)触发RDB持久化

①手动触发

在redis客户端,执行特定的命令,触发rdb持久化,生成快照。

save命令:阻塞当前redis服务器,无法处理客户端的其他命令,全力以赴的进行快照生成操作。

bgsave命令:redis进程执行fork操作创建子进程,由子进程负责进行快照生成操作,完成后自动结束,redis服务器阻塞只发生在fork阶段。

bgsave执行流程:

当执行bgsave命令时,redis父进程先判断当前是否存在其他正在执行的子进程,如RDB/AOF子进程,如果存在bgsave直接返回;如果没有父进程执行fork操作创建子进程,子进程根据父进程内存数据生成临时快照文件,完成后对原有RDB文件进行替换,并且该进程发送信号给父进程表示完成,父进程更新统计信息。

举例:

此时就会手动写入rdb文件中。rdb文件保存在配置指定的目录,默认为(/var/lib/redis)下,文件名默认为dump.rdb。

假如没有手动写入硬盘,也没有达到自动触发的条件,若重新启动redis服务器,此时会获取到之前的数据吗???

若是通过正常流程启动redis服务器,此时redis在退出的时候会自动触发生成rdb文件;但若是异常重启(kill-9或者服务器掉电),此时redis来不及生成rdb文件,内存中的尚未保存到快照中的数据就会随着重启而丢失。

正常关闭:

异常关闭:

②自动触发

redis也可以自动触发rdb持久化机制。

使用save配置,如:“save m n ”表示m秒内数据集发生了n次修改,自动触发rdb持久化机制;

正常关闭redis服务器时,也会自动触发rdb持久化机制;

redis进行主从复制时,主节点也会自动生成rdb快照,然后将rdb快照文件内容传输给从节点。

以上可以改变自动触发条件。

ps:如果修改了rdb文件内容,并且通过kill -9 关闭进程,则很可能重新启动redis时失败。当rdb文件损坏时,可以使用redis提供的redis-check-dump工具检查rdb文件并获取对应的错误报告。

(3)RDB策略的优缺点

优点:rdb是二进制文件,加载rdb恢复数据较快。

缺点:rdb策略不能实时更新数据到rdb文件,若此时redis服务器挂了,且内存中最新的数据还未更新到rdb文件中,此时这部分数据就丢失了;创建子进程,进行全量数据保存,属于重量级操作,频繁执行成本过高。

4、AOF策略

(1)实现原理

AOF是实时进行持久化的,重启redis时执行AOF文件中的命令达到恢复数据的目的。

所有的写入命令会追加到aof缓存区中,根据缓存区的刷新策略将数据更新到硬盘中(AOF文件),随着AOF文件越来越大,需要定期对AOF文件进行重写,达到压缩目的。当redis服务器进行重启时,可以加载AOF文件进行数据恢复。

(2)AOF文件

首先需要开启aof,当开启aof时,rdb就不再生效了,redis服务器重启时,就不读取rdb文件了。

进入配置文件开启aof:

写入键值对,查看aof文件(路径和rdb一样):

(3)刷新策略

前面提到所有的写入命令会先放到aof缓冲区中,根据刷新策略再将数据更新到硬盘中,从而减少了操作硬盘的次数,提高效率。

刷新策略在配置文件中:

always:命令写入缓冲区就向硬盘中写入,写入频率最高,数据可靠性最高,性能最低;

everysec:同步线程每秒刷新一次缓冲区的数据到硬盘中,写入频率较低,数据可靠性较低,性能较高;

no:redis不会主动刷新缓冲区数据到硬盘中,而是直接交给操作系统去判断,写入频率最低,数据可靠性最低,性能最高。

(4)AOF文件重写

前面提到,当aof文件越来越大时,需要定期对aof文件进行重写,达到压缩的目的。

例如:set key1 111;  set key2 222; set key1 222;

最后的结果应该只有两条,但如果不重写,aof会保存3条数据,此时就要求要定期对aof文件进行重写,压缩文件。

aof文件重写原理:

ps:fork之后的写入命令还需要写到缓冲区和旧aof文件,是为了防止新aof文件突然挂了,此时aof文件就没有fork之后的数据了,数据不准确。

(5)AOF策略优缺点

优点:aof策略是实时更新数据到aof文件,数据可靠性高;

缺点:aof文件是文本文件,加载aof恢复数据较慢。

5、混合持久化策略

redis结合了aof和rdb的特点,引入了混合持久化策略,每一个写入命令按照aof的方式(文本)写入文件,当触发重写时,将缓冲区所有内容以rdb(二进制)写入新文件中,使用新文件替换旧文件。后续进行写入命令时,还是按照aof方式写入文件。

五、redis事务

1、数据库事务

了解redis事务前,先回顾数据库事务。

数据库事务的概念:一组操作,要么全部成功,要么全部失败。

数据库事务的特点:①原子性;②一致性;③持久性;④隔离性;

2、redis事务特点

redis事务和数据库事务一样,都是对一组操作进行打包完成。

特点(数据库事务对比):①弱化的原子性;redis没有回滚机制,一组操作中若有一个命令执行失败,这一组操作还是会继续执行,不要求全部失败;②不保证一致性;redis不涉及约束,不保证结果都是合理有效的;③不需要隔离性;redis是单线程处理请求;④不具备持久性;redis数据存储在内存中不具有持久性,aof和rdb持久策略和事务无关。

3、redis事务的作用

当面对不同的redis客户端时,保证服务器对同一个客户端的一组操作全部执行完毕后,再执行下一个客户端的命令。

4、redis事务操作

(1)multi

开启一个事务,执行成功返回ok。后面的每个命令会先放在客户端队列里。

(2)exec

执行一个事务。

(3)discard

放弃当前事务,清空队列。

(4)watch

在执行事务时,假设客户端1先修改了key1的值为100,然后客户端2修改了key1的值为200,按照时间先后顺序,key1的值应为200,但若exec命令是在客户端2之后,此时key1的值就为100了,此时这种情况就会造成歧义。

使用watch命令监督某个key,若在执行事务时,其他客户端修改了该key,真正提交事务时服务器会发现监督的key版本号已经超过了事务开始时的版本号,就会让事务执行失败,所有命令都不执行。

(5)unwatch

取消对key的监控。

六、主从复制

1、主从模式

(1)作用

主从模式是分布式系统中的一种模式。当只有一个服务器来存储redis数据时,此时若该服务器挂了,后续客户端也无法从redis中读取数据了。在分布式系统中,希望有多个服务器来部署redis服务,构成一个redis集群。即使其中一个挂了,客户端还可以去其他服务器上读取数据,对于读操作的并发量下的可用性进行了提高。

(2)原理

主从模式中,有n个节点,其中有一个主节点,n-1个从节点。主节点可以修改数据,可以读数据;从节点只能读数据;当主节点数据发生变化时,从节点数据也需要一起变化;从节点挂了,不影响redis的使用;主节点挂了,此时就不能修改redis数据了。

2、主从复制

参与复制的redis服务器被划分为主节点和从节点,一个redis服务器只能有一个主节点,但可以拥有多个从节点,复制只能由主节点到从节点。

分布式系统中,每个服务器应该处于不同的云服务器上,但此时博主手里就一个云服务器上,所以就只能启动几个端口不同的redis服务器进行演示。

(1)启动三个不同端口的redis

启动3个不同的redis服务器,端口号分别为:6380、6381、6382。

端口号的设置我们在配置文件中修改,先建立一个目录,里面装3个不同端口redis的配置文件:

修改三个文件的端口号以及开启后台模式:

  

启动三个不同的redis:

(2)建立主从关系

以6380为主节点,6381和6382为从节点,修改从节点配置文件,建立主从关系;

同时需要修改每个节点aof所处的路径,不然会导致每个redis的aof文件是一样的:

以上三个用来放置每个redis服务器对应的aof文件。

修改aof文件的放置路径:

需注意:在修改了配置文件之后,需要重新启动redis.

如果使用命令redis-server+配置文件启动的redis,需要使用kill -p id杀掉redis进程;

如果使用命令service redis-server start这种方式启动的redis,需要使用service redis-server stop杀掉redis进程。

杀掉并重启从节点redis:

重启之后,每个redis就有自己的aof文件了。

(3)客户端与服务器之间建立连接

(4)效果演示

主节点建立key:

从节点获取key:

从节点建立key(失败):

(5)查看节点的状态

主节点:

offset:主节点会不断收到数据,从节点也要同步数据,但这个同步不是瞬间完成的,offset就记录了从节点同步数据的进度。

从节点:

(6)断开连接

主节点与从节点之间也可以断开连接。

例如:断开6380端口对应的redis连接,从节点变为主节点

(7)拓扑

redis的复制拓扑结构可以支持单层或多层复制关系,根据拓扑复杂性可以分为:一主一从、一主多从、树状主从结构。

一主一从:

一主多从:

树状主从结构:

(8)数据同步psync

redis使用psync命令完成主从数据同步,同步过程分为:全量复制和部分复制。

全量复制:一般用于初次复制场景,会把主节点数据一次性全部发送给从节点;

部分复制:由于网络原因导致主从复制数据丢失,从节点再次连接上主节点后,若缺失的数据不多,主节点会部分复制数据给从节点。

实时复制:主从建立连接后,主节点会把自己收到的修改操作,通过tcp长连接,源源不断的传输给从节点,从节点就会根据这些请求修改自身的数据,保证主从节点数据一致。同时,主从节点也都有心跳检测机制,主节点每隔10s对从节点发生ping命令,判断从节点是否存活;从节点每隔1s向主节点发送命令告诉主节点当前复制偏移量。60s后没有响应,判断从节点下线,断开连接,从节点恢复连接后,心跳机制继续进行。

psync语法格式:psync replicationid offset

replicationid:指主节点的复制id,主节点启动或者从节点晋升为主节点都会生成一个replicationid

offset:偏移量,主节点每次在进行写入命令后,其偏移量会累加;从节点每次在复制主节点的数据后,其偏移量也会累加;当主节点的偏移量与主节点的偏移量相等时,此时主从节点数据一样。

注:当replicationid默认值为?,offset的默认值为-1时,此时为全量复制;

(9)psync运行流程

①初次复制,从节点发生psync命令给主节点,replid默认值为?,offset默认值为-1;

②主节点根据psync参数和自身数据情况决定响应结果:

如果回复+FULLRESYNC,则从节点需要进行全量复制;

如果回复+CONTINEU,从节点进行部分复制流程;

如果回复-ERR,说明redis主节点版本过低,不支持psync命令;

七、哨兵

1、哨兵的作用

Redis的主从复制模式下,一旦主节点挂了,不仅需要人工进行主从切换,还需要通知客户端更换到其他节点上,这种方式效率较低,于是redis就提供了哨兵(Redis Sentinel)来解决这个问题。

2、哨兵原理

每个redis sentinel都是一个单独的进程(一般为多个,且是奇数),每个进程会和节点建立tcp长连接,定时发生心跳包。若规定时间内未得到回应,该哨兵就会认为此节点出现了故障,若此节点是主节点,其他哨兵也会来判断主节点是否是真的挂了,若哨兵达成共识认为主节点挂了,此时哨兵之间会通过raft算法选举出一个哨兵领导角色,由该哨兵负责在从节点中挑选出一个主节点,被挑选出的从节点执行slaveof no one,并且其他从节点要和新选出的主节点建立主从联系。哨兵节点也会自动通知客户端新的主节点,并且后续客户端进行写操作是写入到了新的主节点中。后续如果旧的主节点恢复了,它会成为一个从节点。

3、基于docker搭建redis哨兵环境

(1)基于ubuntu下安装docker

①安装依赖

②添加Docker官方GPG密钥

③添加Docker的软件源

④安装docker

⑤配置用户组

⑥安装工具

⑦重启docker

⑧查看版本

(2)安装docker-compose

(3)停止之前的redis服务器

(4)使用docker获取redis的镜像

(5)docker-compose进行容器编排

此时我们需要6个容器,其中3个Redis服务器(1主2从),3个哨兵节点。

可以使用yml配置文件进行批量启动,3个redis服务器为1个配置文件,3个哨兵节点为1个配置文件。

①创建两个目录,分别放redis和哨兵节点的配置

②配置redis服务器的容器

③创建服务器的容器并启动

④配置redis哨兵节点的容器

⑤创建redis节点容器并启动

此时若直接使用命令redis-compose up -d会报错,是因为哨兵节点需要监控主节点或从节点中的一个,但这两部分是分成两部分来创建的容器,处于不同的局域网中,这两部分是不能互通的,此时需要将哨兵节点加入到主从节点局域网中。

查找主从节点的局域网:

将哨兵节点加入到主从节点的局域网中:

启动哨兵节点:

4、查看哨兵效果

(1)客户端分别连接不同端口服务器并查看服务器角色

(2)模仿主节点服务器宕机 观察其他从节点

其他从节点中的一个被改为主节点。此时,即使原本的主节点恢复正常,它也依旧是主节点,原本的主节点被改为从节点。

八、集群

1、集群概念

(1)广义的集群

指多个机器构成了分布式系统。

(2)狭义的集群

redis提供的集群模式指狭义的集群,主要是拓展节点的存储空间,解决存储空间不足的问题。

2、集群的作用

虽然redis在主从复制中可以拥有多个服务器支持读请求,但是此时每个节点中存储的依旧是全量数据,若数据过多,存储空间会不足,此时就需要多个机器存储数据,每个机器存储部分数据,且每个机器又会搭配一组从节点和哨兵节点。

3、集群原理

每个红框部分可以称为一个分片。

4、数据分片算法

对于增加的数据,应如何进行分片呢???

(1)哈希求余

①原理:假设有N个分片,编号为[0,N-1]。对于每个key,计算hash值,hash值%N,结果即为分片编号。

②优点:简单高效,数据分配均匀。

③缺点:一旦分片进行扩容,就需要对全部数据进行重新分配,需要搬运的数据较大,开销较多。

(2)一致性哈希算法

①原理

先将0-->2^32-1个数据空间映射到圆环上,数据按照顺时针方向增长。

假设现在有三个分片:

对于key求完hash值后,hash值在哪个区间内,即就属于对应分片。

若此时增加一个分片:

此时就需要对0号分片的数据进行重分配,判断是属于0号分片还是3号分片,但1号分片和2号分片对应数据不需要改变。

②优点:大大降低了分片扩容时数据搬运的规模,提高扩容操作效率。

③缺点:分片对应数据分配不均匀。

(3)哈希槽分区算法--redis使用

①原理:

假设有三个分片,将哈希值映射到16384个槽位上(哈希值%16384),将这16384个槽位均匀的分配给每个分片上。

0号分片:[0,5461],共5462个槽位;

1号分片:[5462,10923],共5462个槽位;

2号分片:[10924,16384],共5460个槽位。

此时就可以根据key计算hash值,将hash值进行映射得到哈希槽位,根据哈希槽位找到区间判断是几号分片即可。

若此时增加一个分片,一种可能的分配方式:

0号分片:[0,4095],共4096个槽位;

1号分片:[5462,9557],共4096个槽位;

2号分片:[10924,15019],共4096个槽位。

3号分片:[4096,5461]+[9558,10923]+[15019,16384],共4096个槽位。

ps:此时大家一定有个疑问,为什么是16384个槽位呢???

这主要是基于性能和资源利用的考虑,在redis节点发生心跳包时,需要将槽信息放入心跳包中,以便让节点了解当前集群的状态,若槽的数量过多,会导致心跳包的大小增加,进而增加网络传输负担和节点处理压力;若槽的数量过少,则可能无法充分利用集群的资源。因此,考虑到集群的稳定性和资源的充分利用,redis设计者选择了16384槽位作为默认槽位,且建议分片数量不要超过1000。

②优点

进行分片扩容或缩容较为方便。

③缺点

计算复杂。

5、基于docker搭建redis集群

(1)创建redis节点

创建11个redis节点,其中3个一组为1个分片,一组中有1个主节点2个从节点,剩余2个用于扩容示范。

考虑到创建节点较多,可以使用脚本:

创建一个目录:redis-cluster

在该目录下创建两个文件,第一个文件放docker配置;第二个文件放shell脚本,可以批量化执行,创建出11个节点的配置文件。

向generate.sh文件中写入脚本:

执行shell脚本:

执行成功后,就生成了11个配置文件:

(2)配置redis容器

向docker-compose.yml文件中添加docker配置(其中某一个redis节点的docker配置):

172.30.0.0是静态ip地址中的网络号,要保证该ip是内网且不能和当前主机上其他网络号冲突(ifconfig命令可以查询)。

(3)启动redis容器

(4)构建集群

包括参与集群的端口号和每个分片包含的从节点个数。

集群信息:包括主从关系和槽位分配。

集群配置成功:

集群信息:

6、集群效果

(1)添加key

直接在101分片中添加key1:

此时发现会报错,是因为key1的hash值为9189,属于102分片,无法在101分片添加。

换一种方式添加key1:

添加-c选项后,就可以自动根据槽位自动进行分片转换了。

注意:在集群环境下,无法操作多个key。

(2)集群中主节点挂掉

挂掉redis1主节点:

此时发现redis5就会成为主节点。

当redis1恢复后,它也是以从节点方式进行运行的:

(3)集群环境下节点故障处理原理

每个节点,每秒钟会随机给一些节点发生ping包,通过节点是否在规定时间返回pong包判断节点是否正常。

假设A节点发生ping包给B节点,在规定时间内若A节点未收到B节点返回的pong包,A就会尝试和B重新进行tcp连接,若没有连接成功,A就会认为B挂掉了,并且通过Gossip协议和其他节点进行沟通,确认B是否挂掉,若超过一半的集群个数认为B挂掉了,此时A就会把B标记为FAIL,并告诉其他节点。

当B是从节点时,此时不会进行故障迁移;当B是主节点时,会进行故障迁移。

故障迁移:由B的从节点(假设为C和D触发故障迁移)。

①从节点先判断自己是否有资格竞选主节点,若太久没有和主节点通信,则从节点失去竞选资格;

②具有竞选资格的从节点会休眠一定时间,休眠时间和offset值有关,值越大,排名越靠前,休眠时间越少。

③休眠时间到的从节点会进行拉票操作,且只有主节点具有投票资格,当从节点的票数超过主节点个数一半时,该节点就会晋升成主节点。

④该节点会把晋升为主节点的消息告诉给其他集群节点,更新保存集群结构信息。

(4)整个集群环境宕机的情形

①一个分片的主从节点全部挂掉;

②一个分片主节点挂掉,但是没有从节点;

③短时间内,集群环境中超过一半的主节点全部挂掉。

7、集群扩容

实现效果:当前集群环境为3个分片,打算扩容为4个分片,110主机为主节点,111主机为从节点。

(1)将110主机对应节点加入集群环境中

110是一个master,但此时还没有槽位:

(2)重新分配哈希槽位

调用命令:

 移动1/4的哈希值:

选择哪个节点(110对应的ID)来接受这些移动的哈希值:

选择这些slots从哪些节点搬运(填写all表示所有主节点都要进行搬运,done表示自定义):

重新分配后的slots:

注意:在进行扩容时,搬运key时,对应key是无法进行访问的。

(3)将111主机对应节点加入集群环境中

111主机对应节点为110的从节点:

九、redis典型应用--缓存

数据访问速度:cpu寄存器>内存>硬盘>网络。

可以将数据存储在内存中,作为硬盘的缓存。数据库是将数据存储在硬盘中,redis是将数据存储在内存中,可以使用redis作为数据库的缓存,从而提高数据的访问效率。

1、实现过程

客户端发起查询请求,服务器先查询redis,如果redis中存在则直接返回数据,如果redis中不存在,则再去数据库中查询。

我们需要在redis中存放20%的热点数据,就可以使80%的请求不再真正查询数据库了。

2、热点数据

哪些数据属于热点数据呢???

(1)定期生成

每隔一定周期(一天/一周/一月),对于访问的数据频率进行调查,选取前20%的数据作为热点数据,但这部分热点数据不具有实时性。

(2)实时生成

给redis设置容量上限(配置文件中maxmemory参数),针对每次查询,如果在redis中查到了就直接返回,若干redis中不存在,就在数据库中查询,把查到的结果写入redis中。如果redis容量已经达到上限,此时就会触发缓存淘汰策略(配置文件中可以修改)。持续一段时间后,redis的数据就是热点数据了。

3、缓存淘汰策略

(1)volatile-lru:当redis容量达到上限后,在设置了过期时间的key中,根据最后一次使用时间算法进行淘汰,淘汰最久未使用的。

(2)allkeys-lru:当redis容量达到上限后,在所有key中,根据最后一次使用时间算法进行淘汰,淘汰最久未使用的。

(3)volatile-lfu:当redis容量达到上限后,在设置了过期时间的key中,根据最近一段时间访问次数算法进行淘汰,淘汰访问次数最少的。

(4)allkeys-lfu:当redis容量达到上限后,在所有key中,根据最近一段时间访问次数算法进行淘汰,淘汰访问次数最少的。

(5)volatile-random:当redis容量达到上限后,在设置了过期时间的key中,随机淘汰key。

(6)allkeys-random:当redis容量达到上限后,在所有key中,随机淘汰key。

(7)volatile-ttl:当redis容量达到上限后,在设置了过期时间的key中,越早过期的优先被淘汰。

(8)noeviction:默认策略,当redis容量达到上限后,新写入操作会报错。

4、缓存存在的问题

(1)缓存预热

①问题描述

刚开始启动redis或redis宕机时,此时redis上没有数据,全部请求都会发送到数据库,会给数据库带来压力。

②产生原因

redis上没有热点数据。

③解决方法

提前将热点数据准备好写入reids中。

(2)缓存雪崩

①问题描述

短时间内,redis上的大量key失效,导致数据库压力剧增。

②产生原因

redis宕机或者大量key同时达到过期时间。

③解决方法

部署高可用的redis集群或者对key不设置过期时间。

(3)缓存穿透

①问题描述

对于一些key,redis和数据库中都没有,但一直持续访问数据库获取结果,会给数据库带来压力。

②产生原因

业务设计不合理,比如缺失校验环节,导致非法key持续查询;错误操作导致数据库数据被误删;

③解决方法

针对要查询的key,检验key是否合法;使用布隆过滤器先判断key是否存在,再真正进行查询。

(4)缓存击穿

①问题描述

一些热点数据在redis上过期失效了,导致数据库压力骤增。

②产生原因

热点数据过期失效。

③解决方法

对于热点数据不设置过期时间;服务降级,限制同时请求数据库的并发数。

十、redis典型应用--分布式锁

1、分布式锁的作用

在一个分布式系统中,会涉及到多个redis服务器访问同一个公共资源的情况,此时就需要加锁来避免出现线程安全类似的问题。

但此时加锁有个问题,java的synchronized锁是针对于同一个进程的不同线程加锁,而分布式系统中,一个服务器就代表一个进程,此时就需要分布式锁来实现进程间的加锁。

2、分布式锁的原理

使用redis实现分布式锁。

对于多个服务器实现买票来说:A服务器需要实现买票请求,就在redis中使用setnx创建一个指定的key,相当于加锁。此时若B服务器也想实现买票请求,当在redis中操作setnx时,key已经存在,此时就会设置失败,B服务器是阻塞还是放弃自行决定;当A服务器实现买票请求后,进行delete操作删除key,相当于释放锁,此时其他服务器就可以进行加锁实现买票请求了。

3、分布式锁存在的问题

(1)锁未释放

①问题描述

在上述中,A服务器在买票过程中,此时A服务器突然挂掉了,但key没有删掉(未释放锁),其他服务器也无法设置key(加锁)。

②问题解决

给key设置过期时间,若超过规定时间,则key就会失效(锁释放)。但若超过规定时间,加锁下的操作还未完成,此时释放锁就会出现问题。但也不能将过期时间设置太长,会影响其他服务器加锁操作。此时我们就可以考虑设置动态过期时间。

动态过期时间:刚开始设置一个过期时间(比如1s),当key的过期时间快到达1s时,加锁下的操作还未完成,就使得key再增加1s,一直重复操作,直到加锁下的操作完成,就可以不再增加过期时间了。此时即使服务器挂掉了,过期时间不会增加,到达过期时间就会删除key。对于上述key的过期时间有专门的线程进行管理--看门狗

(2)加锁解锁不是同一个服务器操作

①问题描述

在上述中,A服务器进行加锁后,B服务器又紧接着进行了解锁,此时可能会出现类似线程安全问题。

②问题解决

在加锁时引入校验机制。

每个服务器都有自己的身份编号,A服务器在redis中进行setnx时,value值填入自己的身份编号,此时B服务器若想删除该key,就需要获取key对应的value值,value值和自己身份编号相同才能删除,不相同则不能删除。

(3)删除key(释放锁)不是原子的

①问题描述

服务器在释放锁时需要先查询,再删除,两步操作不是原子的,存在问题。

②问题解决

为了使解锁操作具有原子性,可以使用redis的lua脚本。

lua也是一个编程语言,lua语言实现的一段逻辑,可以被原子的执行。此时就可以使用lua语言实现key删除逻辑,并将代码编写成一个.lua后缀的文件,后续执行key删除时,就可以使redis服务器执行该lua脚本,使得删除key是原子操作的。

lua语言编写的删除功能:

(4)redis挂掉了

①问题描述

在使用redis实现分布式锁时,也可能会出现redis挂掉的情况。

②问题解决

引入更多的redis节点作为备份,加锁时,给redis节点加锁成功的个数超过redis总节点数的一半时,此时才会加锁成功;其他服务器想加锁,就需要遍历全部redis节点判断是否存在key。释放锁时,也需要遍历全部redis节点删除key。(redlock算法)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/595668.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

jquery项目 html使用export import方式调用模块

jquery的老项目,引入vue3, 需要方便使用export, import方式引用一些常用的方法与常量 导出模块 export js/numberUtil.js /*** Description:* Author Lani* date 2024/1/10*//* * 【金额】 保留2位小数,不四舍五入 * 5.992550 >5.99 , 2 > 2.…

Linux字符设备驱动(二) - 与设备驱动模型的关系

一,从/dev目录说起 从事Linux嵌入式驱动开发的人,都很熟悉下面的一些基础知识, 比如,对于一个char类型的设备,我想对其进行read wirte 和ioctl操作,那么: 1)我们通常会在内核驱动中…

2024-05-06 问AI: 介绍一下深度学习中的LSTM网络

文心一言 当谈到深度学习中的LSTM(Long Short-Term Memory)网络时,它是一种特殊的循环神经网络(RNN)架构,旨在解决传统RNN在处理长序列时遇到的梯度消失和梯度爆炸问题。LSTM网络因其能够捕捉序列数据中的…

VTK —— 三、简单操作 - 示例1 - 3D点之间的平方距离和欧几里得距离(附完整源码)

代码效果 本代码编译运行均在如下链接文章生成的库执行成功,若无VTK库则请先参考如下链接编译vtk源码: VTK —— 一、Windows10下编译VTK源码,并用Vs2017代码测试(附编译流程、附编译好的库、vtk测试源码) 教程描述 本…

如何使用resource-counter统计跨Amazon区域的不同类型资源数量

关于resource-counter resource-counter是一款功能强大的命令行工具,该工具基于纯Python 3开发,可以帮助广大研究人员跨Amazon区域统计不同类型资源的数量。 该工具在统计完不同区域的各类资源数量后,可以在命令行中输出并显示统计结果。res…

【C++ | 语句】条件语句(if、switch)、循环语句(while、do while、for、范围for)、跳转语句、try语句块和异常处理

😁博客主页😁:🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑:🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 ⏰发布时间⏰:2024-05-02 2…

Vue前端环境准备

vue-cli Vue-cli是Vue官方提供的脚手架,用于快速生成一个Vue项目模板 提供功能: 统一的目录结构 本地调试 热部署 单元测试 集成打包上线 依赖环境:NodeJs 安装NodeJs与Vue-Cli 1、安装nodejs(已经安装就不用了) node-…

【PuTTY/PuttyGen创建密钥及利用密钥登录服务器】

PuTTY/PuttyGen创建密钥及利用密钥登录服务器http://t.csdnimg.cn/n7kJ9

W801学习笔记十九:古诗学习应用——下

经过前两章的内容,背唐诗的功能基本可以使用了。然而,仅有一种模式未免显得过于单一。因此,在本章中对其进行扩展,增加几种不同的玩法,并且这几种玩法将采用完全不同的判断方式。 玩法一:三分钟限时挑战—…

SpringBoot自动连接数据库的解决方案

在一次学习设计模式的时候,沿用一个旧的boot项目,想着简单,就把数据库给关掉了,结果报错 Consider the following: If you want an embedded database (H2, HSQL or Derby), please put it on the classpath. 没有数据库的需…

75.网络游戏逆向分析与漏洞攻防-角色与怪物信息的更新-伪造服务端更新属性消息欺骗客户端

免责声明:内容仅供学习参考,请合法利用知识,禁止进行违法犯罪活动! 如果看不懂、不知道现在做的什么,那就跟着做完看效果,代码看不懂是正常的,只要会抄就行,抄着抄着就能懂了 内容…

IRFBC30PBF 进口原装现货 TO-220直插 N沟道 600V/3.6A 场效应管

IRFBC30PBF是一款通用型高性能MOSFET,它可以应用于多种电子和电力电子设备中。以下是一些可能的应用案例: 1. 开关电源:在开关电源设计中,IRFBC30PBF可以作为高频开关来控制电源的通断,实现电压转换和电流控制。 2. …

自动驾驶融合定位系列教程四:惯性导航解算

自动驾驶融合定位系列教程四:惯性导航解算 一、概述 惯性导航的解算是一个实现起来非常简单,但是理解起来要费一番功夫的东西,所谓“实现”就是把公式变成代码,所谓“理解”,就是要弄明白几个公式是怎么推导出来的。…

【driver5】调用堆栈函数,printk,动态打印,ftrace,proc,sysfs

文章目录 1.内核函数调用堆栈:4个函数2.printk:cat /proc/cmdline查看consolettyS03.动态打印:printk是全局的且只能设打印等级,动态打印可控制选择模块的打印,在内核配置打开CONFIG_DYNAMIC_DEBUG4.ftrace&#xff1a…

【考研数学】武忠祥「基础篇」如何衔接进入强化?

如果基础篇已经做完,并且讲义上的例题也都做完了, 那下一步就是该做题了 这个时候,不能盲目做题,做什么题很重要!我当初考研之前,基础也很差,所以考研的时候选了错误的题集,做起来就…

AI+客服行业落地应用

一、客服行业变迁 1.传统客服时代 (1)客服工作重复性高,技术含量低 (2)呼出效率低,客服水平参差不齐 (3)管理难度高,情绪不稳定 (4)服务质量…

偏微分方程算法之椭圆型方程差分格式编程示例

目录 一、示例1-五点菱形格式 1.1 C代码 1.2 计算结果 二、示例2-九点紧差分格式 2.1 C代码 2.2 计算结果 三、示例3-二阶混合边值 3.1 C代码 3.2 计算结果 本专栏对椭圆型偏微分方程的三种主要差分方法进行了介绍,并给出相应格式的理论推导过程。为加深对…

“全国首批EVO+ ICL(V5)临床应用专家”授牌仪式在铭依眼科举行

近日,“全国首批EVO ICL(V5)新技术临床应用专家”授牌仪式在上海铭依眼科门诊部举行。仪式现场,瑞金医院谢冰教授获得此项荣誉称号。铭依眼科连锁医疗机构创始人吴英、Staar Surgical代表出席仪式现场。 为让近视人群不出国门即可…

ECC 号码总结

1、问题背景 在手机开发过程中,经常遇见各种紧急号码问题,在此特意总结下紧急号码相关知识。 2、紧急号码来源 在MTK RILD EccNumberSource.h中,定义了如下几种紧急号码来源。 按优先级排序介绍如下 2.1、SOURCE_NETWORK 网络下发&#xff…

车牌检测识别功能实现(pyqt)

在本专题前面相关博客中已经讲述了 pyqt + yolo + lprnet 实现的车牌检测识别功能。带qt界面的。 本博文将结合前面训练好的模型来实现车牌的检测与识别。并用pyqt实现界面。最终通过检测车牌检测识别功能。 1)、通过pyqt5设计界面 ui文件如下: <?xml version="1…
最新文章