Python 框架学习 Django篇 (十) Redis 缓存

news2024/12/26 11:02:01

     开发服务器系统的时候,程序的性能是至关重要的。经过我们前面框架的学习,得知一个请求的处理基本分为接受http请求、数据库处理、返回json数据,而这3个部分中就属链接数据库请求的响应速度最慢,因为数据库操作涉及到数据库服务处理请求,读写硬盘数据

     而操作数据库的增、删、改、查中,查询属于读取数据,而删除、修改、增加属于写入数据,我们做缓存也主要是给查询这块的数据做优化

一、缓存的原理

      众所周知,从内存中读写数据的速度要比去磁盘中读写的速度要快,而缓存就是先将我们要查询的数据从mysql数据库中读取一份,然后放到内存中,因为避免了从硬盘读取表记录的操作,程序访问内存的速度要比访问数据库快很多,特别是当一个读操作要涉及到多张表的联合查询,或者这些表比较大,就会非常耗时

      而做缓存可以使用多种方案,最简单的直接通过python的字典做缓存,但这种方法同时也具有很大的弊端,比如不支持分布式,当业务量大的时候部署到不同主机会造成严重的资源占用问题,并且当有一台主机上的缓存数据需要更新时,要通知其他节点一起更新,比较麻烦, 还要防止 数据同步前 可能不同节点给出的数据不一致的问题,而RedisMemcached 是目前两种主流的缓存服务方案,我们这里使用redis做缓存

1、redis部署

网上装redis的教程很多我这里不在赘述,为了省事直接用docker部署了

mkdir /apps/demo/redis/{conf,data} -p
cd /apps/demo/redis


#拉取镜像
docker pull redis:6.2.7

  vi conf/redis.conf

bind 0.0.0.0


maxmemory 4GB
maxmemory-policy allkeys-lru
maxmemory-samples 10

tcp-backlog 511


aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes
rdbcompression yes
rdbchecksum yes


aof-rewrite-incremental-fsync yes

requirepass 123456
rename-command FLUSHDB ""
rename-command FLUSHALL ""
rename-command CONFIG ""


activerehashing yes
dynamic-hz yes
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64

配置说明

bind 0.0.0.0     #允许外部访问

## 内存优化
maxmemory 4GB                                   # 设置Redis实例的最大内存限制
maxmemory-policy allkeys-lru                    # 设置在达到最大内存限制时所采取的淘汰策略为LRU(最近最少使用)
maxmemory-samples 10                            # 指定在key的过期删除策略中随机抽取的样本数目

## 网络优化
tcp-backlog 511                                 # 设置内核中由Redis监听的TCP连接的最大长度

## 持久化优化
aof-rewrite-incremental-fsync yes               # 启用AOF(Append Only File)增量式文件同步
rdb-save-incremental-fsync yes                  # 使用增量传输来持久化RDB文件
rdbcompression yes                              # 开启RDB文件的压缩
rdbchecksum yes                                 # 启用RDB文件的校验和

## AOF压缩
aof-rewrite-incremental-fsync yes               # 启用AOF(Append Only File)增量式文件同步

## 安全
requirepass yourpassword                        # 设置Redis服务器连接密码
rename-command FLUSHDB ""                       # 重命名FLUSHDB命令
rename-command FLUSHALL ""                      # 重命名FLUSHALL命令
rename-command CONFIG ""                         # 重命名CONFIG命令

## 性能优化
activerehashing yes                             # 启用集群环境的rehashing(对已有的键表重新分布)
dynamic-hz yes                                 
hash-max-ziplist-entries 512                    # 设置hash结构的压缩阈值
hash-max-ziplist-value 64                       # 设置hash结构的压缩阈值
list-max-ziplist-entries 512                    # 设置list结构的压缩阈值
list-max-ziplist-value 64                       # 设置list结构的压缩阈值
set-max-intset-entries 512                      # 设置intset编码的集合的最大元素数量
zset-max-ziplist-entries 128                    # 设置zset结构的压缩阈值
zset-max-ziplist-value 64                       # 设置zset结构的压缩阈值

2、启动服务

vi ./run.sh

 docker run -p 36379:6379 --name redis \
 -v ./data:/data \
 -v ./conf/redis.conf:/etc/redis/redis.conf \
 -d redis:6.2.7 \
 redis-server /etc/redis/redis.conf

运行

sh run.sh

二、Redis使用

Redis是一个数据仓库服务,这个仓库里面可以存储很多 数据对象

存储的每个数据对象都有一个key,根据这个key,可以找到这个对象。

要添加一个数据对象,必须为这个数据对象指定一个key,就像指定一个房间号

Redis key 对应的value支持多种数据对象,可以是字符串、列表、哈希对象

 

 查阅资料的时候发现有一篇同样讲缓存的帖子很不错,这里留个档

https://blog.csdn.net/qq_43745578/article/details/128569060

 1、登录redis

#登录redis容器
docker exec -it redis bash

#通过redis客户端登录数据库
redis-cli -h 127.0.0.1

#认证用户
auth 123456

 

2、redis数据库切换

redis数据库和mysql一样都是包含很多个数据库的,编号为0-15,通过select 命令切换不同的数据库使用,每个数据库我们可以看作是一个仓库用来存放货物,默认编号为0 ,现在我们切换到1号数据库然后进行下面的仓库,切换完后能看到端口后面跟着个1

select 1

 

3、添加数据

上面说了,redis可以存放各种类型的数据,字符串、列表、哈希对象等等,而根据不同类型的数据,redis也有想对应的命令,比如我们要存入的数据是一个字符串,那么新增的命令就是set,而对应的查询命令为 get  key名

127.0.0.1:6379[1]> set zhangsan:1 ynby
OK

127.0.0.1:6379[1]> get zhangsan:1
"ynby"

4、查询所有的key

很多时候我们是不记得key的名称,就需要模糊查询一下key有那些

127.0.0.1:6379[1]> keys zha*
1) "zhangsan:1"
127.0.0.1:6379[1]>

5、删除数据

127.0.0.1:6379[1]> del zhangsan:1
(integer) 1
127.0.0.1:6379[1]> keys *
(empty array)

6、添加哈希值

如果我们要存入 Redis的对象比较复杂,比如用户信息,包括等级、金币、姓名等等,

可以使用哈希(Hash)对象,Redis 哈希对象的每个字段 ,术语称之为 field

存入Hashes,就使用客户端命令 hmset 或者 hset

#添加hash值
127.0.0.1:6379[1]> hmset user:2001 level 10 coin 1977 name 你好
OK

#获取单个字段的值hget
127.0.0.1:6379[1]> hget user:2001 coin
"1977"


#获取所有字段的值hgetall
127.0.0.1:6379[1]> hgetall user:2001
1) "level"
2) "10"
3) "coin"
4) "1977"
5) "name"
6) "\xe4\xbd\xa0\xe5\xa5\xbd"

上面案例中的name字段的值被utf8编码了,客户端程序在使用时根据需要进行相应解码

7、定义哈希表

既然 Hash 本身就是一个字典,我们通常还会把整个用户表都直接放入 一个hash里面

可以给这个hash对应的对象 起一个key名为 usertable

#添加表数据
hmset usertable u2001  id:2001|level:10|coin:1977|name:张三
hmset usertable u2002  id:2002|level:13|coin:1927|name:李四

#查询表数据
127.0.0.1:6379[1]> hget usertable u2002
"id:2002|level:13|coin:1927|name:\xe6\x9d\x8e\xe5\x9b\x9b"

 步骤6、7保存的方法各有个的缺点,方案6是方便修改单个field的值,但是容易出现大量的key,方案7虽然全局查看key较为方便,但没办法修改单个field的值,只能一起修改

三、Django项目缓存配置

1、安装redis库

pip install django-redis

2、配置django全局缓存

Django_demo/Django_demo/settings.py

CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://101.43.156.78:36379/1",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            # 密码
            'PASSWORD': '123456',  #没有密码就去掉这行
        }
    }
}

 上面的这段配置可以放在数据库 DATABASES 配置项的下方。LOCATION 配置项最后的数字1 是 DB number,指定redis的数据库号

3、使用缓存配置

不是任何数据库的数据都应该使用缓存,至少满足两个要求(频繁读取的数据 、较少变动的数据)

如果这个数据写入后基本就不会在修改了,但是需要经常性的读取,那么他就是一个值得缓存的数据

举个例子

      在前面编写的案例中,属于药品的信息就符合上面的两点要求,我们可以在处理列出药品 的API接口 的代码中,把数据库读出的内容进行缓存,这里我们采用上面的缓存方案二(redis使用-7)把所有的 列出药品都放在一个哈希对象中

      首先,我们需要为 列出药品的缓存 创建一个key,名字为 medicinelist因为我们将来会有很多种类型的数据要缓存,它们有不同的key,所以建议统一放在配置文件 settings.py

 Django_demo/Django_demo/settings.py

# 记录全局的缓存key,防止重复
class CK:
    # 列出药品 的 缓存 key
    MedineList   = 'list_medicine'
    # 列出客户 的 缓存 key
    CustomerList = 'list_customer'

这样的好处是,放在一起,如果有重复的key名,比较容易发现

4、修改查询数据的缓存配置

我们将原先的查询数据库返回的数据,交给redis

Django_demo/mgr/medicine.py

#添加
from Django_demo import settings
import json
import traceback
from django.core.paginator import Paginator, EmptyPage
from django.db.models import Q
from django_redis import get_redis_connection

# 获取一个和Redis服务的连接
rconn = get_redis_connection("default")

def listmedicine(request):
    try:
        # 查看是否有 关键字 搜索 参数
        keywords = request.params.get('keywords',None)
        # 要获取的第几页
        pagenum = request.params['pagenum']
        # 每页要显示多少条记录
        pagesize = request.params['pagesize']

        # 先看看缓存中是否有
        cacheField = f"{pagesize}|{pagenum}|{keywords}" # 缓存 field

        cacheObj = rconn.hget(settings.CK.MedineList,
                              cacheField)


        # 缓存中有,需要反序列化
        if cacheObj:
            print('缓存命中')
            retObj = json.loads(cacheObj)


        # 如果缓存中没有,再去数据库中查询
        else:
            print('缓存中没有')

            # 返回一个 QuerySet 对象 ,包含所有的表记录
            qs = Medicine.objects.values().order_by('-id')

            if keywords:
                conditions = [Q(name__contains=one) for one in keywords.split(' ') if one]
                query = Q()
                for condition in conditions:
                    query &= condition
                qs = qs.filter(query)


            # 使用分页对象,设定每页多少条记录
            pgnt = Paginator(qs, pagesize)

            # 从数据库中读取数据,指定读取其中第几页
            page = pgnt.page(pagenum)

            # 将 QuerySet 对象 转化为 list 类型
            retlist = list(page)

            retObj = {'ret': 0, 'retlist': retlist,'total': pgnt.count}

            # 存入缓存
            rconn.hset(settings.CK.MedineList,
                       cacheField,
                       json.dumps(retObj))

        # total指定了 一共有多少数据
        return JsonResponse(retObj)

    except EmptyPage:
        return JsonResponse({'ret': 0, 'retlist': [], 'total': 0})

    except:
        print(traceback.format_exc())
        return JsonResponse({'ret': 2,  'msg': f'未知错误\n{traceback.format_exc()}'})

这样,我们就确保了,处理列出药品的请求时,优先从缓存中读取,如果没有再从数据库读取。

并且数据库读取到数据后,存入缓存,这样下次同样的请求就可以从缓存中获取数据了

5、添加缓存数据更新

      使用缓存一定要注意缓存数据的更新,我们前面做完了缓存,如果我们后面对药品数据做出了添加、修改、删除的操作,那么缓存里面的数据就和数据库不一致了,如果我们每次都更新缓存是很麻烦的,简单的方法就是直接删除对应的缓存数据,这样下次请求时缓存中没了数据,还是会去数据库中读取的,这样就能拿到最新的数据到缓存中

def addmedicine(request):

    info    = request.params['data']

    # 从请求消息中 获取要添加客户的信息
    # 并且插入到数据库中
    medicine = Medicine.objects.create(name=info['name'] ,
                            sn=info['sn'] ,
                            desc=info['desc'])


    # 同时删除整个 medicine 缓存数据
    # 因为不知道这个添加的药品会影响到哪些列出的结果
    # 只能全部删除
    rconn.delete(settings.CK.MedineList)

    return JsonResponse({'ret': 0, 'id':medicine.id})


def modifymedicine(request):

    # 从请求消息中 获取修改客户的信息
    # 找到该客户,并且进行修改操作

    medicineid = request.params['id']
    newdata    = request.params['newdata']

    try:
        # 根据 id 从数据库中找到相应的客户记录
        medicine = Medicine.objects.get(id=medicineid)
    except Medicine.DoesNotExist:
        return  {
                'ret': 1,
                'msg': f'id 为`{medicineid}`的药品不存在'
        }


    if 'name' in  newdata:
        medicine.name = newdata['name']
    if 'sn' in  newdata:
        medicine.sn = newdata['sn']
    if 'desc' in  newdata:
        medicine.desc = newdata['desc']

    # 注意,一定要执行save才能将修改信息保存到数据库
    medicine.save()

    # 同时删除整个 medicine 缓存数据
    # 因为不知道这个修改的药品会影响到哪些列出的结果
    # 只能全部删除
    rconn.delete(settings.CK.MedineList)

    return JsonResponse({'ret': 0})


def deletemedicine(request):

    medicineid = request.params['id']

    try:
        # 根据 id 从数据库中找到相应的药品记录
        medicine = Medicine.objects.get(id=medicineid)
    except Medicine.DoesNotExist:
        return  {
                'ret': 1,
                'msg': f'id 为`{medicineid}`的客户不存在'
        }

    # delete 方法就将该记录从数据库中删除了
    medicine.delete()

    # 同时删除整个 medicine 缓存数据
    # 因为不知道这个删除的药品会影响到哪些列出的结果
    # 只能全部删除
    rconn.delete(settings.CK.MedineList)

    return JsonResponse({'ret': 0})

6、测试访问药品表

下面测试一下查询药品表后redis是否缓存成功

vi main.py

import  requests,pprint

#添加认证
payload = {
    'username': 'root',
    'password': '12345678'
}
#发送登录请求
response = requests.post('http://127.0.0.1:8000/api/mgr/signin',data=payload)
#拿到请求中的认证信息进行访问
set_cookie = response.headers.get('Set-Cookie')




# 构建添加 客户信息的 消息体,是json格式
payload = {
    'action': 'list_medicine',
    'pagenum': 1,
    'pagesize' : 3
}

url='http://127.0.0.1:8000/api/mgr/medicines/'

if set_cookie:
    # 将Set-Cookie字段的值添加到请求头中
    headers = {'Cookie': set_cookie}

    # 发送请求给web服务
    response = requests.post(url,json=payload,headers=headers)
    pprint.pprint(response.json())

返回

{'ret': 0,
 'retlist': [{'desc': 'gmkl', 'id': 6, 'name': 'gmkl', 'sn': '111'}],
 'total': 1}

然后我们登录redis查看有没有我们写入的数据

127.0.0.1:6379[1]> hgetall list_medicine
1) "3|1|None"
2) "{\"ret\": 0, \"retlist\": [{\"id\": 6, \"name\": \"gmkl\", \"sn\": \"111\", \"desc\": \"gmkl\"}], \"total\": 1}"

7、测试添加药品表

vi main1.py

import  requests,pprint

#添加认证
payload = {
    'username': 'root',
    'password': '12345678'
}
#发送登录请求
response = requests.post('http://127.0.0.1:8000/api/mgr/signin',data=payload)
#拿到请求中的认证信息进行访问
set_cookie = response.headers.get('Set-Cookie')




# 构建添加 客户信息的 消息体,是json格式
payload = {
    "action":"add_medicine",
    "data":{
        "name":"lhms",
        "sn":"test",
        "desc":"test",

    }
}


url='http://127.0.0.1:8000/api/mgr/medicines/'

if set_cookie:
    # 将Set-Cookie字段的值添加到请求头中
    headers = {'Cookie': set_cookie}

    # 发送请求给web服务
    response = requests.post(url,json=payload,headers=headers)
    pprint.pprint(response.json())

返回

{'id': 7, 'ret': 0}

我们增加、删除、修改,都会将原先redis中的缓存清理掉

 

我们在用第6步的访问在查询下,查看redis缓存数据数据

127.0.0.1:6379[1]> hgetall list_medicine
1) "3|1|None"
2) "{\"ret\": 0, \"retlist\": [{\"id\": 7, \"name\": \"lhms\", \"sn\": \"test\", \"desc\": \"test\"}, {\"id\": 6, \"name\": \"gmkl\", \"sn\": \"111\", \"desc\": \"gmkl\"}], \"total\": 2}"

 

 缓存成功~

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1203045.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

2011年12月21日 Go生态洞察:了解Go社区

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页——🐅🐾猫头虎的博客🎐 🐳 《面试题大全专栏》 🦕 文章图文…

无人地磅称重系统|自助过磅 料仓联动 自助卸料

上海思伟无人地磅系统 自助过磅、 自助卸料 、料仓联动 智能、省人、安全 无人监管过磅 对地磅及其相关的所有硬件进行配置和管理; 支持红外、道闸、车牌识别、AI分析、拍照存档、LED语音播报一体机等设备; 实现稳定可靠的无人监管称重功能&#xf…

软件测试之蚂蚁金服面试题,含答案

对于想要去面试的小伙伴们看过来,小编为大家总结了蚂蚁的面试题,其实很多面试题很多公司都差不多。主要看自己如何灵活回答,大家可以灵活回应。希望对大家有所帮助。 一:基础部分: Q1. 什么是软件测试? 答…

rhcsa-权限

文件目录 r 读取权限 可以列出目录下的文件 w 修改权限 可以进行创建和删除等操作 x 执行权限 能进入到该目录/切换到该目录 - 没有权限 没有权限 chmod change mod 作用:修改文件或目录的权限 语法&…

远程办公方案

员工通过传统的VPN登录或端口映射方式从互联网访问内网应用存在诸多的安全及体验不佳等问题, 通过身份云基于零信任网络架构的应用网关,可以完全替换传统的vpn方案,让您的员工随时随地安全、便捷、高效访问内网应用。 企业面临的挑战 企业出…

圆形承重钢管用在线直线度测量仪实时检测品质!

关于直线度尺寸的检测,相信你听说过很多诸如直线法、直尺法、激光准直法等的离线检测方式,那你听说过在线直线度测量仪吗?它是可安装在产线上进行实时在线检测的设备。本文就跟随小编一起来简单的了解一下。 在线直线度测量仪的测量方法 直…

SDL2 加载图片

1.简介 在SDL中,本身只支持加载BMP格式的图片SDL_LoadBMP,如果想要加载别的格式图片,需要编译SDL_image库。 SDL_image库中IMG_Load和都是IMG_LoadTexture用于加载图片的函数,但是它们的使用方式和返回值有所不同。 IMG_Load和…

ChIP在植物领域中的应用

01 什么是ChIP? 染色质免疫共沉淀技术(Chromatin Immunoprecipitation assay,ChIP)是研究体内DNA与蛋白质相互作用的方法。其基本原理是在细胞生理状态下固定蛋白质-DNA复合物,将其随机打断为一定长度范围内的染色质小…

腾讯云优惠券如何领取?腾讯云服务器怎么买便宜?

腾讯云深知用户对价格的重视,因此在每年的618、双11、双12等大型促销活动中推出了大量优惠活动。这些优惠活动包括打折、满减、买赠等形式,让用户在购买腾讯云主机服务器时能够享受到更多的实惠。特别是在这些促销活动期间,用户可以通过领取优…

虚拟人高清视频渲染宝藏工具:RenderHare飞兔渲染软件

在数字时代,品牌为了抢占年轻人群体,纷纷涌入虚拟人IP赛道,通过虚拟人IP运营模式,构建独特的虚拟人IP记忆符号,向粉丝输出品牌潮流、年轻化的价值观,扩散虚拟IP影响力,让品牌真正与消费者玩在一…

WampServer下载安装并结合内网穿透实现本地服务的公网访问

文章目录 前言1.WampServer下载安装2.WampServer启动3.安装cpolar内网穿透3.1 注册账号3.2 下载cpolar客户端3.3 登录cpolar web ui管理界面3.4 创建公网地址 4.固定公网地址访问 正文开始前给大家推荐个网站,前些天发现了一个巨牛的 人工智能学习网站,…

智慧城市井盖选择,智能井盖传感器特点介绍

在不断发展的智慧城市技术领域,创新的过程一直是永无止境的。 顺应科学技术的发展潮流,一项惠民的举措正在悄然改变人们的生活。智能井盖传感器看似是不起眼的设备,但是它们就在我们脚下,正在悄无声息的完善城市基础设施和城市生命…

游戏本地化翻译,如何确保翻译质量?

游戏本地化翻译是一项颇为复杂的任务,涉及的细节和要求颇多,尤其是需要符合行业特定的规范,才能提升游戏翻译的专业水准。那么,如何确保游戏本地化翻译的品质呢? 业内人士普遍认为,要达到专业水准&#xff…

Structure-Inferred Bi-level Model for Underwater Image Enhancement论文小结

背景 随着水下机器人的发展,水下图像增强引起了计算机视觉界越来越多的关注。然而,由于光线在水中传播时会被散射和吸收,水下捕捉到的图像往往存在偏色和能见度低的问题。现有的方法依赖于特定的先验知识和训练数据,在缺乏结构信…

家长群如何发成绩?

老师们是否经常被家长们追问:“老师,我孩子的成绩出来了吗?”、“老师,我孩子考了多少分?”等等。要想解决这个问题,看完这篇文章你就可以让家长们能够自助查询孩子的成绩了。 一、什么是成绩查询系统&…

【Java SE】类和对象(下)

接着上文 目录 6. 封装 6.1 封装的概念 6.2 访问限定符 6.3 封装扩展之包 6.3.1 包的概念 6.3.2 自定义包 6.3.3 导入包中的类 6.3.4 包的访问权限控制举例 6.3.5 常见的包 7. static成员 7.1 static修饰成员变量 ​编辑 ​编辑 7.2 static修饰成员方法 8. 代…

半导体电导率受哪些因素影响?如何正确测量半导体电导率?

半导体的电导率直接影响着半导体器件的工作状态,是半导体材料的重要参数。因此,半导体电导率的检测也是半导体设计和制造过程中的关键环节,确保半导体器件的性能、稳定性和可靠性。 什么是半导体电导率? 半导体电导率是指导电流在单位时间和…

数据结构与算法(二)动态规划(Java)

目录 一、简介1.1 什么是动态规划?1.2 动态规划的两种形式1)自顶向下的备忘录法(记忆化搜索法)2)自底向上的动态规划3)两种方法对比 1.3 动态规划的 3 大步骤 二、小试牛刀:钢条切割2.1 题目描述…

分发饼干(贪心算法+图解)

455. 分发饼干 - 力扣(LeetCode) 题目描述 假设你是一位很棒的家长,想要给你的孩子们一些小饼干。但是,每个孩子最多只能给一块饼干。 对每个孩子 i,都有一个胃口值 g[i],这是能让孩子们满足胃口的饼干的最…

wireshark打开tcpdump抓的包 vwr: Invalid data length runs past the end of the record

tcpdump -i any -n -s0 > t.pcap 使用此命令在Debian系统上抓包,下载到PC,用wireshark打开时报错: 后来发现写入文件时使用 -w 是没问题的,原因还不清楚。 tcpdump -i any -n -s0 -w t.pcap