阅读 300

django连接redis集群问题排查思路和总结

问题背景

  • Django项目第一次发布到生产环境,启动后发现连不上Redis集群。

  • 测试环境的redis集群没有密码,导致测试环境生产的配置格式会有差异

  • 生产环境使用的redis配置,之前没人验证过,不知道是单机还是集群

  • 生产环境redis的密码中特殊符合@,同事说可能会Django Cache配置的URI切割符号冲突,他之前在celery broker_url配置时就遇到这个坑。

排查思路

  • 测试环境和生产环境的配置不一样,因此要格外小心,生产环境配置不能照抄测试环境的

  • 优先使用官方redis-cli确定redis是集群还是客户端,再去修改代码相关的配置

  • 本地无法连接生产环境,因为需要通过跳板机登录上去生产环境,直接利用Django shell调试,而不每次修改代码后重新提交,然后构建。

  • 出问题时,优先怀疑自己的代码问题,而不是找框架本身的问题,尤其是Django这种大框架。

排查过程

确认客户端类型

  • 做一个最简单的set命令测试,直接报错。

rhea-flaskapi-live-sg(sg2|10.xxx:40681)@/workspace$ redis-cli -h redis.xxx.shopee.io -p 10010 -a xxxx@123 redis.xxx.shopee.io:10010> set a 123 (error) MOVED 15495 10.xxx.104:10011 复制代码

  • 经过搜索引擎查询,确认这个redis是集群,集群的连接命令是redis-cli -c -h 连接地址  -p 端口 -a 密码 上面的命令少了-c参数

启动Django Shell连接redis

from django_redis import get_redis_connection conn = get_redis_connection() 复制代码

直接就一个连接失败

D0F23F45D43E899E71F1B54B84571D04

image-20211130111929339

确认账号密码和端口没问题后,问题同事配置有没验证过,他说直接从网上cv的,完全没经过验证。坑啊!!!

修改配置后重新测试

把生产的配置和测试配置比较好,修改了几个地方

  • LOCATIONstr改成List[str],加上默认db,也就是[ f'redis://{DEFAULT_REDIS_URL}:{DEFAULT_REDIS_PORT}/0']

  • REDIS_CLIENT_CLASS': 'rediscluster.RedisCluster 这个集群连接需要的客户端

  • 连接池配置改成'CONNECTION_POOL_CLASS': 'rediscluster.connection.ClusterConnectionPool'

信心满满,重启启动django shell测试,结果还是连接上不!这时候心情开始有点糟糕~

冷静,django shell不行,那用python shell直连试试?

Python Shell直连redis

image-20211130113526742

一点毛病都没有,直接连上了!

一脸懵逼,这到底是啥问题啊!

不死心,反复修改配置,测试Django Shell连接Redis

结果依然是连接不上。

下班回家过程中的思考

不知不觉已经到了晚上九点,好累,不想卷了。下班回家吧

回家路上整个脑子都被这个问题困扰着。难道密码中含有@符号的redis集群,Django真的连接不上?反复的问自己。

问了其他同事,生产环境是否有其他的redis集群可以用来调试。很遗憾,并没有。

要不,我自己创建一个redis集群,把密码设置成含有@符号?

可是,自己本地创建redis集群好麻烦啊。要本地安装虚拟机,想到一堆配置就直接劝退。

回到家后的纠结

洗完澡,和老婆聊了1h左右的视频。已经到11点多,准备睡觉?

那是不可能的,带着问题是很难入睡!哎,这个是老毛病了。

突然想到了一个点,最小试错原则。自己搭建本地集群很麻烦,公司又没有多余的集群。

那直接买一个云版的redis集群?说干就干,直接从床上起来,打开电脑。

最小试错原则,买云Redis集群,而不是自己搭建

这时问题又来了,阿里云还是腾讯云?

鉴于双11买了腾讯云2c 4g 8m的服务器,只要199就能3年。

再对比之前买阿里云那个1c 2g 1m服务器,3年也要100多。

瞬间对腾讯云好感倍增,决定先买腾讯云。

买腾讯云redis集群

一顿操作,发现腾讯云是真的难用:

  • 购买页面选好配置好,提交后,因为我没有余额,提示我充值。等我充值完,结果之前选择的配置没了,只好重新选择。

  • redis集群没有重启功能???

  • 设置安全组时,只能在安全组的页面绑定实例;在实例页面无法绑定安全组。

最最最重要,给把实例绑定了安全组后,外网还是无法访问???(不管了,反正我就是很生气)

买阿里云redis集群

对腾讯云太失望了,不得不把最后一根稻草压在阿里云身上。

所幸,阿里云没有让我失望!

咔咔咔,一顿操作:

  • 创建实例,这点阿里云是比腾讯云慢很多,大概要7min左右(纯感觉)

  • 配置外网访问,很方便。这操作逻辑简直是秒杀腾讯云。

    image-20211130120920961

  • 配置白名单,redis-cli连接测试,成功通过!

    image-20211130121327756

  • 修改配置,启动Django shell测试。

  • image-20211130121629842

image-20211130121524863

密码中含有@符号,但连接一点毛病都没有!!!

至此,问题终于解决了!!!

我已经迫不及待明天去公司验证,但回过头一看,已经是深夜一点半。

自言自语的说了一句:"睡吧,卷王"

第二天去公司验证

rhea-flaskapi-live-sg(sg2|xxxx:26863)@/workspace$ python3.8 manage.py shell --settings=rhea.settings.prod rhea.settings.prod Python 3.8.7 (default, Oct  1 2021, 14:58:33) [GCC 5.4.0 20160609] on linux Type "help", "copyright", "credits" or "license" for more information. (InteractiveConsole) >>> from django_redis import get_redis_connection >>> conn = get_redis_connection() >>>>conn.get("rhea:access_token:abc") 'huacai.li@shopee.com' 复制代码

经过对比,发现配置只需要生产的配置仅需要在测试的配置上加多一个:

image-20211130131601844

修复最磨人的bug,往往仅需要一点小小的改动~

为什么测试环境没报错了呢???

因为测试环境的redis集群不需要密码

总结

  • 一切没经过自己验证的代码,一定要谨慎使用

  • 最小试错原则。想验证一件事情时,尽量使用最小的成本去验证

  • 生产和测试环境尽量保持配置相同


作者:梨花菜
链接:https://juejin.cn/post/7036231284191920142

 伪原创工具 SEO网站优化  https://www.237it.com/ 


文章分类
代码人生
版权声明:本站是系统测试站点,无实际运营。本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 XXXXXXo@163.com 举报,一经查实,本站将立刻删除。
相关推荐