BigKey

Hollis 收录于 Redis 和 Redis

2024-03-31 2025-04-08 约 1800 字预计阅读 4 分钟 - 次阅读 - 条评论

面试题

阿里广告平台，海量数据里查询某一个固定前缀的 key

小红书，你如何生产上限制 keys* /flushdb/flushall 等危险命令以防止阻塞或误删数据？

美团，memory usage 命令你用过吗？

BigKey 问题，多大算 big？你如何发现？如何删除？如何处理？

BigKey 你做过调优吗？惰性释放 lazyfree 了解过吗？

morekey 问题，生产上 redis 数据库有 1000W 记录，你如何遍历数据？ keys * 可以吗？

MoreKey 案例

大批量往 redis 里面插入 2000W 测试数据 key

Linux Bash 下面执行，插入 100W 数据

生成 100W 条 redis 批量设置 kv 的语句 (key=kn,value=vn) 写入到 /tmp 目录下的 redisTest.txt 文件中
1

for((i=1;i<=100*10000;i++)); do echo "set ksi v$i" >> /tmp/redisTest.txt ;done;
通过 redis 提供的管道 - pipe 命令插入 100W 大批量数据
1

cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379-a 111111 --pipe

某快递巨头真实生产案例新闻

新闻

keys * 试试 100W 花费多少秒遍历查询

3.100w数据遍历时间.jpg

keys * 这个指令有致命的弊端，在实际环境中最好不要使用

1

这个指令没有 offset、limit 参数，是要一次性吐出所有满足条件的 key，由于 Redis 是单线程的，其所有操作都是原子的，而 keys 算法是遍历算法，复杂度是O(n)，如果实例中有千万级以上的 key，这个指令就会导致 Redis 服务卡顿，所有读写 Redis 的其它的指令都会被延后甚至会超时报错，可能会引起缓存雪崩甚至数据库宕机。

生产上限制 keys * /flushdb/flushall 等危险命令以防止误删误用？

通过配置设置禁用这些命令，redis.conf 在 SECURITY 这一项中

不用 keys * 避免卡顿，那该用什么

Scan 命令登场
- https://redis.io/commands/scan/
- https://redis.com.cn/commands/scan.html
- 一句话，类似 MySQL limit，但是不完全相同
Scan 命令用于迭代数据库中的数据库键
- 语法
- 特点
  
  SCAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。 SCAN 返回一个包含两个元素的数组，
  
  第一个元素是用于进行下一次迭代的新游标，第二个元素则是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN 的遍历顺序非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

7.scan遍历.jpg

使用

8.scan使用.jpg

多大算 BigKey

通常我们说的 BigKey，不是在值的 Key 很大，而是指的 Key 对应的 value 很大

参考《阿里云 Redis 开发规范》

9.阿里云Redis开发规范.jpg

string 和二级结构

string 是 value，最大 512 MB 但是 ≥ 10KB 就是 bigkey
list、hash、set 和 zset，value 个数超过 5000 就是 bigkey

list：一个列表最多可以包含 $2^{32}-1$ 个元素 (4294967295，每个列表超过 40 亿个元素)。

hash：Redis 中每个 hash 可以存储 $2^{32}-1$ 个键值对 (40 多亿)

set：集合中最大的成员数为 $2^{32}-1$ (4294967295，每个集合可存储 40 多亿个成员)

Bigkey 危害、产生与发现

bigkey 的危害

内存不均，集群迁移困难

超时删除，大 key 删除作梗

网络流量阻塞

如何产生

社交类

明星粉丝列表，典型案例粉丝逐步递增
汇总统计

某个报表，日月年经年累计

如何发现

redis-cli –bigkey

好处，见最下面总结

给出每种数据结构 Top 1 bigkey。同时给出每种数据类型的键值个数＋平均大小

不足

想查询大于 10kb 的所有 key，–bigkeys 参数就无能为力了，需要用到 memory usage 来计算每个键值的字节数

redis-cli –bigkeys -a 111111

redis-cli -h 127.0.0.1 -p 6379 -a 111111 –bigkeys
1 2

加上 -i 参数，每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长 redis-cli -h 127.0.0.1 -p 7001 --bigkeys -i 0.1
memory usage 键

英文官网： https://redis.io/commands/memory-usage/

中文官网： https://redis.com.cn/commands/memory-usage.html

计算每个键值的字节数