Redis如何做内存优化「redis增加内存」

场景：

一些大型电商系统大量使用redis，我们将大量的商品基础数据和促销方案数据存放在redis集群中，单台服务器内存百G，体量也是相当庞大。所以我们也在不断的想方法优化减少redis的内存使用量，把我们的优化方法和碰到的实际问题与大家分享。

采用Hash代替<K,V>键值对存储

因为是存放商品维度的数据，商品skuId往往会作为key，而一个商品sku会存在多个信息，比如商品名称，商品图片地址，商品促销语等等，比较容易想到的存储结构是采用Hash，将一个商品的多个信息作为hash里的不同field来存放。

什么是ziplist？

Redis官方对于ziplist的定义是（出自ziplist.c的文件头部注释）：

The ziplist is a specially encoded dually linked list that is designed to be very memory efficient. It stores both strings and integer values, where integers are encoded as actual integers instead of a series of characters. It allows push and pop operations on either side of the list in O(1) time.

翻译一下就是说：ziplist是一个经过特殊编码的双向链表，它的设计目标就是为了提高存储效率。ziplist可以用于存储字符串或整数，其中整数是按真正的二进制表示进行编码的，而不是编码成字符串序列。它能以O(1)的时间复杂度在表的两端提供 push 和 pop 操作。

实际上，ziplist充分体现了Redis对于存储效率的追求。一个普通的双向链表，链表中每一项都占用独立的一块内存，各项之间用地址指针（或引用）连接起来。这种方式会带来大量的内存碎片，而且地址指针也会占用额外的内存。而ziplist却是将表中每一项存放在前后连续的地址空间内，一个ziplist整体占用一大块内存。它是一个表（list），但其实不是一个链表（linked list）。

另外，ziplist为了在细节上节省内存，对于值的存储采用了变长的编码方式，大概意思是说，对于大的整数，就多用一些字节来存储，而对于小的整数，就少用一些字节来存储。我们接下来很快就会讨论到这些实现细节。

优化思路

善用Hash，List，ZSet的ziplist压缩特性

Redis针对Hash，List，ZSet都实现了ziplist的压缩存储，可以通过配置最大元素不超过512，每个元素大小不超过64bytes，来判断是否要采用 !ziplist压缩格式 存储。

注意:虽然这个ziplist是否启用做成了配置参数，但对这个配置参数的修改要谨慎，因为ziplist是一个连续的数组空间，查找效率不是O(1)的，如果设置元素超过512太多，可能导致查找效率降低，反而影响性能。那为什么Redis会采用512*64bytes这样的默认配置呢？据说是这个大小可以被加载进CPU的Cache里，所以即使不是O(1)，查找效率也是很快的。

优先使用数字类型，比String类型省空间

在Redis的内部，不管是数字类型，String类型，都会统一用一个叫redisObject的对象做一层封装:

typedef struct redisObject {

unsigned type:4;

unsigned encoding:4;

unsigned lru:LRU_BITS; /* lru time (relative to server.lruclock) */

int refcount;

void *ptr;

} robj;

可见，一个简简单单的”hello world”在redis里都不是直接11个bytes就搞定的，还有很多附加的属性，比如引用计数(内存回收)refcount，lru清理等信息。

但如果使用了上面提到的ziplist，redis对ziplist里元素做了裁剪，让数据更紧凑，所以针对数字，做了一些特别处理：

* |11000000| - 1 byte

* Integer encoded as int16_t (2 bytes).

* |11010000| - 1 byte

* Integer encoded as int32_t (4 bytes).

* |11100000| - 1 byte

* Integer encoded as int64_t (8 bytes).

* |11110000| - 1 byte

* Integer encoded as 24 bit signed (3 bytes).

* |11111110| - 1 byte

* Integer encoded as 8 bit signed (1 byte).

* |1111xxxx| - (with xxxx between 0000 and 1101) immediate 4 bit integer.

* Unsigned integer from 0 to 12. The encoded value is actually from

* 1 to 13 because 0000 and 1111 can not be used, so 1 should be

* subtracted from the encoded 4 bit value to obtain the right value.

先用1byte来表示不同的encode，针对大小不同的数字，分别采用不一样的内存空间来存储，比如0-127就是2个字节，128-32768就是4个字节等等。所以算下来，和String相比，大部分情况下更省内存。