Redis学习笔记

基础配置

安装

docker

docker-compose.yml

version: '2'

services:
  redis:
    restart: always
    image: redis:6.0.5
    container_name: redis
    command: redis-server /usr/local/etc/redis/redis.conf --requirepass 123456
    ports:
      - "6379:6379"
    volumes:
      - ~/docker/redis/data:/data
      - ~/docker/redis/conf/:/usr/local/etc/redis/redis.conf


docker-compose up -d

centos

$ yum install epel-release -y
$ yum install redis -y

ACID

A

Atomicity 原子性：事务里的所有操作要么全部做完，要么都不做，事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。

C

Consistency 一致性：数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。

I

Isolation 独立性：并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。

D

Durability 持久性：一旦事务提交后，它所做的修改将会永久的保存在数据库上，即使出现宕机也不会丢失。

CAP

C Consistency 强一致性

A Availability 可用性

P Partition tolerance 分区容错性

3进2

  • CA 传统Oracle数据库
  • AP 大多数据网站架构的选择
  • CP Redis、Mongodb

BASE

BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案。

  • 基本可用（Basically Available）

  • 软状态（Soft state）

  • 最终一致（Eventually consistent）

benchmark

redis-benchmark:性能测试工具

check-aof

redis-check-aof：修复有问题的AOF文件

check-dump

redis-check-dump：修复有问题的dump.rdb文件

cli

redis-cli：客户端，操作入口

sentinel

redis-sentinel：redis集群使用

server

redis-server：Redis服务器启动命令

启动

redis.conf

  • 后台启动 daemonize no改为yes

关闭

单实例

$ redis-cli shutdown

多实例

# 指定端口关闭
$ redis-cli -p 6379 shutdown

杂项基础知识

  • 单进程
  • 默认16个数据库，类似数组下表从零开始，初始默认使用零号库
  • select 命令切换数据库；如select 1//1号库
  • dbsize 查看当前数据库的key的数量
  • flushdb 清空当前库
  • Flushall 通杀全部库
  • 统一密码管理，16个库都是同样密码，要么都OK要么一个也连接不上
  • Redis索引都是从零开始
  • 默认端口是6379

五大数据类型

string（字符串）

string是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。

string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。

string类型是Redis最基本的数据类型，一个redis中字符串value最多可以是512M

hash（哈希，类似java里的Map）

Redis hash 是一个键值对集合。

Redis hash是一个string类型的field和value的映射表，hash特别适合用于存储对象。

类似Java里面的Map<String,Object>

List（列表）

Redis 列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素导列表的头部（左边）或者尾部（右边）。它的底层实际是个链表

Set（集合）

Redis的Set是string类型的无序集合。它是通过HashTable实现实现的

zset(sorted set：有序集合)

Redis zset 和 set 一样也是string类型元素的集合,且不允许重复的成员。

不同的是每个元素都会关联一个double类型的分数。

redis正是通过分数来为集合中的成员进行从小到大的排序。zset的成员是唯一的,但分数(score)却可以重复。

常用命令

所有命令

  • flushdb 清空当前库
  • flushall 清空所有库

键（key）

  1. key *

  2. exists key的名字，判断某个key是否存在

  3. move key db --->当前库就没有了，被移除了

  4. expire key 秒钟：为给定的key设置过期时间

  5. ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期

  6. type key 查看你的key是什么类型

字符串（string）

  1. set/get/del/append/strlen
  2. Incr/decr/incrby/decrby
  3. getrange 获取指定区间范围内的值，类似between......and的关系从零到负一表示全部
  4. setrange 设置指定区间范围内的值，格式是setrange key值 具体值
  5. setex 设置带过期时间的key，动态设置。setex 键 秒值 真实值
  6. setnx 只有在 key 不存在时设置 key 的值。
  7. mset 同时设置一个或多个 key-value 对。
  8. mget 获取所有(一个或多个)给定 key 的值。
  9. msetnx 同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在。
  10. getset 将给定 key 的值设为 value ，并返回 key 的旧值(old value)。简单一句话，先get然后立即set

Redis列表(List)

  1. lpush/rpush/lrange

  2. lpop/rpop

  3. lindex，按照索引下标获得元素(从上到下)

  4. llen

  5. lrem key 删N个value

  6. ltrim key 开始index 结束index，截取指定范围的值后再赋值给key

  7. rpoplpush 源列表 目的列表

  8. lset key index value

  9. linsert key before/after 值1 值2

  10. 性能总结：

    它是一个字符串链表，left、right都可以插入添加；
    如果键不存在，创建新的链表；
    如果键已存在，新增内容；
    如果值全移除，对应的键也就消失了。
    链表的操作无论是头和尾效率都极高，但假如是对中间元素进行操作，效率就很惨淡了。

集合（Set）

  1. sadd/smembers/sismember
  2. scard，获取集合里面的元素个数
  3. srem key value 删除集合中元素
  4. srandmember key 某个整数(随机出几个数)
  5. spop key 随机出栈
  6. smove key1 key2 在key1里某个值 作用是将key1里的某个值赋给key2
  7. 数学集合类
    1. 差集：sdiff
    2. 交集：sinter
    3. 并集：sunion

哈希（Hash）

KV模式不变，但V是一个键值对

  1. hset/hget/hmset/hmget/hgetall/hdel
  2. hlen
  3. hexists key 在key里面的某个值的key
  4. hkeys/hvals
  5. hincrby/hincrbyfloat
  6. hsetnx

有序集合Zset（sorted set）

在set基础上，加一个score值。之前set是k1 v1 v2 v3，现在zset是k1 score1 v1 score2 v2

  1. zadd/zrange withscores
  2. zrangebyscore key 开始score 结束score
    1. withscores
    2. ​ ( 不包含
    3. ​ limit 作用是返回限制； limit 开始下标步 多少步
  3. zrem key 某score下对应的value值，作用是删除元素
    1. 删除元素，格式是zrem zset的key 项的值，项的值可以是多个
    2. zrem key score某个对应值，可以是多个值
  4. zcard/zcount key score区间/zrank key values值，作用是获得下标值/zscore key 对应值,获得分数
    1. zcard ：获取集合中元素个数
    2. zcount ：获取分数区间内元素个数，zcount key 开始分数区间 结束分数区间
    3. zrank： 获取value在zset中的下标位置
    4. zscore：按照值获得对应的分数
  5. zrevrank key values值，作用是逆序获得下标值
    • 正序、逆序获得下标索引值
  6. zrevrange
  7. zrevrangebyscore key 结束score 开始score；zrevrangebyscore zset1 90 60 withscores 分数是反着来的

redis.conf

文件位置

默认情况下在 /usr/local/etc/redis.conf。注意：修改前一定要备份

units单位

  1. 配置大小单位,开头定义了一些基本的度量单位，只支持bytes，不支持bit
  2. 对大小写不敏感

GENERAL通用配置

  • daemonize yes 后台运行，默认no
  • pidfile
  • port 默认端口6379
  • tcp-backlog
    • tcp-backlog 设置tcp的backlog，backlog其实是一个连接队列，backlog队列总和=未完成三次握手队列 + 已经完成三次握手队列。
    • 在高并发环境下你需要一个高backlog值来避免慢客户端连接问题。注意Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值，所以需要确认增大somaxconn和tcp_max_syn_backlog两个值来达到想要的效果
  • timeout 连接超时设置
  • bind 监听
  • tcp-keepalive 单位为秒，如果设置为0，则不会进行Keepalive检测，建议设置成60
  • loglevel
  • logfile
  • syslog-enabled 是否把日志输出到syslog中
  • syslog-ident 指定syslog里的日志标志
  • syslog-facility 指定syslog设备，值可以是USER或LOCAL0-LOCAL7
  • databases 默认数据库16个

SNAPSHOTTING快照

  • save

    • save 秒钟 写操作次数

      • RDB是整个内存的压缩过的Snapshot，RDB的数据结构，可以配置复合的快照触发条件，默认
        是1分钟内改了1万次，
        或5分钟内改了10次，
        或15分钟内改了1次。

    • 如果想禁用RDB持久化的策略，只要不设置任何save指令，或者给save传入一个空字符串参数也可以

  • stop-writes-on-bgsave-error 默认为yes 如果配置成no，表示你不在乎数据不一致或者有其他的手段发现和控制

  • rdbcompression：对于存储到磁盘中的快照，可以设置是否进行压缩存储。如果是的话，redis会采用LZF算法进行压缩。如果你不想消耗CPU来进行压缩的话，可以设置为关闭此功能

  • rdbchecksum：在存储快照后，还可以让redis使用CRC64算法来进行数据校验，但是这样做会增加大约
    10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能

  • dbfilename 数据库文件

  • dir 数据库存储位置

REPLICATION复制

SECURITY安全

  • CONFIG GET requirepass 访问密码的查看
  • CONFIG SET value 设置
  • 取消

LIMITS限制

  • maxclients

    设置redis同时可以与多少个客户端进行连接。默认情况下为10000个客户端。当你
    无法设置进程文件句柄限制时，redis会设置为当前的文件句柄限制值减去32，因为redis会为自
    身内部处理逻辑留一些句柄出来。如果达到了此限制，redis则会拒绝新的连接请求，并且向这
    些连接请求方发出“max number of clients reached”以作回应。

  • maxmemory

    设置redis可以使用的内存量。一旦到达内存使用上限，redis将会试图移除内部数据，移除规则可以通过maxmemory-policy来指定。如果redis无法根据移除规则来移除内存中的数据，或者设置了“不允许移除”，那么redis则会针对那些需要申请内存的指令返回错误信息，比如SET、LPUSH等。

    但是对于无内存申请的指令，仍然会正常响应，比如GET等。如果你的redis是主redis（说明你的redis有从redis），那么在设置内存使用上限时，需要在系统中留出一些内存空间给同步队列缓存，只有在你设置的是“不移除”的情况下，才不用考虑这个因素

  • maxmemory-policy

    1. volatile-lru：使用LRU算法移除key，只对设置了过期时间的键
    2. allkeys-lru：使用LRU算法移除key
    3. volatile-random：在过期集合中移除随机的key，只对设置了过期时间的键
    4. ）allkeys-random：移除随机的key
    5. volatile-ttl：移除那些TTL值最小的key，即那些最近要过期的key
    6. noeviction：不进行移除。针对写操作，只是返回错误信息

  • maxmemory-samples

    设置样本数量，LRU算法和最小TTL算法都并非是精确的算法，而是估算值，所以你可以设置样本的大小，
    redis默认会检查这么多个key并选择其中LRU的那个

APPEND ONLY MODE追加

  • appendonly
  • appendfilename
  • appendfsync
    always：同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好
    everysec：出厂默认推荐，异步操作，每秒记录 如果一秒内宕机，有数据丢失
    no
  • no-appendfsync-on-rewrite：重写时是否可以运用Appendfsync，用默认no即可，保证数据安全性。
  • auto-aof-rewrite-min-size：设置重写的基准值
  • auto-aof-rewrite-percentage：设置重写的基准值

常见配置redis.conf介绍

参数说明

redis.conf 配置项说明如下：

  1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
    daemonize no
  2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
    pidfile /var/run/redis.pid
  3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字
    port 6379
  4. 绑定的主机地址
    bind 127.0.0.1
  5. 当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
    timeout 300
  6. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
    loglevel verbose
  7. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
    logfile stdout
  8. 设置数据库的数量，默认数据库为0，可以使用SELECT 命令在连接上指定数据库id
    databases 16
  9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
    save <seconds> <changes>
    Redis默认配置文件中提供了三个条件：
    save 900 1
    save 300 10
    save 60 10000
    分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。
  10. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
    rdbcompression yes
  11. 指定本地数据库文件名，默认值为dump.rdb
    dbfilename dump.rdb
  12. 指定本地数据库存放目录
    dir ./
  13. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
    slaveof <masterip><masterport>
  14. 当master服务设置了密码保护时，slav服务连接master的密码
    masterauth <master-password>
  15. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH <password>命令提供密码，默认关闭
    requirepass foobared
  16. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
    maxclients 128
  17. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
    maxmemory <bytes>
  18. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
    appendonly no
  19. 指定更新日志文件名，默认为appendonly.aof
    appendfilename appendonly.aof
  20. 指定更新日志条件，共有3个可选值：
    no：表示等操作系统进行数据缓存同步到磁盘（快）
    always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）
    everysec：表示每秒同步一次（折衷，默认值）
    appendfsync everysec
  21. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
    vm-enabled no
  22. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
    vm-swap-file /tmp/redis.swap
  23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
    vm-max-memory 0
  24. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值
    vm-page-size 32
  25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。
    vm-pages 134217728
  26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
    vm-max-threads 4
  27. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
    glueoutputbuf yes
  28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
    hash-max-zipmap-entries 64
    hash-max-zipmap-value 512
  29. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）
    activerehashing yes
  30. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件
    include /path/to/local.conf