redis的key过期了还能取出来?

2021/12/01 1448点热度 0人点赞 0条评论

我记得在2016年,2017年的时候,我们使用2.8的集群。当时业务有个需求,要求某个接口一天调用不能超过1000次,当时开发使用一个key: biz:total 来限制。

当时出现的问题是,第二天,接口实际调用量为0,但是从redis里获取到的值还是1000。

当时直接问的阿里云技术支持,反馈这种情况有两种,一种是定期删除,没有达到删除条件,一种是cpu压力过大,不会执行删除策略。

当时也没有深究这个问题,就想了个解决方案,直接把key改为 每天一个的 key: biz20170125:total 来控量,算是解决了这个问题。

最近在看redis的源码,顺带翻了下2.8和3.2的源码,真实的了解下问题的根本愿意。

redis2.8中 redis.c文件中

struct redisCommand redisCommandTable[] = {
    {"get",getCommand,2,"rF",0,NULL,1,1,1,0,0},
    ....
}

string.c文件中

void getCommand(redisClient *c) {
    getGenericCommand(c);
}

int getGenericCommand(redisClient *c) {
    robj *o;

    if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.nullbulk)) == NULL)
        return REDIS_OK;

    if (o->type != REDIS_STRING) {
        addReply(c,shared.wrongtypeerr);
        return REDIS_ERR;
    } else {
        addReplyBulk(c,o);
        return REDIS_OK;
    }
}

db.c

robj *lookupKeyReadOrReply(redisClient *c, robj *key, robj *reply) {
    robj *o = lookupKeyRead(c->db, key);
    if (!o) addReply(c,reply);
    return o;
}
robj *lookupKeyRead(redisDb *db, robj *key) {
    robj *val;
    //过期处理
    expireIfNeeded(db,key);
    //不管结果,直接查,查到就返回
    val = lookupKey(db,key);
    //为空,miss计数
    if (val == NULL)
        server.stat_keyspace_misses++;
    else
        //命中计数
        server.stat_keyspace_hits++;
    return val;
}

int expireIfNeeded(redisDb *db, robj *key) {
    // 返回key的过期时间,如果这个key没有设置过期时间返回-1
    mstime_t when = getExpire(db,key);
    mstime_t now;

    //key没有设置过期时间,返回0
    if (when < 0) return 0; /* No expire for this key */

    //持久化机制如果在loading,返回0
    if (server.loading) return 0;

    //获取当前时间
    now = server.lua_caller ? server.lua_time_start : mstime();

    //如果不是master节点,过期返回1,未过期返回0
    if (server.masterhost != NULL) return now > when;

    //未过期返回0
    if (now <= when) return 0;

    /* Delete the key */
    // 过期key计数
    server.stat_expiredkeys++;
    //将过期机制同步到从库
    propagateExpire(db,key);
    //发布过期事件
    notifyKeyspaceEvent(REDIS_NOTIFY_EXPIRED,
        "expired",key,db->id);
    //返回删除结果
    return dbDelete(db,key);
}

到3.2 移除了redis.c文件 转到了server.c文件

struct redisCommand redisCommandTable[] = {
    {"get",getCommand,2,"rF",0,NULL,1,1,1,0,0},
    ......
}

string.c中

void getCommand(client *c) {
    getGenericCommand(c);
}

void getsetCommand(client *c) {
    if (getGenericCommand(c) == C_ERR) return;
    c->argv[2] = tryObjectEncoding(c->argv[2]);
    setKey(c->db,c->argv[1],c->argv[2]);
    notifyKeyspaceEvent(NOTIFY_STRING,"set",c->argv[1],c->db->id);
    server.dirty++;
}
int getGenericCommand(client *c) {
    robj *o;

    if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.nullbulk)) == NULL)
        return C_OK;

    if (o->type != OBJ_STRING) {
        addReply(c,shared.wrongtypeerr);
        return C_ERR;
    } else {
        addReplyBulk(c,o);
        return C_OK;
    }
}

db.c 文件中

robj *lookupKeyReadOrReply(client *c, robj *key, robj *reply) {
    robj *o = lookupKeyRead(c->db, key);
    if (!o) addReply(c,reply);
    return o;
}

robj *lookupKeyRead(redisDb *db, robj *key) {
    return lookupKeyReadWithFlags(db,key,LOOKUP_NONE);
}

robj *lookupKeyReadWithFlags(redisDb *db, robj *key, int flags) {
    robj *val;

    //2.8 是直接放过,这块是有逻辑处理
    if (expireIfNeeded(db,key) == 1) {       
        //不是master节点,直接返回null
        if (server.masterhost == NULL) return NULL;
        //只读模式也返回null
        if (server.current_client &&
            server.current_client != server.master &&
            server.current_client->cmd &&
            server.current_client->cmd->flags & CMD_READONLY)
        {
            return NULL;
        }
    }
    //查找key
    val = lookupKey(db,key,flags);
    if (val == NULL)
        server.stat_keyspace_misses++;
    else
        server.stat_keyspace_hits++;
    return val;
}

int expireIfNeeded(redisDb *db, robj *key) {
    mstime_t when = getExpire(db,key);
    mstime_t now;
    //没有设置过期时间
    if (when < 0) return 0; /* No expire for this key */
    //持久化的 loading时,直接返回0
    if (server.loading) return 0;

    //获取当前时间
    now = server.lua_caller ? server.lua_time_start : mstime();

    // 从库,已过期返回1,未过期返回0
    if (server.masterhost != NULL) return now > when;

    //未过期返回0
    if (now <= when) return 0;

    //删除逻辑
    server.stat_expiredkeys++;
    propagateExpire(db,key);
    notifyKeyspaceEvent(NOTIFY_EXPIRED,
        "expired",key,db->id);
    //4.0以及以后的删除增加了异步删除   
    return dbDelete(db,key);
}

int dbDelete(redisDb *db, robj *key) {
    //在过期集合中,删除
    if (dictSize(db->expires) > 0) dictDelete(db->expires,key->ptr);
    //直接删除
    if (dictDelete(db->dict,key->ptr) == DICT_OK) {
        //同步从
        if (server.cluster_enabled) slotToKeyDel(key);
        return 1;
    } else {
        return 0;
    }
}

最终将对应的逻辑梳理下了,同时也将redis的过期策略整理了下。3.2以下的版本,没有对过期处理的结果进行处理。3.2在过期的情况下,又对expireifNeeded进行了处理,如果不是主库就返回null

yxkong

这个人很懒,什么都没留下