redislpop多个数据 redis 分批获取数据

redis 怎么批量获取数据

Redis Mass Insertion

Sometimes Redis instances needs to be loaded with big amount of preexisting or user generated data in a short amount of time, so that millions of keys will be created as fast as possible.

This is called a mass insertion, and the goal of this document is to provide information about how to feed Redis with data as fast as possible.

Use the protocol, Luke

Using a normal Redis client to perform mass insertion is not a good idea for a few reasons: the naive approach of sending one command after the other is slow because you have to pay for the round trip time for every command. It is possible to use pipelining, but for mass insertion of many records you need to write new commands while you read replies at the same time to make sure you are inserting as fast as possible.

Only a small percentage of clients support non-blocking I/O, and not all the clients are able to parse the replies in an efficient way in order to maximize throughput. For all this reasons the preferred way to mass import data into Redis is to generate a text file containing the Redis protocol, in raw format, in order to call the commands needed to insert the required data.

For instance if I need to generate a large data set where there are billions of keys in the form: `keyN - ValueN' I will create a file containing the following commands in the Redis protocol format:

SET Key0 Value0

SET Key1 Value1

...

SET KeyN ValueN

Once this file is created, the remaining action is to feed it to Redis as fast as possible. In the past the way to do this was to use the netcat with the following command:

(cat data.txt; sleep 10) | nc localhost 6379 /dev/null

However this is not a very reliable way to perform mass import because netcat does not really know when all the data was transferred and can't check for errors. In the unstable branch of Redis at github the redis-cli utility supports a new mode called pipe mode that was designed in order to perform mass insertion. (This feature will be available in a few days in Redis 2.6-RC4 and in Redis 2.4.14).

Using the pipe mode the command to run looks like the following:

cat data.txt | redis-cli --pipe

That will produce an output similar to this:

All data transferred. Waiting for the last reply...

Last reply received from server.

errors: 0, replies: 1000000

The redis-cli utility will also make sure to only redirect errors received from the Redis instance to the standard output.

Redis数据结构--List（列表）

Redis列表是简单的字符串列表，按照插入顺序排序，你可以添加一个元素到列表的头部（左边）或者尾部（右边）

一个列表最多可以包含超过 40亿个元素

列表的常用命令（持续扩充）：

1、lpush key value1 [value2]： 将一个或多个值插入列表头部（左边）

通过执行lpush animal cat dog   向animal中左边同时插入 cat和dog，下方提示的（Integer）2,是指当前列表中元素的个数；

然后通过查询命令，我们可以看到排在第一个的是dog 第二个是cat，这是因为从左边插入，县插入cat，然后再在左侧插入dog，这就导致dog在cat的前面。

2、rpush key value1 [value2]： 将一个或多个值插入列表尾部（右边）

执行rpush animal monkey：向列表的右侧插入一个元素monkey，此时列表中的元素就有3个

通过查询命令我们可以看到monkey出现在了列表的尾部

3、lrange key start stop： 获取列表指定范围内的元素（包含start和stop）

执行lrange animal 1 2  查询列表的第2个和第3个元素（注意列表中的索引是从0开始计算的）

4、llen key： 获取列表长度

在前面几个步骤中我们一共插入了三个元素dog、cat、monkey

5、lpop key： 移出并获取列表的第一个元素

列表中第一个元素是dog，执行lpop animal后，弹出左边第一个元素并返回，再次查询，我们看到只剩下两个元素

6、rpop key： 移出并获取列表的最后一个元素

执行rpop animal，移除并返回monkey，最后列表中只剩下cat一个元素

如何高效地向Redis写入大量的数据

具体实现步骤如下：

1.

新建一个文本文件，包含redis命令

SET

Key0

Value0

SET

Key1

Value1

...

SET

KeyN

ValueN

如果有了原始数据，其实构造这个文件并不难，譬如shell，python都可以

2.

将这些命令转化成Redis

Protocol。

因为Redis管道功能支持的是Redis

Protocol，而不是直接的Redis命令。

如何转化，可参考后面的脚本。

3.

利用管道插入

cat

data.txt

|

redis-cli

--pipe

Shell

VS

Redis

pipe

下面通过测试来具体看看Shell批量导入和Redis

pipe之间的效率。

测试思路：分别通过shell脚本和Redis

pipe向数据库中插入10万相同数据，查看各自所花费的时间。

Shell

脚本如下：

#!/bin/bash

for

((i=0;i100000;i++))

do

echo

-en

"helloworld"

|

redis-cli

-x

set

name$i

redis.log

done

每次插入的值都是helloworld，但键不同，name0，name1...name99999。

Redis

pipe

Redis

pipe会稍微麻烦一点

1

首先构造redis命令的文本文件

在这里，我选用了python

#!/usr/bin/python

for

i

in

range(100000):

print

'set

name'+str(i),'helloworld'

#

python

1.py

redis_commands.txt

#

head

-2

redis_commands.txt

set

name0

helloworld

set

name1

helloworld

2

将这些命令转化成Redis

Protocol

在这里，我利用了github上一个shell脚本，

#!/bin/bash

while

read

CMD;

do

#

each

command

begins

with

*{number

arguments

in

command}\r\n

XS=($CMD);

printf

"*${#XS[@]}\r\n"

#

for

each

argument,

we

append

${length}\r\n{argument}\r\n

for

X

in

$CMD;

do

printf

"\$${#X}\r\n$X\r\n";

done

done

redis_commands.txt

#

sh

20.sh

redis_data.txt

#

head

-7

redis_data.txt

*3

$3

set

$5

name0

$10

helloworld

至此，数据构造完毕。

测试结果

怎么向redis数据库中同时插入不同类型的数据

redis开创了一种新的数据存储思路，使用redis，我们不用在面对功能单调的数据库时，把精力放在如何把大象放进冰箱这样的问题上，而是利用redis灵活多变的数据结构和数据操作，为不同的大象构建不同的冰箱。

redis常用数据类型

redis最为常用的数据类型主要有以下五种：

string

hash

list

set

sorted set

在具体描述这几种数据类型之前，我们先通过一张图了解下redis内部内存管理中是如何描述这些不同数据类型的：

首先redis内部使用一个redisobject对象来表示所有的key和value,redisobject最主要的信息如上图所示：type代表一

个value对象具体是何种数据类型，encoding是不同数据类型在redis内部的存储方式，比如：type=string代表value存储的是

一个普通字符串，那么对应的encoding可以是raw或者是int,如果是int则代表实际redis内部是按数值型类存储和表示这个字符串的，当然

前提是这个字符串本身可以用数值表示，比如:"123"

"456"这样的字符串。

这里需要特殊说明一下vm字段，只有打开了redis的虚拟内存功能，此字段才会真正的分配内存，该功能默认是关闭状态的，该功能会在后面具体描述。通过

上图我们可以发现redis使用redisobject来表示所有的key/value数据是比较浪费内存的，当然这些内存管理成本的付出主要也是为了给

redis不同数据类型提供一个统一的管理接口，实际作者也提供了多种方法帮助我们尽量节省内存使用，我们随后会具体讨论。

下面我们先来逐一的分析下这五种数据类型的使用和内部实现方式：

string

常用命令：

set,get,decr,incr,mget 等。

应用场景：

string是最常用的一种数据类型，普通的key/value存储都可以归为此类，这里就不所做解释了。

实现方式：

string在redis内部存储默认就是一个字符串，被redisobject所引用，当遇到incr,decr等操作时会转成数值型进行计算，此时redisobject的encoding字段为int。

hash

常用命令：

hget,hset,hgetall 等。

应用场景：

我们简单举个实例来描述下hash的应用场景，比如我们要存储一个用户信息对象数据，包含以下信息：

用户id为查找的key，存储的value用户对象包含姓名，年龄，生日等信息，如果用普通的key/value结构来存储，主要有以下2种存储方式：

第一种方式将用户id作为查找key,把其他信息封装成一个对象以序列化的方式存储，这种方式的缺点是，增加了序列化/反序列化的开销，并且在需要修改其中一项信息时，需要把整个对象取回，并且修改操作需要对并发进行保护，引入cas等复杂问题。

第二种方法是这个用户信息对象有多少成员就存成多少个key-value对儿，用用户id+对应属性的名称作为唯一标识来取得对应属性的值，虽然省去了序列化开销和并发问题，但是用户id为重复存储，如果存在大量这样的数据，内存浪费还是非常可观的。

那么redis提供的hash很好的解决了这个问题，redis的hash实际是内部存储的value为一个hashmap，并提供了直接存取这个map成员的接口，如下图：

也就是说，key仍然是用户id,

value是一个map，这个map的key是成员的属性名，value是属性值，这样对数据的修改和存取都可以直接通过其内部map的key(redis里称内部map的key为field),

也就是通过 key(用户id) + field(属性标签)

就可以操作对应属性数据了，既不需要重复存储数据，也不会带来序列化和并发修改控制的问题。很好的解决了问题。

这里同时需要注意，redis提供了接口(hgetall)可以直接取到全部的属性数据,但是如果内部map的成员很多，那么涉及到遍历整个内部map的

操作，由于redis单线程模型的缘故，这个遍历操作可能会比较耗时，而另其它客户端的请求完全不响应，这点需要格外注意。

实现方式：

上面已经说到redis

hash对应value内部实际就是一个hashmap，实际这里会有2种不同实现，这个hash的成员比较少时redis为了节省内存会采用类似一维数组的方式来紧凑存储，而不会采用真正的hashmap结构，对应的value

redisobject的encoding为zipmap,当成员数量增大时会自动转成真正的hashmap,此时encoding为ht。

list

常用命令：

lpush,rpush,lpop,rpop,lrange等。

应用场景：

redis

list的应用场景非常多，也是redis最重要的数据结构之一，比如twitter的关注列表，粉丝列表等都可以用redis的list结构来实现，比较好理解，这里不再重复。

实现方式：

redis

list的实现为一个双向链表，即可以支持反向查找和遍历，更方便操作，不过带来了部分额外的内存开销，redis内部的很多实现，包括发送缓冲队列等也都是用的这个数据结构。

set

常用命令：

sadd,spop,smembers,sunion 等。

应用场景：

redis

set对外提供的功能与list类似是一个列表的功能，特殊之处在于set是可以自动排重的，当你需要存储一个列表数据，又不希望出现重复数据时，set是一个很好的选择，并且set提供了判断某个成员是否在一个set集合内的重要接口，这个也是list所不能提供的。

实现方式：

set 的内部实现是一个

value永远为null的hashmap，实际就是通过计算hash的方式来快速排重的，这也是set能提供判断一个成员是否在集合内的原因。

sorted set

常用命令：

zadd,zrange,zrem,zcard等

使用场景：

redis sorted set的使用场景与set类似，区别是set不是自动有序的，而sorted

set可以通过用户额外提供一个优先级(score)的参数来为成员排序，并且是插入有序的，即自动排序。当你需要一个有序的并且不重复的集合列表，那么可以选择sorted

set数据结构，比如twitter 的public

redis多个数据库内存怎么分配的(redis一个库能存多少数据)

1、redis中的每一个数据库，都由一个redisDb的结构存储。其中，redisDb.id存储着redis数据库以整数表示的号码。redisDb.dict存储着该库所有的键值对数据。redisDb.expires保存着每一个键的过期时间。

2、当redis服务器初始化时，会预先分配16个数据库（该数量可以通过配置文件配置），所有数据库保存到结构redisServer的一个成员redisServer.db数组中。当我们选择数据库selectnumber时，程序直接通过redisServer.db[number]来切换数据库。有时候当程序需要知道自己是在哪个数据库时，直接读取redisDb.id即可。

3、既然我们知道一个数据库的所有键值都存储在redisDb.dict中，那么我们要知道如果找到key的位置，就有必要了解一下dict的结构了：

typedefstructdict{

//特定于类型的处理函数

dictType*type;

//类型处理函数的私有数据

void*privdata;

//哈希表（2个）

dicththt[2];

//记录rehash进度的标志，值为-1表示rehash未进行

intrehashidx;

//当前正在运作的安全迭代器数量

intiterators;

}dict;

由上述的结构可以看出，redis的字典使用哈希表作为其底层实现。dict类型使用的两个指向哈希表的指针，其中0号哈希表（ht[0]）主要用于存储数据库的所有键值，而1号哈希表主要用于程序对0号哈希表进行rehash时使用，rehash一般是在添加新值时会触发，这里不做过多的赘述。所以redis中查找一个key，其实就是对进行该dict结构中的ht[0]进行查找操作。

4、既然是哈希，那么我们知道就会有哈希碰撞，那么当多个键哈希之后为同一个值怎么办呢？redis采取链表的方式来存储多个哈希碰撞的键。也就是说，当根据key的哈希值找到该列表后，如果列表的长度大于1，那么我们需要遍历该链表来找到我们所查找的key。当然，一般情况下链表长度都为是1，所以时间复杂度可看作o(1)。

二、当redis拿到一个key时，如果找到该key的位置。

了解了上述知识之后，我们就可以来分析redis如果在内存找到一个key了。

1、当拿到一个key后，redis先判断当前库的0号哈希表是否为空，即：if(dict-

2、判断该0号哈希表是否需要rehash，因为如果在进行rehash，那么两个表中者有可能存储该key。如果正在进行rehash，将调用一次_方法，_用于对数据库字典、以及哈希键的字典进行被动rehash，这里不作赘述。

3、计算哈希表，根据当前字典与key进行哈希值的计算。

4、根据哈希值与当前字典计算哈希表的索引值。

5、根据索引值在哈希表中取出链表，遍历该链表找到key的位置。一般情况，该链表长度为1。

6、当ht[0]查找完了之后，再进行了次rehash判断，如果未在rehashing，则直接结束，否则对ht[1]重复345步骤。

到此我们就找到了key在内存中的位置了。

Redis有几种数据结构，和其他数

1、String

可以是字符串，整数或者浮点数，对整个字符串或者字符串中的一部分执行操作，对整个整数或者浮点执行自增(increment)或者自减(decrement)操作。

字符串命令：

①get、获取存储在指定键中的值

②set、设置存储在指定键中的值

③del、删除存储在指定键中的值（这个命令可以用于所有的类型）

2、list

一个链表，链表上的每个节点都包含了一个字符串，虫链表的两端推入或者弹出元素，根据偏移量对链表进行修剪(trim)，读取单个或者多个元素，根据值查找或者移除元素。

列表命令：

①rpush、将给定值推入列表的右端

②lrange、获取列表在指定范围上的所有值

③lindex、获取列表在指定范围上的单个元素

④lpop、从列表的左端弹出一个值，并返回被弹出的值

3、set

包含字符串的无序收集器(unordered collection)、并且被包含的每个字符串都是独一无二的。添加，获取，移除单个元素，检查一个元素是否存在于集合中，计算交集，并集，差集，从集合里面随机获取元素。

集合命令：

①sadd、将给定元素添加到集合

②smembers、返回集合包含的所有元素

③sismember、检查指定元素是否存在于集合中

④srem、检查指定元素是否存在于集合中，那么移除这个元素

4、hash

包含键值对无序散列表，添加，获取，移除当键值对，获取所有键值对。

散列命令：

①hset、在散列里面关联起指定的键值对

②hget、获取指定散列键的值

③hgetall、获取散列包含的所有键值对

④hdel、如果给定键存在于散列里面，那么移除这个键

5、zset

字符串成员(member)与浮点数分值(score)之间的有序映射，元素的排列顺序由分值的大小决定。添加，获取，删除单个元素，根据分值范围(range)或者成员来获取元素。

有序集合命令：

①zadd、将一个带有给定分值的成员添加到有序集合里面

②zrange、根据元素在有序排列中所处的位置，从有序集合里面获取多个元素

③zrangebyscore、获取有序集合在给定分值范围内的所有元素

④zrem、如果指定成员存在于有序集合中，那么移除这个成员

redislpop多个数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于redis 分批获取数据、redislpop多个数据的信息别忘了在本站进行查找喔。