一、随机查询一条数据
本次用例采用App访问记录的部分数据测试,数据长度:1.21GB(1,298,137,088),数据行数:22.9万(259,525)。
方法一
select * from mobile_log_info ORDER BY rand() limit 1
> OK
> 时间: 6.012s
结果:
评价:不建议使用,效率非常低,官方文档中进行说明:Order By和RAND()连用,会多次扫描表,导致速度变慢,所以导致本次查询6s多。
方法二
SELECT * FROM `mobile_log_info`
WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `mobile_log_info`)))
ORDER BY id LIMIT 1
> OK
> 时间: 0.578s
解释:
SELECT MAX(id) FROM `mobile_log_info` #这句话查询出最大的id值
SELECT floor(RAND() * (SELECT MAX(id) FROM `mobile_log_info`)) #这句获取一个小于MAX(id)的随机数
WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `mobile_log_info`)))
这句话筛选出所有的大于生成随机数的id的行然后最后就把大于这个随机id的行查询出来,然后按照id排序,选择第一个,就相当与获取了所有行中随机的一行。
评价:有问题,如果id不是从0开始的话,比如从10000开始自增,那么 SELECT floor(RAND() * (SELECT MAX(id) FROM mobile_log_info))
得到的将是会哟很大概率得到小于10000的值,经过where限定的查询结果将会是所有的查询结果的几率变大,最后limit 1获取的是第一行数据的几率变高。
方法三
SELECT * FROM `mobile_log_info` WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `mobile_log_info`)-(SELECT MIN(id) FROM `mobile_log_info`)) + (SELECT MIN(id) FROM `mobile_log_info`))) ORDER BY id LIMIT 1;
> OK
> 时间: 0.038s
方法四
SELECT * FROM `mobile_log_info` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `mobile_log_info`)-(SELECT MIN(id) FROM `mobile_log_info`))+(SELECT MIN(id) FROM `mobile_log_info`)) AS id) AS t2 WHERE t1.id >= t2.id ORDER BY t1.id LIMIT 1;
> OK
> 时间: 0.013s
评价:解决了方法二中MAX(id)的问题,RAND() * ((SELECT MAX(id) FROM mobile_log_info
)-(SELECT MIN(id) FROM mobile_log_info
)) + (SELECTMIN(id) FROM mobile_log_info
)可以获取MAX(id)和MIN(id)中的随机数。
方法四要比方法三稍快一点,22w条数据前者花费时间 0.038s 秒,后者花费时间 0.013s 秒,按照多次执行平均的花,方法四要比方法三快不少。
以上解决方案都默认有一个不重复的数字字段,其实现在很多表的设计都是以一个自增段作为主键,当然还有一些是以uuid作为主键的,而没有数字键,这样的话,可以用mysql的函数将uuid的字符串转换成数字。而且还有一个问题,如果id字段的数字分布不均匀的话(比如按照1,4,5,6,7,8,45这样分布),也会造成随机查询的不合理,但是这里就不讨论那么复杂的问题了。
二、随机查询多条数据
方法一
select * from mobile_log_info ORDER BY rand() limit 10
> OK
> 时间: 5.592s
方法二
SELECT * FROM `mobile_log_info` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `mobile_log_info`)-(SELECT MIN(id) FROM `mobile_log_info`))+(SELECT MIN(id) FROM `mobile_log_info`)) AS id from `mobile_log_info` limit 50) AS t2 on t1.id=t2.id ORDER BY t1.id LIMIT 10;
> OK
> 时间: 0.106s
解释:
SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`))+(SELECT MIN(id) FROM `table`)) AS id
from `table` limit 50)这样会获取50个随机数字,然后on t1.id=t2.id会挑选出不大于50行的随机数据,然后取5条就好了。
如果不需要排序,去掉order by,查询速度更快