mysql实现随机查询 基于rand()函数优化查询

一、随机查询一条数据

本次用例采用App访问记录的部分数据测试,数据长度:1.21GB(1,298,137,088),数据行数:22.9万(259,525)。

方法一

select * from mobile_log_info ORDER BY rand() limit 1
> OK
> 时间: 6.012s

结果:

评价:不建议使用,效率非常低,官方文档中进行说明:Order By和RAND()连用,会多次扫描表,导致速度变慢,所以导致本次查询6s多

方法二

SELECT * FROM `mobile_log_info` 
             WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `mobile_log_info`)))  
             ORDER BY id LIMIT 1
> OK
> 时间: 0.578s

解释:

SELECT MAX(id) FROM `mobile_log_info` #这句话查询出最大的id值 

SELECT floor(RAND() * (SELECT MAX(id) FROM `mobile_log_info`)) #这句获取一个小于MAX(id)的随机数

WHERE id >= (SELECT floor(RAND() * (SELECT MAX(id) FROM `mobile_log_info`)))

这句话筛选出所有的大于生成随机数的id的行然后最后就把大于这个随机id的行查询出来,然后按照id排序,选择第一个,就相当与获取了所有行中随机的一行。

评价:有问题,如果id不是从0开始的话,比如从10000开始自增,那么 SELECT floor(RAND() * (SELECT MAX(id) FROM mobile_log_info)) 得到的将是会哟很大概率得到小于10000的值,经过where限定的查询结果将会是所有的查询结果的几率变大,最后limit 1获取的是第一行数据的几率变高。

方法三

SELECT * FROM `mobile_log_info` WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `mobile_log_info`)-(SELECT MIN(id) FROM `mobile_log_info`)) + (SELECT MIN(id) FROM `mobile_log_info`)))   ORDER BY id LIMIT 1;
> OK
> 时间: 0.038s

方法四

SELECT * FROM `mobile_log_info` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `mobile_log_info`)-(SELECT MIN(id) FROM `mobile_log_info`))+(SELECT MIN(id) FROM `mobile_log_info`)) AS id) AS t2 WHERE t1.id >= t2.id ORDER BY t1.id LIMIT 1;
> OK
> 时间: 0.013s

评价:解决了方法二中MAX(id)的问题,RAND() * ((SELECT MAX(id) FROM mobile_log_info)-(SELECT MIN(id) FROM mobile_log_info)) + (SELECTMIN(id) FROM mobile_log_info)可以获取MAX(id)和MIN(id)中的随机数。

方法四要比方法三稍快一点,22w条数据前者花费时间 0.038s 秒,后者花费时间 0.013s 秒,按照多次执行平均的花,方法四要比方法三快不少。

以上解决方案都默认有一个不重复的数字字段,其实现在很多表的设计都是以一个自增段作为主键,当然还有一些是以uuid作为主键的,而没有数字键,这样的话,可以用mysql的函数将uuid的字符串转换成数字。而且还有一个问题,如果id字段的数字分布不均匀的话(比如按照1,4,5,6,7,8,45这样分布),也会造成随机查询的不合理,但是这里就不讨论那么复杂的问题了。

二、随机查询多条数据

方法一

select * from mobile_log_info ORDER BY rand() limit 10
> OK
> 时间: 5.592s

方法二

SELECT * FROM `mobile_log_info` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `mobile_log_info`)-(SELECT MIN(id) FROM `mobile_log_info`))+(SELECT MIN(id) FROM `mobile_log_info`)) AS id from `mobile_log_info` limit 50) AS t2 on t1.id=t2.id ORDER BY t1.id LIMIT 10;
> OK
> 时间: 0.106s

解释:

SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`))+(SELECT MIN(id) FROM `table`)) AS id 

from `table` limit 50)这样会获取50个随机数字,然后on t1.id=t2.id会挑选出不大于50行的随机数据,然后取5条就好了。

如果不需要排序,去掉order by,查询速度更快

# mysql   sql   java随机数  

评论

企鹅群:39438021

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×