- 当前位置：首页 >人工智能 >MySQL中WHERE后跟着N多个OR条件会怎样...
MySQL中WHERE后跟着N多个OR条件会怎样...
发布时间：2025-11-05 12:18:07 来源：云智核 作者：人工智能
-
背景交代
用 tpcc-mysql 工具生成 50个仓库 的跟着个测试数据，表 order_line 共有 37970973 条记录。跟着个
某工具在运行过程中，跟着个会产生下面的跟着个SQL进行查询，WHERE后跟了N多个条件：
这里说的N多个，是跟着个指总共有10000个OR条件，这条SQL的跟着个长度大概将近800KB。
这条SQL在我的跟着个测试服务器上，运行了约56秒（另一个性能略差的跟着个机器上跑了1800秒左右才完成），共扫描75563行记录，跟着个返回8192行结果：
复制# Query_time: 56.031955 Lock_time: 0.047795 Rows_sent: 8129 Rows_examined: 75563 ... Read_first: 0 Read_last: 0 Read_key: 1 Read_next: 75563 Read_prev: 0 Read_rnd: 0 Read_rnd_next: 0...
...
# InnoDB_pages_distinct: 501...
select * from order_line where ...1.2.3.4.5.相当于只做了1次索引范围查询，跟着个但总共要扫描7.5万条数据。跟着个
问题分析只需要扫描 7.5万行记录，跟着个501个page，跟着个返回8192行结果，跟着个正常情况下不应该需要这么久才对，肯定是哪里有问题。
再次手动执行这条SQL，发现的确是这么慢，并且在最后还有个 warnings 提醒，查看下是啥内容：
复制mysql>show warnings\G
...
Level:Warning
Code: 3170Message: Memory capacity of 8388608 bytes for range_optimizer_max_mem_size exceeded. Range optimization was not done for this query.1.2.3.4.5.第一次见到这种告警，先检查MySQL手册，看看 range_optimizer_max_mem_size 这个选项是b2b信息网干嘛用的：
复制文档出处：https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_range_optimizer_max_mem_sizeThe limit on memory consumption for the range optimizer. A value of 0 means “no limit.”
If an execution plan considered bythe optimizer uses the range access method but
the optimizer estimates that the amount of memory needed for this method would
exceed the limit, it abandons the plan andconsiders other plans. For more
information, see Limiting Memory Use for Range Optimization.1.2.3.4.5.6.7.这个选项是从MySQL 5.7.9开始引入的，用于控制当优化器采用范围（RANGE）查询优化方案时使用的内存消耗限制。
其默认值为8MB（5.7.12及以上版本），当设置为0时，表示不做任何限制。当WHERE查询条件里有很多OR、AND组成时，优化器判断超过内存消耗限制，则会调整SQL执行计划，变成其他执行方案，甚至可能是全表扫描。
这也就是为什么执行上面的大SQL后，MySQL会有这样的告警提示了。
经过几次简单尝试，把 range_optimizer_max_mem_size 选项值调大到 24MB 后，这个SQL就可以正常执行，并且运行速度很快：
复制# Query_time: 6.721209 Lock_time: 0.044637 Rows_sent: 8129 Rows_examined: 8129 Read_first: 0 Read_last: 0 Read_key: 10000 Read_next: 0 Read_prev: 0 Read_rnd: 0 Read_rnd_next: 0...
...
# InnoDB_pages_distinct: 811.2.3.注意到几个变化：
耗时从56秒降到6.7秒；扫描行数从7.5万行降到8192行（返回结果数不变）；Read_key从1增加到10000；Read_next从75563降到0；扫描的page数从501降到81。相当于做了1万次索引列等值条件查询。
查询效率提升非常显著。
进一步优化线上生产环境中，各式各样的SQL层出不穷，这次可能是一万条OR条件，站群服务器下次可能是其他的，是不能无限度增加数据库内存消耗的。
针对本案中的SQL，更好的优化办法是找出这些OR条件的范围规律，并改写成一条更简单的SQL，类似下面这样：
复制mysql> select * from order_line whereol_w_id = 1 and ol_d_id = 1 and (ol_o_id between 2007 and 2997)and (ol_number between 1 and 15 );1.2.3.新的SQL执行代价：
复制# Query_time: 0.006338 Lock_time: 0.000084 Rows_sent: 9883 Rows_examined: 9883...Read_first: 0 Read_last: 0 Read_key: 1 Read_next: 9883 Read_prev: 0 Read_rnd: 0 Read_rnd_next: 0...
...
# InnoDB_pages_distinct: 811.2.3.相当于只做了1次索引范围查询，且只需扫描9883条记录。
相比上面调高内存上限的优化方案，本次的做法则更为彻底，耗时从6.7秒直接降为6.3毫秒，提升了1000倍；扫描行数、次数和page数也下降了很多。
不过要注意的是，改写后的SQL查询结果和原来并不是完全一致的，实际应用中，可能还要再做进一步筛选或者增加 LIMIT N 来控制。亿华云
最后再次提醒，WHERE条件后跟着N多个OR/AND条件的写法非常不可取，尤其是在用一些开发框架构造查询SQL时，尤其要注意规避这个问题，否则可能造成严重性能问题。
延伸阅读sysvars-range_optimizer_max_mem_size,https://dev.mysql.com/doc/refman/8.0/en/server-system-variables.html#sysvar_range_optimizer_max_mem_size
Limiting Memory Use for Range Optimization,https://dev.mysql.com/doc/refman/8.0/en/range-optimization.html#range-optimization-memory-use
- Nginx （engine-x）是一个开源的高性能 HTTP 服务器、反向代理和 IMAP/POP3 代理服务器。nginx 杰出的功能有：稳定、丰富的功能集、简单的配置和低资源消耗。nginx 被用于一些高性能网站并在站长之间变得越来越流行。本教程会从源码构建一个带有 google paespeed 模块的用于 Ubuntu 15.04 的 nginx .deb 安装包。pagespeed 是一个由 google 开发的 web 服务器模块来加速网站响应时间、优化 html 和减少页面加载时间。ngx_pagespeed 的功能如下： 图像优化：去除元数据、动态缩放、重压缩。 CSS 与 JavaScript 压缩、串联、内联、外联。 小资源内联 图像与 JavaScript 延迟加载 HTML 重写 缓存生命期插件前置要求 Ubuntu Server 15.04 64位 root 权限该文我们将要： 安装必备软件包 安装带 ngx_pagespeed 的 nginx 测试安装必备包复制代码代码如下:sudo apt-get install dpkg-dev build-essential zlib1g-dev libpcre3 libpcre3-dev安装带 ngx_pagespeed 的 nginx第一步 - 添加nginx仓库复制代码代码如下: vim /etc/apt/sources.list.d/nginx.list加入下面的行：复制代码代码如下:deb http://nginx.org/packages/ubuntu/ trusty nginx deb-src http://nginx.org/packages/ubuntu/ trusty nginx更新仓库：复制代码代码如下:sudo apt-get update注意：假如你看到信息：GPG error [...] NO_PUBKEY [...] 等等请添加key：复制代码代码如下:sudo sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys KEYNUMBER sudo apt-get update第二步 - 从仓库下载 nginx 1.8复制代码代码如下: sudo su cd ~ mkdir -p ~/new/nginx_source/ cd ~/new/nginx_source/ apt-get source nginx apt-get build-dep nginx第三步 - 下载 Pagespeed复制代码代码如下:cd ~ mkdir -p ~/new/ngx_pagespeed/ cd ~/new/ngx_pagespeed/ ngx_version=1.9.32.3 wget https://github.com/pagespeed/ngx_pagespeed/archive/release-${ngx_version}-beta.zip unzip release-${ngx_version}-beta.zip cd ngx_pagespeed-release-1.9.32.3-beta/ wget https://dl.google.com/dl/page-speed/psol/${ngx_version}.tar.gz tar -xzf 1.9.32.3.tar.gz第四步 - 配置 nginx 来编译 Pagespeed复制代码代码如下:cd ~/new/nginx_source/nginx-1.8.0/debin/ vim rules在两处 CFLAGS .configure 下添加模块： --add-module=../../ngx_pagespeed/ngx_pagespeed-release-1.9.32.3-beta adding pagespeed to nginx adding pagespeed to nginx 第五步 - 打包 nginx 软件包并安装复制代码代码如下:cd ~/new/nginx_source/nginx-1.8.0/ dpkg-buildpackage -bdpkg-buildpackage 会编译 ~/new/ngix_source/ 为 nginx.deb。打包完成后，看一下目录：复制代码代码如下:cd ~/new/ngix_source/ ls nginx builded with pagespeed 接着安装 nginx。复制代码代码如下:dpkg -i nginx_1.8.0-1~trusty_amd64.deb 测试运行 nginx -V 测试 nginx 是否已经自带 ngx_pagespeed。复制代码代码如下:nginx -V 总结稳定、快速、开源的 nginx 支持许多不同的优化模块。这其中之一是 google 开发的‘pagespeed’。不像 apache，nginx 模块不是动态加载的，因此你必须在编译之前就选择好需要的模块。
- Oracle中sql语句如何执行日志查询
- Mysql多表关联不走索引的原因及分析
- 跟着官网学Go之基于Gin开发一个简单的RESTful API
- 以三的榨汁机材质（探究以三的榨汁机材质的优势与特点）
- 重磅：Vue 3 将在年后成为新的默认版本
- 写好C语言，漂亮的宏定义很重要！
- Vue3.0插件执行原理与实战
- 双核电脑装Win7的优势与挑战（优化双核电脑性能，提升Win7系统使用体验）
- 面试官：说说Casbin配置文件里的设计哲学（配置详解）
- 以元赛电子（以元赛电子的产品和发展前景如何？）
- 一日一技：轻松排雷，爬虫让 Gzip 炸弹变哑炮
- 高效使用C语言
- Go：基于 MongoDB 构建 REST API -Fiber 版
- Canonical在最近宣布了Ubuntu 15.04 的发布计划，最终发布日期定为2015年4月23日。详细发布计划： Alpha 1 – 12月18日 (特色版本)Alpha 2 – 1月22日 (特色版本)特性冻结— 2月19日Beta 1 – 1月26日 (特色版本)UI 冻结 — 3月12Final Beta –3月26内核冻结 —4月9日RC版本– 4月16日
- Sentry 开发者贡献指南 - 什么是 Scope, 什么是 Hub？
- 手把手教你使用PySimpleGUI库打造一款轻量级计算器
- 60行代码实现React的事件系统
- 华为荣耀3手环（探索华为荣耀3手环的功能与优势，以及对用户生活的帮助和改善）
- 优秀的优化器是在实践中磨练出来的
随便看看
- Copyright © 2025 Powered by MySQL中WHERE后跟着N多个OR条件会怎样...,云智核 滇ICP备2023006006号-28sitemap