召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2832|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能% X' S: @$ ^9 c( V! Q
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
0 I& ^3 H. i9 C" K4 c, a一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
0 ?; l+ [% e1 j( ?! u在InnoDB中,只有事务提交后才会解锁
: [# w1 c0 M( n: i0 l
; v% J4 `8 t+ W! J: ^1 V索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
% t2 w( E+ m, x% {$ G+ h能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
/ P( B2 c8 s8 A, Q0 V2 b# F
0 E5 C. O5 v% i2 @! Z- D" tB-TREE
& t4 X' s$ R" u% X& g4 @能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
2 p; ~6 {  |- C7 r  T: x6 m% d使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。3 R% x% u- w& x; a

  1. * r" j, k0 G6 k
  2. CREATE TABLE People(. M. z3 j% `9 h. o2 I6 G+ L9 G
  3. last_name varchar(50)   not  null
    7 e4 y3 y% ~( U0 V% e& o9 s5 T
  4.           first_name  varchar(50)     not   null( X) g3 L9 R% |/ v1 X6 [
  5.           dob  date      not    null
    ) x8 g1 p2 C) R- g3 g1 K, b2 Y
  6.       gende       enum('m','f')    not    null  X% q1 k4 X/ ]5 ?! ^" B% `6 Q
  7.         key(last_name,first_name,dob)
复制代码
匹配全名8 ?0 Q3 T: M3 p: t! p! n; U
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。/ |9 ]# X* _. Z' r
的人。$ L9 i9 p) A- }9 t* T
匹配最左前缀
6 ?5 u% O$ u( B1 TB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。6 p# O" u7 `" k0 H% o
匹配列前缀
* h9 T9 C( R( y; ?1 Z可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
+ `) P2 u. V0 u! N匹配范围值
, E- [! o# _% a, v' W这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列., J) V$ F, q  H2 ?/ ?( v) J
精确匹配一部分并且匹配某个范围中的另一部分
# Y& p4 t+ v( A! X' E7 e9 O& F这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
! ?) X% V- I- u$ \8 U) H列并且对first name列进行了范囤查询。+ h# U, O! j8 f: I2 B% Y
name
$ e2 b$ ?3 X2 ?只访问索引的查询
$ V( S! p0 b! B5 d+ D7 aB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
$ s+ j! Q; Y7 `7 [
: G. T0 B7 g. e1 _) V由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
2 x+ d: P4 S8 w3 I" O  ^" c如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
; R  M4 E+ J0 [" J7 _找方式也可以同等地应用于ORDER BY。8 N$ Q: v& M- W' W
( {" Q3 ]$ \$ S6 X
下面是B-Tree索引的一些局限:
6 F1 N  P" o- x5 i9 g2 L6 _" Z5 E! d' b2 y  _! K# G! v# u
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
& `2 j  V5 N8 P也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
9 W/ K. Q! T  P8 s0 q氏以特定字符结尾的人。# K. }6 O( \' |6 N
4 ~9 ]7 b: m( V6 D1 L. V
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
; n: E% U: u: V- {+ X) K0 ?! j义first_name列的值,MySQL就只能使用索引的第一列。4 W" f  t' H3 g- {5 S# v. s

( p( @- A: e( @7 o: _3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是# r: ]' h& _0 j; f1 q
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而2 ^! E0 @/ d& o0 e
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
2 g* P; P3 T9 \5 h" A- c" d8 g. G0 F' G2 \& G, \
哈希索引,空间索引和全文索引等,暂时没有设计0 m# Z7 ]3 c4 _' F+ i% h+ R
- R" F; v. Q2 Y! i" o: h
高性能索引策略
5 t9 [. }- X+ o5 R. }* b9 h" Y& G& O* L1 [! o2 ^0 O3 l
1,隔离列,意思就是不要对查询条件中列进行计算等操作2 q  |. |" s7 c
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引$ c" y4 ?. ^' B/ x. h
Select count(distinct 列) /count(*) from table;
- k* o5 S$ {( F" Y, K* s& w看看这个值时多少,如0.03122 n: j  o/ c  C
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算& A9 `7 _- S' a7 y8 z6 T, C  n
,这对于大表很有用。
/ e8 P7 W  @  s7 G, a" @Select  count(distinct left(列,3)) /count(*)  as  sel1,
  F) y! L) Z% X; Z# A* l. h" i0 U count(distinct left(列,4)) /count(*)  as  sel1  ,
* Y. x# ~" ^) b* D9 l count(distinct left(列,5)) /count(*)  as  sel1,8 H1 K3 W) N/ F/ L: Z4 `* y
count(distinct left(列,6)) /count(*)  as  sel1," D; O: ]/ j0 B2 z: t6 A
count(distinct left(列,7)) /count(*)  as  sel1   from table;  c- \6 [) u2 _; }) O# ?
找到接近0.0312即可。. @& O2 b  a+ i( H  j  l- B) a

& j) f" W% U' n6 l  \Alter table table_name add key (列(7))! |8 w4 s' _* q, {
3,覆盖索引
6 {( p& o. I( f, t$ Y包含或者覆盖所有满足查询的数据索引叫做覆盖索引
: }* a5 D( f: E! q/ B* z! dexplain时,extra中的会显示using index
$ {5 {/ {7 t5 K这里一个重要的原则是& X0 d; K6 I, r; r$ d6 z% {% D
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
5 H: @; Z: ^9 D6 U- I如select id from table_name;( G7 p! H- L/ _& s) Z

; R' x# w0 h: B* |/ C9 U3 R很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不: \$ t: r% J, [* X$ r
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
8 D2 l- |3 e4 c3 D: N3 K+ x3 K- _% ^2 Z' w
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';4 ]( i% W8 V2 ?/ z
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
; v( k2 P. J" m2 {7 ~  [2 Y9 e8 l& y' G1,
0 o, T# w6 A# j+ _% K没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
% ~8 ^8 i$ [# r# `2,
  p8 }. a' F( v( ^. r7 ~3 ^$ r  mMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
. c- r7 b+ t# I4 v有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
( N% J# J+ B$ Q5 J# ^
, j0 e4 ^. m8 C4,为排序使用索引扫描
5 ?  E. e8 j8 y2 ~. D! Lmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
4 n0 f$ B( H# oexplain输出type为index,表示mysql会扫描索引
% t5 z, i/ v# ^0 k6 y+ i* \
. i; Z! s* M1 X) q; N+ [# e扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
1 j! @2 A* z' o: Q6 t
+ z( O" k0 ^/ r4 Q5 [1 SMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。& {7 Q0 U9 W( {9 h8 m" x# p
  b" P* E8 L5 [8 z* `/ M: ^
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
2 {9 k) Q: l$ g, s: v. Y8 ]
6 R; P, ^" Y5 A9 [1 _$ G" Z5 U& [ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
/ [# S* z+ X! v" H3 L7 z7 R7 ]. d( P! T& ~" a& [4 L  E7 t6 F. I9 w
使用join可能情况会有不同
' s- z( i8 u) F. h( [, D+ M3 G9 I( y
5,压缩索引(myisam)
' K+ k5 R6 S! Y" ^7 N! y6,多余和重复索引(应该避免)- K: l- Q4 B% P3 L3 g  U' Z+ Q& n
! ?: D" ?  S& X% P9 t( `- }$ g
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)7 R" r% x5 R* a2 r
上有索引,那么另外一个列(A)上的
) g2 l" d# V$ [8 C9 x索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
% L4 K) |3 s, F7 v! Z3 N" f然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
# W6 v! t3 w7 {/ j# M5 B: l. ?; b  ^) a, k$ C6 c$ P7 y
要点:8 S" d* W4 h4 j- m- @
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.1 {5 w0 c- I' q5 ?

. Y' ~+ z" a4 E4 ?3 u: o+ S即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行" V* C7 U6 E5 H" N" P) Q( v, |

" u1 Q) m' M, e& L
$ ]- R- M0 k. ]7 V. |( n" M  y" Y6 Y/ L7 g& T
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,# }3 Y# H; \7 Y4 s5 v$ o
. }, p( m; ~$ F$ t0 T
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引+ F( i/ K& d* l! G. q3 s
8 P1 ~  i& H6 v# s" W/ M
- s7 W! I7 u) _1 w

; `5 Q! F8 Z/ ?) K; ~( ~# q一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索9 |& b& L. c! G6 E& F
) ]8 i. h% |9 g6 g7 `( D
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
* }- \% K3 i+ \/ V# U% r; T$ K- f5 a* C* ?, _7 i" f2 x; \
, R2 E: t& |6 s( S' f  `

0 k  V( \: P, Z+ N一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
: W0 w; w" R2 T* D1 p3 i' ^( r2 Z# e! R$ y
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
- l: \' }6 I8 _1 i" b! R& ^
: k; l3 p& C7 u) n2 d这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
4 P/ Q, ^' C* ~# j9 Q" a" ]. C% b5 Q. \$ k5 V4 o6 Q' H: _4 T. |

/ c) V) o6 A& T' l2 K+ m  h, m& m% ^& G
避免多个范围条件,只能对其中一个使用索引' Z1 c1 H5 u) t* G! D
; O6 g8 `- S! h8 m: C, Z( \

8 E" M  \0 j! w" }3 l
( U* \# X2 U! v: P8 ~6 |3 ]索引和表维护
# O; O: h- ~0 [5 o; d) ?. t
: J- S6 M7 k( ]( v- X$ E( }+ G表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
3 @+ Y, p# u: ]; l
3 ^  X8 |# G: |( i: y% b, \check table table_name;
5 V! ~4 @- p. P" J1 Xrepair table table_name;! W: f/ h! g9 m- A' U: J6 V* B
Show index from table_name;检查索引的基数性
$ O' Z  ~0 u$ a; z1 \, e7 K# V7 B" B
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
8 X% m. y" n' s. |# j
8 G# [& g0 I- y3 e9 ?% _( {9 h. n. F# f9 |1 T

) o8 s+ [5 V% n0 wB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。1 [. Q  O8 S8 Q2 M
& r7 }4 Z8 W$ B: {
表数据也能变成碎片化。两种类型:2 W2 V6 a1 ]/ v7 |

9 j" S& _5 ?& x6 k1,行碎片8 s( c  |0 ~& p+ d* k4 o5 ]
1 x( ~6 {/ h* {' O. G1 f- P' z
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。  `" A1 r4 m. z

+ V  ^0 ~2 k- ^+ \, n' i) l) \+ x) |% v& L! O% U% V1 y
( J- ?* U$ ?& }# s
2,内部行碎片
; s& `) p) A/ m3 S9 e2 y
8 Z9 o* G+ I2 T& N  K当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
" x: V1 E: }$ ?* \/ K; ]4 }  \
/ t$ ?& T0 O% t% O聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。* n. `" {9 g( I4 E# n6 J

. a5 h8 K" g  @' A
6 w: f+ b+ ^& ?
$ i+ P( |- v0 g# A0 l为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。$ h' T+ X2 z; v6 J

, e0 Z' T: Y8 c4 I0 x- `- l4 s: e6 M* }, S2 l) m

3 `" @& X3 |# y0 _6 SALTER TABLE <table> ENGINE=<engine>9 D8 H, O& \5 I$ o. O1 W% |/ M' J( K

5 ?2 `( L/ e4 x$ ~' B* }" @# L  k. T& c( A  i) `+ y$ E$ i2 f) F

4 n; `1 n* J' Q7 G* N& s加速ALTER TABLE) I6 J6 l( p9 t* U- M+ t3 {! v% j
4 X5 s* ^  j7 j
6 N' |# U' [- n$ G5 r; X3 n8 H

2 {# ~! s1 O7 M, e; g9 @8 yMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需* F. N* e' A) x1 B4 ?
% z+ G6 _% c& q* |1 J
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,2 `) R7 y( y/ \
) ]8 Y9 Z; [: N7 Q
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。* O* Y' I" e9 a

" ~! \5 G$ T) T& T- d, A传统:
4 I% v' N: m1 O2 B  q( [/ J2 W% p8 d
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
" g+ I5 j5 I" f/ U, ~/ t+ p; j$ G! p理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
+ b8 B2 T: W" N& m; W; P改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
3 |2 `2 w8 ~6 _5 M* {6 C3 P$ J$ m- Y
" Z1 |6 c0 N) d& d+ Z& R变化:+ t; ^2 J  l4 d" J8 x

# v* p+ L$ ~5 \4 r. QALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;/ c+ F8 y+ o7 a! O
这个命令更改了.frm文件并且没有改动表。它非常快。
) G( }8 m; r2 I; {还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-2-28 18:53 , Processed in 0.036742 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表