召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3429|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能! C( S# X3 i% k* N$ m
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成4 k# p2 q3 B1 l9 V
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
3 h% H' c; {- |) S) B# p* ]3 W/ n1 V在InnoDB中,只有事务提交后才会解锁7 s+ H. a. }9 Z2 K/ ?1 E

& t' d+ X; k8 C  {0 n索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只" L0 v" O* S$ U1 @" S
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。- e% G' I$ h- d3 u! \" y" y- N

2 A0 x2 t0 S$ E0 K2 Y3 hB-TREE* Z1 n( f' N/ w/ N
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
1 K$ k+ g! A% @0 [使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
" B) a1 K  d0 [& \0 {1 o
  1. / \& T3 {0 c% `3 T/ V' I
  2. CREATE TABLE People(
    " [- A, l8 [, {) t( h/ p6 t
  3. last_name varchar(50)   not  null
    ' G8 R! U) ^5 }) [: d
  4.           first_name  varchar(50)     not   null
    3 Q$ d, {& \; j5 T& z0 j! b
  5.           dob  date      not    null6 ?- w- b1 J3 M( Y- F+ i; d! w
  6.       gende       enum('m','f')    not    null
    4 o& P& F# t6 ]
  7.         key(last_name,first_name,dob)
复制代码
匹配全名7 Q. ?& d4 _  s/ P. g0 H: D9 L7 W
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。! d- x7 h4 n( ]8 _1 T. ]( S' Q, ~
的人。$ w/ z7 [- ^- p. ^7 K" ~- g
匹配最左前缀
. H4 o/ `' A. a' |* Y7 i; eB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。& d; H* N6 S4 S2 R4 V( b8 @* v* U
匹配列前缀; z+ {0 w, O5 z% L2 a2 f8 e+ r( I
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
3 f0 [4 P7 w$ b( [9 Q. X& {匹配范围值
$ _' C/ z, r+ j% @这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
' Z: g3 U1 k) {1 d! |& Y0 t6 i精确匹配一部分并且匹配某个范围中的另一部分
! U# @: l. v0 w1 [这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
$ y' u7 f4 M1 T" }) J% X  D/ D列并且对first name列进行了范囤查询。
- \. Z, A2 U& l3 o& g' t/ }name6 x1 g5 {& c; x
只访问索引的查询
/ {  D* o5 C+ q3 WB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
, g8 p5 `. k8 N$ {) a' J0 h  d% R& S0 C6 P9 P5 o. c, K0 ^3 t4 m0 |
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,* w5 C8 D# H4 |
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查2 [9 L% g, F; r7 E
找方式也可以同等地应用于ORDER BY。2 O+ c5 o6 m7 u7 M7 H$ B

; f/ Y( l% s9 C+ Z  z下面是B-Tree索引的一些局限:/ F; Z/ l$ H4 r5 f" G

$ E( B- m( h7 k  ^4 F- k1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,: i8 U3 E5 \0 l; T% I
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓" B8 |( j+ ^  |1 X
氏以特定字符结尾的人。
0 h. D& Q3 x' ]# Y- f9 f; p" |- p2 O
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定# b7 n' F* K1 K7 z; s  B# o
义first_name列的值,MySQL就只能使用索引的第一列。
) p. r6 V& m- s1 g1 Y! c0 o) K0 _
8 {8 _$ H( f9 U! H! [' x) m3 C, J3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是! @5 {; M5 d+ c' [5 Q" e% A& H: H1 o
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而- e1 @5 [! K3 K1 e2 }$ P
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。5 U1 ~  k) [# D3 n$ Q4 w' F
) v3 l; F2 `; G/ a0 x
哈希索引,空间索引和全文索引等,暂时没有设计; m' P3 m9 i0 d1 z

# w% J! }6 J3 L4 O高性能索引策略5 D9 \1 z$ o0 M

; e: h* i; l8 G5 ~" X7 L1,隔离列,意思就是不要对查询条件中列进行计算等操作2 }: A1 G+ W# W' P
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引) G8 s3 H/ d+ Z% [: a0 \5 }' w
Select count(distinct 列) /count(*) from table;) e4 }" B! ?0 {: j' i) G0 B$ n
看看这个值时多少,如0.0312
. M, C! i& @( d( I/ L4 q: A那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算/ q5 p* \1 n! Y9 r* ~
,这对于大表很有用。
9 T2 A$ _! f/ }, C) s# T! \Select  count(distinct left(列,3)) /count(*)  as  sel1,
2 s- a% I1 U: ]7 t8 O% t2 o count(distinct left(列,4)) /count(*)  as  sel1  ,
5 @1 ^% @# U. j4 M# M$ N count(distinct left(列,5)) /count(*)  as  sel1,3 D! t0 ?" o9 W! F9 @
count(distinct left(列,6)) /count(*)  as  sel1,
% }6 u& p' z( K. x) [' v( }) | count(distinct left(列,7)) /count(*)  as  sel1   from table;
, N' p& V' f% y' \# \找到接近0.0312即可。8 k7 T. u# I' h2 ]( K' {/ D
, G$ V# j* t- I# N  b
Alter table table_name add key (列(7))
0 s2 e" k8 a1 z) h3,覆盖索引+ \$ E: k2 u. A3 e
包含或者覆盖所有满足查询的数据索引叫做覆盖索引) F# W1 e, a3 D6 x7 s# s7 N
explain时,extra中的会显示using index4 b! [  ?) k; s- ?* B- E4 I
这里一个重要的原则是
) F" J' e# J: \select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列' l- ^% b. |/ Y$ P4 h" Q
如select id from table_name;8 W5 X0 R1 l* {: h5 H

* ]6 ]+ N( m7 @- A+ Y很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
9 g7 d' N( f# s4 _一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
7 f( k9 v4 V4 b( @0 P3 D4 g
' q5 u1 K8 s1 ]& g+ F
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';" ?7 M. f2 n: V9 V" l
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
5 g, t8 V5 f* P" r6 m) `1,
# e" j2 r( C1 {- R4 Q, y$ u. Y  ?- J2 j没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
- C4 g' t. q5 I. Z7 o2,
: v3 P8 y$ r4 [! S2 OMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。& J! M& K5 ?- R9 M6 N! r
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
1 W1 [8 U1 `2 C+ P- i' o$ g8 w! @& l! G9 m
4,为排序使用索引扫描
7 P- d5 ]# h4 `mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
1 o' N$ @2 i5 `# h2 pexplain输出type为index,表示mysql会扫描索引4 x' ^- _* K( ?1 C7 l& d  J
; m3 Q& V9 c1 ^* X% p+ x% ~
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
# ~- v0 S- Z$ S' a/ K& K, N6 `; O
% V1 P# K" i' H5 T: ^) IMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
* w' y8 v2 |7 X0 h" i% h/ H- |0 A4 e8 [/ M' I+ c# h( a
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。  P9 U4 U% k6 A
+ K3 j0 y, ]2 I- Y" b8 W
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。5 M/ y1 F! M; p2 D- h

1 W7 t' p" I  k4 b9 q, k使用join可能情况会有不同' h6 [3 L2 e  N* _6 P
4 T8 I( C) J: _! K
5,压缩索引(myisam)
' P6 a0 S4 V- |) V& V6,多余和重复索引(应该避免)
9 _* \+ J& i# u6 a7 @: s6 n
# s5 [7 b. W) D3 _* q" h, R! i多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B). n+ g0 \6 x8 x; k2 r
上有索引,那么另外一个列(A)上的
) Y9 Q' {- ?- b2 c' b' m+ h索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)" |, }5 C2 T2 x! {( ]* P2 E$ X
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。# [7 y3 w8 P8 u1 [7 s0 T

+ @/ t8 d- L* p' ^: f: E2 i+ A" Q  e要点:
" V# D  }9 U# q* @) a在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
" M* n. }5 y, `' F. H# [
( M5 Y4 P) z: ?6 T即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行# K8 x7 [% \& x

  D6 _$ {  H% X" R) v; D
+ B' |  P: Q% s2 M$ N5 F( O' Q5 @3 X8 \- ~0 D
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,6 o2 s, A/ b# v# b6 P* l

) ^: F! U' B2 p, s+ y# m0 _拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引8 A# P1 L7 U2 V3 |! m
4 i. i# g5 V4 @

6 h  N8 v( Y- T" i% j# U+ E
8 L) X$ A% y# \# i# V一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
. ]6 ^- l& w: O& R& z" f/ s  W4 o7 [) ^
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。5 v% S  ~3 E: a
4 p& `: P# Y7 g1 `

+ }: [* j* S. ], q* s8 ^0 ?6 Y3 K+ \" x/ i6 @
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。7 t9 ?& G9 G0 A1 g" d0 t% Q  |. \
- ?# N, v4 V! B' P  l
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理& v: K3 ]  t. L

3 V( M7 |$ G: f& d* M* B0 C) r# O" Z这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式& l9 I+ @" i* o3 |: v* I! ^& s4 ]1 P

# s, O9 h  K2 B0 f# m. {* U& V
8 s, ~3 g/ M# p" B( {( s! o' |/ f- S' T. l0 o$ m
避免多个范围条件,只能对其中一个使用索引7 N7 C; [- t" f2 f

5 k' `4 I  w! c4 B0 B- p: r' p
2 r+ z! B  x4 o9 [: b9 N4 `
* o( H9 M! ~% m* v; z# o2 ^  f( [索引和表维护
6 n: B! s; R( o! d$ h7 D) }4 L- W- I
1 N# S7 u6 L9 X6 k0 T( L3 s; @表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
) a- K" b) @7 ?/ j2 B& A( p$ }" ~* i6 D
check table table_name;4 S% o0 D- E: J: V5 A# t- C" W& x
repair table table_name;* t. E( t, b  f) w: [0 R( s
Show index from table_name;检查索引的基数性1 ~- c; G; g1 }) a; X  K& J9 l
2 v( U  h! p8 w% v! l8 a
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量' U) ]: b* P% P7 q- P% l

6 a- {! K2 P: S! P" U9 q4 w8 ~) n# d0 s: ?9 \1 Y5 i) D

! _. e, ?' @9 PB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。# C# p7 [. O- _8 m
2 e' r8 c6 ^1 u- z) L7 O6 m
表数据也能变成碎片化。两种类型:3 f4 e& e0 z/ T( u6 X  d  p
1 c' U8 |7 E2 `! X" U- o
1,行碎片
* X" K+ o# y, n% s& v6 H! a' K
4 r  W9 s  V7 T3 J. c$ N4 j' |8 l当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。6 c0 C8 P$ `; O/ [4 ~  Z

2 N5 B3 A- \+ q/ O) W% p
. f8 x+ J6 ]: N; E  ?( N* Z# y  B9 G. s
2,内部行碎片2 |8 J, N) {$ k9 Q8 C- Q4 z* N
; D. @0 `+ q$ K8 M/ |$ x4 n7 u4 S
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
8 V( d4 q1 X; F( V
8 L, h8 g( p3 }/ ~聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
6 e. p, ]* M: F3 ^; |; r5 I/ T+ a$ h- g9 t  }) b
0 R: h' g. j% T" D: j# d& k
' y5 |8 [& J' H/ F$ H
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
& U1 ]/ |1 K! F1 J( I, U4 p$ h
: D2 v& _6 R8 \6 z7 |
0 `7 x9 k. M" y" T2 K
5 P  ]7 ^8 b1 Q% e7 v' }  }, R$ ]2 JALTER TABLE <table> ENGINE=<engine>* d! I9 T6 ]- V& G$ v! Q  L
, w5 [5 r* |' L) m+ }( T6 N/ ^
# ?% y1 _5 _( J/ r4 E) H& i5 Q
% T( V3 D- H) S  m' K/ i
加速ALTER TABLE
7 w( h# l! X, n3 K% x/ q0 w6 p2 Q9 F
8 {. a+ p" }: ~( \: M% Y; v7 L, [) c; a
/ b+ `6 y( E+ Z* x" k
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
" S9 A1 E  r1 \2 ~1 e( D5 W! q7 n2 L/ ^& K0 L& D4 M" @5 ]
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,. q" s# P! a; n" G6 O7 b# p

9 M" p: A9 I8 g7 Z而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
1 Q4 u+ t. A: {8 o9 r7 g% R) Z4 f) e0 M9 b/ F. G4 N2 O! \
传统:0 \6 ], z; \5 l" m5 }. n

  p2 u% F* k1 Q' k8 x5 I- YALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;$ |$ {7 e' r8 f4 O+ X1 U8 v
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
4 l' ]2 Y5 v$ |6 Z# w. ~改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。0 ~# j% b. v$ ~4 y; O  \* n0 z: ^% Q" G
) N- @" o- H" S0 n  R$ Q
变化:, x6 S* D2 p: \: ~/ u  f6 Z6 M

# W# s& U9 W7 \6 E* wALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
+ f! B7 @3 N  j7 X8 Y# }+ V/ G这个命令更改了.frm文件并且没有改动表。它非常快。( `7 u2 |9 i5 w; s
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-11-6 17:24 , Processed in 0.043150 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表