召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2995|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
+ l/ J) l6 ?" k9 M3 U; `有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成9 R# j2 |1 v# J( \! L, Y7 ]
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
+ f2 v# d+ b! ?: @8 T3 O" `在InnoDB中,只有事务提交后才会解锁
4 Z. O. V5 i- B7 p! h  k% _: W8 T& N) G( p, r
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
: |4 p9 _) [& c% x* C8 ]! H! v: Z能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。  N, h( R* Z7 D# S6 v8 c
7 M5 L: K2 O. ?  M. ]- }9 j
B-TREE
) M. e/ u1 h/ F9 V能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
! f& N) \) f- `. [; {  l使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
! Y: }" R: x; Y3 H- P! {) b6 }7 n1 b
  1. ' ^  ]1 q* {( k  o- F# `+ U6 y
  2. CREATE TABLE People(* a; V0 `" m" U- [
  3. last_name varchar(50)   not  null" H% P" [6 \$ Z5 `9 D5 D
  4.           first_name  varchar(50)     not   null
    ( U, l) a- U( K- F
  5.           dob  date      not    null( M* {( I7 m2 c5 M
  6.       gende       enum('m','f')    not    null% V( t; |5 {- \: i$ S
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
; C' _6 F) W2 i( F- z' e全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。1 J/ J0 H+ }$ f0 p& z+ J9 ~+ I
的人。% k7 B2 f# a+ _* X* x, a
匹配最左前缀1 U! N% S9 z9 s' j/ m) z; c, \6 T
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。0 s% P( W) |# c8 e
匹配列前缀% v5 B) ~+ b, N) }
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。( z* L4 J9 Z3 B, k
匹配范围值/ {% L3 l7 Z6 @0 r3 [
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.) F8 c! N+ D9 k' s) D4 Y  e" V' Z8 R6 d
精确匹配一部分并且匹配某个范围中的另一部分
, C9 m5 d) j+ U这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last: _7 \5 u( U7 ^, z0 o
列并且对first name列进行了范囤查询。
% ?3 g  L% L* B" jname: H% x! r9 d& O1 x2 a7 y! M
只访问索引的查询
6 n2 Z5 q2 M3 UB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。: l( v" g0 v" x2 D3 K+ Q

& |& S$ [) Z5 M& S$ i由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
& G. }3 E, I5 i% e! f0 h如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查% B6 ~8 g8 @; D- a, t
找方式也可以同等地应用于ORDER BY。  x" Z  k( ]5 O- W- l: E; b
7 }6 }* C! h  U- o/ M8 m7 Z) X
下面是B-Tree索引的一些局限:
( h4 D2 Y; q9 }
  N1 b* l$ a6 ?* l- @! z8 W1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,* H$ A3 n" f; a: ^
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓6 T( Z# S4 W9 m+ }" X$ V  c' \4 |0 g
氏以特定字符结尾的人。# i" E1 Z0 R* Z) K) D0 r
' g2 B" h% z! \' r9 |8 ~
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
% ]8 M7 U7 J2 x; w. r义first_name列的值,MySQL就只能使用索引的第一列。
4 a  N& D: Z) I
' l' [& v* P& ?* j7 `) k3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
# X4 F0 v. Z3 y! F0 }# Q, H范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
: t, q4 z6 d1 o" b$ ^2 j0 M& R不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。, i$ A" `$ w6 o1 g1 V

" @! i6 Y. a, K6 W+ P! }哈希索引,空间索引和全文索引等,暂时没有设计
3 z3 I4 e9 Z9 E; }5 k" m, i0 G3 T
  D( G+ e7 I4 |- M0 J高性能索引策略% f& e/ Q- {; B, \7 K

6 p: u: Z" m+ D. A+ O1,隔离列,意思就是不要对查询条件中列进行计算等操作2 v1 Z. Z3 O7 x  Y$ V
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引) F5 [+ K+ U* I! X) x; Q! }
Select count(distinct 列) /count(*) from table;
# z6 d* _( Y3 h4 G' J9 D看看这个值时多少,如0.0312+ K) ]' m; W7 l- o, z; j. h
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算4 |. v# D, T. f! i9 G) r
,这对于大表很有用。$ S8 ?  D6 v7 h- [3 j
Select  count(distinct left(列,3)) /count(*)  as  sel1,$ i. D/ b6 {* D' s1 p# w3 [
count(distinct left(列,4)) /count(*)  as  sel1  ,, O# _! d" N' G4 @# W
count(distinct left(列,5)) /count(*)  as  sel1,
, S6 h0 U: Q8 `2 n( l* B1 } count(distinct left(列,6)) /count(*)  as  sel1,( u0 i/ u) Z4 q( U2 b
count(distinct left(列,7)) /count(*)  as  sel1   from table;
- ]3 M- c% q# @4 ^找到接近0.0312即可。- w8 F# G5 H& f" [+ C

- L) x. P: a  S/ F. yAlter table table_name add key (列(7))+ m( f# e% Y% a( O) I
3,覆盖索引- y" Z3 @5 f. x
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
% {# J$ Y$ {1 Zexplain时,extra中的会显示using index$ ^* Y4 E* L3 G- X; X+ B
这里一个重要的原则是
. p; N, B3 \$ i+ Z8 c8 vselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
/ q3 j' i2 o. @8 P- O& U, i1 Y# u如select id from table_name;
4 k: c5 A& I6 i5 j8 j. I3 @" o" ~4 r( @, r6 d- o
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不6 q5 G4 R4 a3 p' H" @# D) `
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
8 \- T6 n  Y- ~& [5 p- ]% N& h6 D
2 p4 R0 h' u+ R; t  {+ N
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    ) Z/ B' m1 }, I  R
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:; _4 P4 \' S% z  \! Z0 z# o
1,
* t) i( w& E$ K; b8 s没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
$ ]9 z# j" p7 \' C, H/ f7 k1 s2,+ ^2 n: a- U% S, ?8 ?/ p
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
& z% o. A( J! E, @( i' B有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:& a' `4 Z( r3 \# L6 i2 }( z4 N

6 s( V- ]$ G* \7 q1 m1 @9 x7 q* X4,为排序使用索引扫描) `1 C; I1 T5 U- C6 R& t4 Y/ R
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
. k- z5 T( ?7 Yexplain输出type为index,表示mysql会扫描索引: J3 l8 N, [) L/ x% g+ o( d
8 b6 W4 _- p! g/ c% t# M
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
0 O* \- O8 s+ C$ H  K
" `. |) |$ y+ t+ a* M7 A; v5 yMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。. f0 k; G, M3 Z! Q( E: b0 b
: d! @, P1 n2 I  S4 ?- a) }
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
0 J: A8 ]  l: ^1 ?3 j/ P/ ]
' T$ P; ], w  G- u, qORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。% E) s$ b+ e/ g; K" G9 V

4 Z- A4 k; A" c9 F使用join可能情况会有不同9 e. _7 B8 K$ k. f

# R4 C8 b0 w7 C, X4 q: A5,压缩索引(myisam)
  k( n- p/ |" v" r& U3 p6,多余和重复索引(应该避免)
# G+ ~! o/ Y4 l: z. f# {8 d, g- F  T" D0 {
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
( c, L: q+ A' f, Z  R* C5 N  K9 ]上有索引,那么另外一个列(A)上的
2 ]4 w) u; r& [* z: e. f索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
1 n$ e) s0 Q( \* Z/ }4 j然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
4 Z/ ~# b$ d( O
; d; @9 o9 d# D2 H3 u要点:
  ~8 l5 O; J& N在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.6 b, H" t6 ?# O6 M1 f2 W, C: b
5 r/ s" L0 n+ P- C- b5 e) S
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
; O  ~4 \# Y' [, x0 M3 E, \! |6 E2 R9 Y
! y; N6 j: {/ i# ]7 k. u6 @
, T2 o! Q7 J5 ^
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
. ^$ d8 Q: Z# Z. R3 }
/ H3 G/ ^- y  }1 s( u9 |0 B拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
5 s, |3 u7 \) j5 c. C
1 ^4 S% \) X; r: ?4 y3 I3 [( r8 L: v
# a* y4 @+ A6 U
5 C5 {, t% N' Y( ?. N一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
& h: F; d2 L. |& D% b! j/ g4 j: P, b9 |6 ^% @* A
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。: n3 I8 `3 u6 H# l9 x8 O1 E$ u3 P$ f% Z
3 J% ^' a" P" C' G

+ j; V+ M2 `7 K! f) ?' t* R( u5 @/ G( f' A5 i/ Y& D$ T
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
, S6 q$ J. v; q" `3 A! X% v1 t
3 a; r1 ?. }/ |6 ^5 j4 T例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理! S3 P% T6 {8 _( o
: z) p& O  r& k$ ^' [  X; s( N
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
/ ^  b2 c+ b" i! a& `1 j) |2 V$ L$ ^1 [& G$ _$ m4 g1 y2 l
, \; n+ J, y/ F0 B% F3 p0 M( c! @

4 O) I( Z! ]  H避免多个范围条件,只能对其中一个使用索引7 o0 @( O+ [% f' F1 ~
6 r$ }5 A5 c9 Z. \% U, x; b( \
4 K2 Y% ?. T2 a1 O
% M4 }5 L3 F! x% a% Q
索引和表维护  L- |" x, L& D) y/ s. c! C
; S7 p# M: `% M; \/ H
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
5 J- R* h- f) |# N7 v- M% L
2 W2 K, |+ W. |8 c: }0 Ccheck table table_name;
9 o, M* H0 w2 C/ ^7 R, w0 Jrepair table table_name;
) e# I) \/ z. \! O5 K1 E; W/ iShow index from table_name;检查索引的基数性1 e( p! t5 ^) }. b* C' u

7 \+ d! d/ A6 P/ @# a9 a! d主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
4 m& V) E7 Q& I1 \
3 I9 L8 |4 ~; G$ ~4 m( C
0 O8 q$ R. u/ H; v9 H  G5 G# E) v$ \" W% B5 K, g2 ?
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
/ L. L& Q1 }" h% {
( |- A5 ^; L6 l% `6 o1 C表数据也能变成碎片化。两种类型:
9 K. y1 i) d$ ~/ P/ t- L1 |8 `  U( J) k$ D: Q( k4 l
1,行碎片
2 K8 G/ O. B8 V$ e: J/ z" n; @8 |$ @" W- Q6 Z+ g- ~
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。# S: @; |7 ^0 w( x2 v8 P7 [

- S' ?  _; f6 l/ Y/ X: o! {$ V9 @& L5 D

9 x: U9 s) q8 S5 c. t2,内部行碎片
7 W5 J3 D6 ?  U/ q  R
7 ]3 ~3 j( v* C+ d2 k! V- [当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
6 Y& z6 @6 d: e3 k5 j( E
- H* k' K/ K: N& H聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
( t8 h* x4 ^# d1 H6 B, m
* F" a9 Z: V& X9 H6 R$ V( H+ z1 g3 ?' i6 T( u

( j) W- s1 X: |0 }为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
( y& y0 U  I8 W$ X; @! k9 a4 c  _( c/ m

- n2 b( s" w; q8 o" X9 X# w$ E: E5 B; f  M
ALTER TABLE <table> ENGINE=<engine>9 ^# G5 [) t8 C/ z: Y

3 B6 u/ h0 H. Q4 |# J5 c! H2 B" m3 c+ h% N1 q$ w1 Z1 `  X7 C

+ d7 o- z8 K0 }5 S加速ALTER TABLE
. `% s( }: M9 R# O# X% p
# E( L0 n+ |2 F3 K3 R7 Y9 n
  T, N$ ^1 `/ m& a3 x
; Q* t# J4 e, A# {; hMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
2 B0 U3 T3 [5 ^. Q; U5 D6 A( |8 O" B7 J0 @
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
% c! E6 O% r* f  e3 b* l% ]- t7 k" |3 p# K
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
" _4 h3 r* H' G- r+ U  G8 V3 _) Q/ Q! T9 l  L" V4 P( @
传统:0 T' b% C" m  V* e2 M6 l; Q2 z
8 T. g5 ?) _# I6 W* r2 k  \# K  S
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
1 v- C% e# U* c. S* x* V) g. _理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
  n3 s# V6 ~- r, u$ D改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。: c" h3 A4 x$ C& U/ u5 y* a# i

) q; ]% ?% I# Q2 |" ?变化:( h2 v/ y1 U) F  ]3 _# u
& m8 j% a& u- f; Q: b
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
+ Z8 d( d# j. W( J' o) f这个命令更改了.frm文件并且没有改动表。它非常快。1 `/ I5 G5 V  I7 s2 _
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-5-9 17:28 , Processed in 0.041229 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表