召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3102|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
  q' k7 \7 z4 G  G0 i' q有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成7 R% s, c! U' y$ G! g; @
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
8 G" T0 B8 V) o% q! j( f在InnoDB中,只有事务提交后才会解锁' D3 [' @' i. G) O

( q# |. d: V! D3 A: p* w索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只6 R3 I4 t9 R8 l. W: w( S
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。. U( ]/ Z0 [& u3 `
% u1 e# e* F' S$ k. }# e+ T! _3 ?2 ~
B-TREE/ |. U" r9 Z4 H" h$ h8 d5 l# X+ {  c5 r$ u
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
! X5 y9 _5 g( s使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。( u1 w, m3 d' x* Y6 S, [1 f% I
  1. 3 U9 j+ G5 e3 f! b) C
  2. CREATE TABLE People(8 z! n+ e  [- ]) q  f
  3. last_name varchar(50)   not  null/ o: s% G6 n8 w* R$ D
  4.           first_name  varchar(50)     not   null
    & X/ T; S; D: o3 l0 e
  5.           dob  date      not    null* ?1 g4 [5 W$ f1 x& @
  6.       gende       enum('m','f')    not    null
    * R; p7 y& l$ `( }
  7.         key(last_name,first_name,dob)
复制代码
匹配全名% \8 [7 T% y( Y( j, P& Q6 G2 u
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
! O1 T& V4 B+ r; ~7 X. e的人。
9 i* K  u: f7 \4 w匹配最左前缀1 p  M5 z+ e9 u/ h
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。" r% b, W/ [" M1 ^2 E) a, m
匹配列前缀, q5 [& Q1 h4 R
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。9 Y- K( Y' r5 b8 n2 o
匹配范围值% s3 w! N, \, s8 w
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.4 p) b# D( V# _: q$ N
精确匹配一部分并且匹配某个范围中的另一部分
" Q* L. c/ k/ L2 v+ m) ~7 M( D这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
1 a' c9 H; r; b6 R列并且对first name列进行了范囤查询。: _# i' _& A6 L& h8 Z
name
6 P! Q, k9 s9 L/ u& w只访问索引的查询
. ?( @# r. b5 x4 r# aB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。/ y- U5 {7 e1 n5 j+ {/ h

/ \! m5 E* ^1 s1 r# C; s! M2 ?由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
. M/ B9 E# c' [. f4 L; v如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
/ j* D7 [6 m/ d找方式也可以同等地应用于ORDER BY。
" P3 E3 Q9 w; f8 q; Q, n$ u2 n! N8 J7 x. `+ y
下面是B-Tree索引的一些局限:7 O; }6 \+ {5 A! M2 ~) N0 D8 M
0 |0 B* Q/ ~5 y: ]" r: v
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
5 H- ~  ^! i5 a8 V  n也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
4 S8 m: q5 N5 V& p8 E1 ~4 p, F氏以特定字符结尾的人。$ D5 ~+ D2 }4 N5 ~. _: ]- a

5 d  N4 w# E& V" {2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定1 s" r8 X8 ?4 W/ b2 e2 O  L
义first_name列的值,MySQL就只能使用索引的第一列。
4 t4 m/ X  e3 k* t! i& T7 [
  A5 m) l7 P. V0 s3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
9 X: z' l6 T3 R$ C6 _* }' f; T: A5 A范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
0 R/ `! U8 d/ p- q不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
' @* X$ e( I3 S
, M; i% Q/ y0 e% u! b" |9 F  l' R哈希索引,空间索引和全文索引等,暂时没有设计7 D' v3 E( Y( J0 _5 D% ?
8 V0 H& V1 E6 V' h! J% ?
高性能索引策略# q- |% r: K( }: E$ u. }

6 P; C9 R. x' p1 ~; _. m1,隔离列,意思就是不要对查询条件中列进行计算等操作, ]# I. i' V$ t/ O% L  l. I: r3 A
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引; n* {7 x  V3 u
Select count(distinct 列) /count(*) from table;# U" B& F2 J  h
看看这个值时多少,如0.0312
+ P/ Q  [" ~) M6 c2 `" O那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算0 V; ^/ _' q2 @, l
,这对于大表很有用。; ?2 ]" H& j9 ~8 w9 O. Z2 I
Select  count(distinct left(列,3)) /count(*)  as  sel1,1 |7 k- g' s0 p# l$ H
count(distinct left(列,4)) /count(*)  as  sel1  ,! P' ]5 R7 f& g* J
count(distinct left(列,5)) /count(*)  as  sel1,
# w3 h" I1 \! F* b/ F; O, P count(distinct left(列,6)) /count(*)  as  sel1,# z6 L, N9 f! }; W; ]: T: Z
count(distinct left(列,7)) /count(*)  as  sel1   from table;
* ~/ c. O3 ~7 t5 H1 w找到接近0.0312即可。3 G' X6 V3 P4 C4 K2 n6 v8 t: T& q: L
: E4 J' s7 ]: @  M3 A; [1 S
Alter table table_name add key (列(7))) V7 R8 k3 O. A' u
3,覆盖索引
+ J% V1 J1 t. U; h包含或者覆盖所有满足查询的数据索引叫做覆盖索引3 p1 O1 F' V7 G
explain时,extra中的会显示using index
$ I' k9 J6 k, R* N, B' A这里一个重要的原则是
$ f1 I3 S: q6 N- S  H( Wselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列7 H. a8 h5 X# I0 B
如select id from table_name;
& o9 w- Y/ t% W/ D6 {2 M) d. J
3 _0 s6 s; q) \) D/ N) X6 O' C很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不$ l* i# y8 o' c
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
0 L* s* X% H/ I; I& b6 g; l, g8 q2 x/ Y4 Q& v9 o
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    $ m- R: |: X6 M; G, x
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
. u# v! Q; p' ?7 W1,3 p, q6 M! o/ P4 V" a
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。8 i$ Z3 E- i) p+ l/ R- ]* n2 ~
2,
" J0 r# B5 u! f5 N  Z5 W4 WMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
: V1 \" s* d+ }6 ?( J8 @有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:5 G. Z$ g' B" a; h

$ i" p/ o3 ^- W/ ~# q4,为排序使用索引扫描  }# I  _/ ?: R/ K5 \. n
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。. }5 @, c' n$ K  S
explain输出type为index,表示mysql会扫描索引
+ f! w" u" Y% k1 V" H. V  Y- J8 Z$ g- i. }+ j8 J
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
7 n* [/ x+ G- C  c3 }9 m4 g$ N+ y9 A
% {+ D4 ]$ ?# a0 T8 RMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。, @& s' `" I6 {) j
6 B# C' b- _! |! A, T6 n- M7 e' Q% r
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。6 u, i" d6 z+ E
& p' O) U3 N  A9 h9 l- [) K+ }: \
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
3 \0 z! v) d, ]  Q' Y: C7 @% \3 P- i
- t9 I! \( C7 N使用join可能情况会有不同' g  m. k3 a: y$ h& l
9 S% I) E9 L" \5 A
5,压缩索引(myisam)/ F/ D% H1 P( J2 j7 i8 q
6,多余和重复索引(应该避免)
5 X' f. g  P# `# D1 {5 d. f$ Z7 G5 m5 r2 @) x: U( M
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B). A1 N/ ], H: X# H- r
上有索引,那么另外一个列(A)上的0 T7 Z6 ~6 }" P
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
6 @1 D. C/ G+ Z  f" i, M$ ]然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
% z3 Y! H7 |4 o) @" c9 b6 n
5 E# t: w( s& ?1 y, z- v要点:! `& ]2 t: V9 q. o5 s) a3 f! ]
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
7 q) y! @9 o) v, e) v3 v
" D; I6 U* w2 l/ \! t即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
+ Y: C( G+ O, r, N* K* C& v- e+ J" h2 [# [1 g8 ]+ |

' y6 I0 m2 d5 r% o2 F3 o
+ p: T7 \  |5 Z! R- ?
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,) h% C" j# \, N

( T5 }2 B) b  m, Q$ ?' v拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
0 R$ O8 E7 S" O3 `/ P1 i2 n7 U0 ?7 B! d7 L
: V( K/ L: I5 o2 w. x: w+ R% j, f

( E0 f& D; k* l8 t一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索1 Y  |* o# Q" A  c

0 t* P- h$ y5 M% O  b- d* w引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。# D6 g* ?2 }% t) A7 b

8 x, K& A6 z( e$ z* ?7 Z
* k1 X; h8 c) I! I7 ~& Q- z; H8 E2 u( I5 O) c/ Z9 x9 X; J$ r* @
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。' |* M; n) q  e( C0 {" e
/ y+ V: N& h2 g% H9 \+ v- e
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
9 E; d" ~: q9 ^$ E) j7 ?3 ?& m2 r9 E& T' A3 N8 b+ f
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
3 ^# E, Q0 W7 q/ K6 o8 m( O# z$ }4 _- G! e, N0 ^

, l& w  {% S% K/ t3 h5 a8 T( @. c! Z0 ?  z% A1 j/ n4 {6 E8 A
避免多个范围条件,只能对其中一个使用索引
  {6 T4 A2 Q+ |4 ?" O5 b% A) ^1 M! R8 q% x4 s1 o! f( ~

8 O3 i, I1 x- j- k2 h/ Z$ |% V: k+ Q
索引和表维护' m! T9 E" D* v% C1 M

! t( p  g1 w: z/ }# |, G/ W表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
) [7 p5 R6 C" H0 q# K3 R: a' [
% G, l! ^) Z1 S2 D% `: dcheck table table_name;$ v0 e4 B& U  x. C
repair table table_name;
3 b  U+ r# ?. z- S5 S/ wShow index from table_name;检查索引的基数性
. U  M1 N, A6 T9 X. g, v% a! Y( b8 w: E. p/ m6 s& j3 D
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
7 E) Y$ T! K7 n" [" I+ J- o/ y4 x% K2 S8 B; D1 R
0 Z1 j. H# O8 @. ~! k' Q

+ G$ R& o+ F) q% v' v& S3 \( A- QB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
$ l. F% h* T( C- D. Y3 }/ q2 h3 ]+ J
表数据也能变成碎片化。两种类型:# x( b5 o  ?! U' a
2 F  W; p) I7 K: X
1,行碎片7 I7 O; G1 ]3 r& d5 S) t% ]8 I; [( ?
5 F9 ?- K% N  R! G3 a
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。+ I+ i7 v/ y3 S9 s' a: o# V# R

) t: ]6 q9 R, i1 ~
0 H$ z/ K- g; Q* X% O& g; x  I- Y7 e0 c; [( U. r2 P
2,内部行碎片5 h7 d" f* ^+ b0 a

' u0 m6 `! h( H' [8 a3 ~5 t* }当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
+ l% V) J. L# w5 J: D
7 l4 R9 ]/ f6 i& |9 x+ I聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。: D) K  C+ d* d+ u5 T( E
8 H$ ~: W6 h/ I& u

* P1 ^0 Q! R% }/ Q
$ p) S/ b* ^7 |  E& ~6 O9 G为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
  ~  |3 F+ X  }! @5 H: B0 R1 [
2 T1 N, p2 h4 I7 s# s8 ~8 V, Z- }1 q6 u0 W; g9 {

* `6 w0 t" v1 [/ ]' GALTER TABLE <table> ENGINE=<engine>
' F6 |7 U4 h. r- }$ ]) N% e, d7 d7 _
- x4 j' E7 C4 G. c2 X6 {$ r

1 Q" i$ k6 P+ s, N. Y: P加速ALTER TABLE. L2 y  R' T, F1 G" w" E$ y
4 P7 Q1 b% W2 s) T1 a4 O
8 ^0 x2 m9 v) \
, R1 X' l3 ^; J6 o0 X" X  x
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
4 k) q& O: N2 i% U( c$ l1 s; }2 q( i5 _3 v% |7 ]- V
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
0 a' i5 t1 ^9 W1 i9 ~1 [& [+ F  ?* [" U
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
, ?: b% F5 z6 l6 ]& d
  p; k. c' [! B1 M* e- s# l! n传统:
& f6 Q' ~8 m0 K& p) X; }) q  W# v7 @: z3 x! V3 ^- q& S/ K
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
7 y8 q8 i8 t6 }+ P4 P- D7 F理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
2 t8 ?& @7 }1 F& R7 c7 d( B改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。7 e0 T  n# z1 H7 v1 ?2 [$ h# v9 j

. K2 ^9 V9 A; ^4 j  \$ b变化:& F. B' H' w+ i
0 \' B. Y3 J, |: l
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
; o  v6 @0 P) k6 r  o这个命令更改了.frm文件并且没有改动表。它非常快。6 i0 L! e; a. ~. e& g
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-7-1 23:30 , Processed in 0.043548 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表