召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3239|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能* Q* v5 z$ |4 I/ L
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
! [, m( x: G9 G$ a$ \1 a6 G一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列* D  h4 {) ]9 k6 L$ T: a# \; r9 v
在InnoDB中,只有事务提交后才会解锁
  @1 U  a# f' W0 t5 t7 a  t% z. j7 x) s8 Y$ d# G$ ^
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只  @2 |) f, \+ G. y6 c& H  U
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。( E9 R# C- U6 v) S
! k! I3 L$ @3 f' I- S
B-TREE$ ^  S: g2 g! p. L. `' S2 R
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找' G% w" m/ H$ O: r1 g
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
% R  H# X+ g( G" f
  1. - r, O, d, r& G( }* W6 P
  2. CREATE TABLE People(
    1 C3 `; s' p$ e( m
  3. last_name varchar(50)   not  null5 O% j0 l2 p9 J8 c$ g
  4.           first_name  varchar(50)     not   null- P" R5 m4 U0 }7 w
  5.           dob  date      not    null0 e1 t: j! ]4 Q8 a8 ]4 U( J! @
  6.       gende       enum('m','f')    not    null7 V' V: @4 I- M* v9 A3 L
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
( b* i5 Y  W; v( s全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
) c, M' I, Y: x的人。
$ K4 C& D: K  h0 G  S% c7 ]匹配最左前缀
7 A9 w1 I5 s+ Q/ \B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。5 h, v' g/ p: J* u' k3 v- d" n
匹配列前缀
' a1 @& G# U& [; ]! K0 H% f" S3 L- A可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
: F+ {; o6 ^) M6 [' ]# N3 P匹配范围值- d9 g+ ?/ {* z) Z, D& ^" {
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
1 P3 \  g5 s0 P' |9 P! K1 ?- [精确匹配一部分并且匹配某个范围中的另一部分/ N- v' a) j5 @, w. W9 L
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
$ x5 c9 v$ V! i. Z1 a; |列并且对first name列进行了范囤查询。. B$ \. x7 k3 ]  {% a
name
2 r: c3 u/ j2 A; O! z/ t) ~只访问索引的查询$ X! a+ ]) s; K9 H7 a
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。. x5 T3 L/ U; R/ z
: [. P+ D, n) ^; ]+ O
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,' B1 z- ]; r/ E. {) O, C3 u
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查0 H0 f. a8 W" Q$ C8 ?4 p8 }
找方式也可以同等地应用于ORDER BY。. Q& m/ ?3 x" B+ n' [+ ?) I9 u

  z, d4 w) ]' z! H( b# a下面是B-Tree索引的一些局限:
5 E& E$ y: @. H+ w; y% a1 C2 ], Z1 G1 w
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,2 z0 \8 I1 Q5 Y; Q% Z
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓$ J1 |. w) V- k5 d! p9 B9 f
氏以特定字符结尾的人。
0 S# g  n: R$ p4 E9 y
+ T7 t+ ~" ]0 Y( c3 f8 v5 ^( f2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
. w: B; v2 U( v- z# Y. I义first_name列的值,MySQL就只能使用索引的第一列。
. Q2 A( A! ~/ ~% K: F/ E  ~) F7 s& N0 H4 Q' Z. q  N6 K
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是; {2 S% N' h/ t
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而5 Z3 f* K5 z6 B; E0 d
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。2 y* D1 ?# r; S/ g6 l- [

, T: y  v( Q/ s8 {哈希索引,空间索引和全文索引等,暂时没有设计, g6 r! y5 a( w6 q- L

4 a& p. B# m2 A  h. d7 t) r高性能索引策略
( Z4 G) ~9 r7 Z+ l' a! C
0 D, q5 C2 ~$ ~) v' c& {# [1,隔离列,意思就是不要对查询条件中列进行计算等操作
8 o+ A0 K5 t& J& k' n2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引+ R3 w/ {; ~: W$ ]3 r5 P7 F
Select count(distinct 列) /count(*) from table;" B# t" l; L' V" |3 h$ G
看看这个值时多少,如0.0312! k, \' t  `! B' v, C4 q5 \8 L# z
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
3 Z" y1 `  Y2 h# \4 y7 n1 a% |,这对于大表很有用。
/ G; t# A: h; |  U9 VSelect  count(distinct left(列,3)) /count(*)  as  sel1,
1 y* |" x' \" L* E, H, p count(distinct left(列,4)) /count(*)  as  sel1  ,! w5 J  r6 J" I1 z
count(distinct left(列,5)) /count(*)  as  sel1,
; t! f) K- F: u. Z: f count(distinct left(列,6)) /count(*)  as  sel1,
1 v  D( D+ y- K" K, i8 v& H9 V6 n count(distinct left(列,7)) /count(*)  as  sel1   from table;
6 O) b4 v0 l. B) Z找到接近0.0312即可。
& ?  T+ d3 V% A9 Z; Z0 Y( j9 z( _# F# Q$ c$ X, T* m
Alter table table_name add key (列(7))
- w7 ^6 Y6 s: @3 y3,覆盖索引
' H- @, @8 o" h( P( W3 {6 W# p0 U包含或者覆盖所有满足查询的数据索引叫做覆盖索引- L/ c" i* J3 J
explain时,extra中的会显示using index: t3 J. D: O# V2 M2 Z
这里一个重要的原则是& ]) \9 ^/ H- X2 X2 x9 N
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列1 H" ]( P7 H" G% z1 W
如select id from table_name;; Q+ i+ `4 `, x4 z+ D2 _9 _6 d, m
# J9 a$ K5 M# j# t
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不  Z8 ?" ^; `* [+ Z4 w8 F
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。- G0 X, E! [2 L4 H2 f, _
) J+ b8 j8 u4 C- ~( j  N, V, F7 G
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    8 r! c  [+ O) L* ^
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
7 l8 _7 X4 \7 C1,
! C" w! ?! m# v) c) z, m没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
2 c# ^# L7 ^. c# ^9 v2,
8 H6 y2 k7 p( x0 l: xMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。& x5 @0 ^7 N2 I* {* E
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:2 x  t9 [( ^1 s
7 R" w6 W: }- i; V
4,为排序使用索引扫描
8 \& t; }& d1 }0 t- fmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。( V/ W+ Y" J0 p4 d
explain输出type为index,表示mysql会扫描索引8 E, z4 m% n9 ?" C
$ q1 i( ]5 f; e# W# l
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
; s; q+ i2 G( T1 S) g# `: M$ ]1 B" U0 Z% F- g$ ]+ J$ t1 [
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
/ `# q) ]5 V& G0 e0 b
& Q! `% K) w; b! x. x3 O按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。- A7 F$ i* ^1 T( S5 x
+ g& Q  y+ N1 y  u
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
( z9 ~4 n4 U6 u! x& G0 p  G% K' f" F3 Q& V1 Q% o' b& A
使用join可能情况会有不同) M& ~' k3 U/ J
: z& \6 o7 h8 M$ ~2 P' ^: w* ~+ G. J
5,压缩索引(myisam)3 x' p: H7 ?9 t; ^: n  H. ]
6,多余和重复索引(应该避免)
$ Y9 `( B& g& ?# L! q0 q5 d
# @8 M) i8 }1 q多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
1 l) F  @) n: r0 U8 B" D上有索引,那么另外一个列(A)上的5 m- X& Y8 d4 O1 t+ r
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。); B5 M: l1 {+ X4 P% e& _
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
  b  P: M# b) N
  v) [& u- u0 a: Q7 O要点:
( d1 L: P" S$ K3 t在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处./ ~, M8 b- a9 r) }
$ s- p8 Q" i+ K* Y( e# O2 s
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
/ {: r% w1 U* }$ C4 g% d- \5 l) |; I

7 f. S8 y& ~& G( d' D# S, N
7 ~  B# _" \) t' R; c" c; d
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,2 O' I) @' A* c- @8 H

1 E- i+ g5 \: s5 l2 N; C0 h. B! I# w拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
$ U$ L2 G) A& X" v7 x
4 `( n3 _" w, ]" ^  u- q5 d; p" U2 h* B6 |# X

! i3 Z& j4 n  ?4 b4 U: T一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
( G, w+ C1 `$ l" @  x* y! a5 E! r6 R  w
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
3 V4 A" j' D* U9 u! W) b& a! ?& m

3 I4 g5 Y! h4 v* P5 a
" }7 l  P- a7 N* w  E/ b$ e一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。: t5 y3 z! l5 v; D4 ?& O

# U# J% E$ ~! ]例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理1 Z* a" s: d+ Z/ f' G+ U

% G1 I# K+ v, H: {; d, d8 b0 T' L这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
  h+ I* e; R' r6 J6 X1 B4 `# K' b- |5 G/ h1 x2 O
7 {% S& w# \0 D+ _' I, V) J
' g- y( [0 n, T$ R
避免多个范围条件,只能对其中一个使用索引
4 Q) j( s& H4 y  V8 y
6 I7 [6 h! K* b; _8 f2 _' u; K
0 h7 S, H3 N8 I' e3 K8 Y
( F5 E# r5 H! c7 l, I; n索引和表维护
1 A7 _* g" N: Y: S, m. m$ Y& t* A0 u9 M
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.& P' j9 _, `* l% K$ r

% h+ ?1 |/ U" z7 m6 J  X. {$ gcheck table table_name;
5 ~9 D- y4 X5 P4 ?% crepair table table_name;
& Y0 J& F( v: C! EShow index from table_name;检查索引的基数性7 v; P7 J) h  E2 O" _
1 s. t' c1 k! N/ W4 ?! r# h0 H" K
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量) V% C7 \$ e; H6 Q+ y" \% b* L
" e0 Z3 ]- u* \) x/ ]

) G! W2 w& b& r! N* B  B
" G7 c& o3 {  `8 Q4 {4 _* uB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
6 b, {# o6 U2 z( w$ Z1 X5 Y
1 m6 K0 M6 E9 v7 N1 J  Q表数据也能变成碎片化。两种类型:' m. L  L1 U) v+ j! L% c; R( r

* T& U8 [+ W% M2 w1,行碎片
* P2 C# }& b0 O. y1 E8 u; C
, s" Z! E2 W7 W/ \, E3 A当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。0 e9 x' _5 M' Z

2 p- @) C6 O; C, c5 E1 ~7 @  C7 F2 j& g) X% G
* ~4 ]- G6 r6 |. P6 s  J; d
2,内部行碎片
9 e  B# e" ?$ g5 I  j  K1 d" M% S2 M0 w
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和" b. e, f9 I$ t8 Y+ P8 R* w; i
) u! J/ {& ^1 ], q9 A
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。* B1 e5 c2 d/ k/ o- P. X
4 Z& n* K! l4 d4 i0 U  @

4 \- _7 ~7 L8 U. w
) v* c1 z7 Y7 R9 h- T! r2 g/ h( L为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。& T  Y; A! m! v" d0 k+ p

$ c8 e8 U8 V. _" D) Z' |7 @3 ~) U* W
* o  L% l+ W0 S% J. U- s" n9 r
: a; ?9 V: x7 U8 _+ t, y1 _ALTER TABLE <table> ENGINE=<engine>
' A* c) u+ ]( R0 Z& M* O, I
. a2 C$ U$ k0 N1 R8 T2 I) L% i. b8 F+ ]. g! X, s1 s

$ ]1 m+ z- ~6 v. h' U加速ALTER TABLE: v/ P4 F1 m: j2 \. ^
0 C, P# ]: S! F6 f! e# U
. G) _- i' b/ G1 p. ?, t
( |( A9 L9 K, W; g6 v  B: I: o8 j
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
7 g. _5 Z' B$ v" _" k$ Y
5 p& w' L( \  _5 A8 x! j. k要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
) F  i& h: v$ y
: f- C: F4 j' J4 K而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
$ C; J- Q+ C4 M/ e8 @! F: r
% a( R1 @; [0 B7 D传统:: y  f3 Q/ D6 l
+ K% w( {0 f1 p2 j( j
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
) f2 x  M! C4 }6 S* ?0 N理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
: Z* q( }" }3 k改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。- Y4 G0 K* v7 n9 L8 }8 e

, g, w* n- [2 Y6 A5 Y* O( x变化:8 Y1 z' b$ I  n8 W( l6 `

+ g. E( m! U6 ^2 d, u$ z4 hALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
+ p- l4 D$ V; j0 k这个命令更改了.frm文件并且没有改动表。它非常快。; s6 k6 w+ C# }. h# I) [
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-8-31 20:34 , Processed in 0.044468 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表