召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3310|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
8 p: X& D9 h- I有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
$ m, n: S( j3 b- \- b) P一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
. a- B5 [5 Q) _. g$ M9 `9 p  X3 z在InnoDB中,只有事务提交后才会解锁: G! G5 n7 p7 r$ F5 _% s, b: Y+ N

. D5 p; c3 o1 T( L& R" ?索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只# o8 t$ B% \! P! o5 H
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
' y( G& q" @( `3 b2 {) W% x- d0 M9 G0 J! m# c
B-TREE
7 D2 m/ b% ^! `能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找- C8 H& g* x+ g( f4 u9 I9 C: ^
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
; B7 o2 z: L) G. D- W  B+ Y# p  N
  1. 7 T6 k8 i% l' q
  2. CREATE TABLE People(
    4 G+ @% S3 A/ |
  3. last_name varchar(50)   not  null( w9 A3 K/ P7 n) d
  4.           first_name  varchar(50)     not   null
    - f- p, p, `0 X# |$ B9 i
  5.           dob  date      not    null% p7 t: N3 B8 ^( J7 J5 q  V* d
  6.       gende       enum('m','f')    not    null+ b  g6 l) c8 c
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
' E9 B" I, N! k$ a全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。/ G6 D/ B  ^- ?! [+ n9 U
的人。" _& _7 D3 S  O# R: f
匹配最左前缀- q- e7 c5 Q2 z8 h- i! T+ i1 q
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
: ?: N7 P: R9 [6 ?  M匹配列前缀: o- p8 u* P1 x9 B
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
% h: R, `$ z2 V& E4 ^9 x6 o. V匹配范围值
$ b; O6 k+ C- ^. e这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
' L) N% m8 V- P. ~; S" p5 I精确匹配一部分并且匹配某个范围中的另一部分+ ~5 G0 m6 C! B2 I2 D
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last( r' Y# ^  V4 c
列并且对first name列进行了范囤查询。
6 v& s( v2 k% a9 ^3 l/ O/ hname
3 _: g8 a# E% j9 L只访问索引的查询
7 W( K0 S* [# }B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。) X, e4 i. b1 m  a

+ c! l1 O% \' h4 t' A: O1 n  E: c, v由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
0 o* H( _+ \0 \+ C5 h2 U/ a( w如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
% v2 H8 o' c6 ?5 n6 q/ U找方式也可以同等地应用于ORDER BY。
# Z0 t' V1 ^4 c# F4 P
5 f  [3 U' [" N, b下面是B-Tree索引的一些局限:
5 X8 |% z1 ?) k8 Q6 H' ^8 h
6 V1 q7 H- u. U% S. ^! ]7 |1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,8 ~0 P2 b0 i4 o0 C, Q. T, Y: b' V
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓6 e# P8 S! L& W0 B; l/ M
氏以特定字符结尾的人。& t  G9 n5 e  Q+ u1 P* K7 F
# |) z* V+ {7 Z8 l
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
+ y7 u4 A  i/ U, a$ K2 E! l义first_name列的值,MySQL就只能使用索引的第一列。
5 `- W9 a6 F' b' z  {
2 p. W4 S6 H" c5 A  K( X3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是$ U; ^) C- A: z/ ~
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
" X( M( D/ k7 Q5 X* Z不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。# E0 Y! Z' i6 o0 c3 l

& @* h# l% o$ o6 n" n1 e* p哈希索引,空间索引和全文索引等,暂时没有设计
+ N; s- J( s, @& w3 u* o' l" n0 y1 a+ ]* K( b
高性能索引策略
/ L1 L% o; w( A: M  a; S6 p
; J& `* f$ ~# ^. O/ n1,隔离列,意思就是不要对查询条件中列进行计算等操作; f/ ~: K: G; Y/ O' W
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
! G; P9 z% k5 Q9 u' @( M3 JSelect count(distinct 列) /count(*) from table;
/ N; W8 L) e3 \' z看看这个值时多少,如0.0312
3 E" g/ M# v- P+ r那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
  Y& {  b- e6 G, a. H$ c+ ]9 y,这对于大表很有用。
( N0 y; ]8 ~% B1 @6 q/ z2 XSelect  count(distinct left(列,3)) /count(*)  as  sel1,8 C$ }* @! e9 p: p) X$ D* R
count(distinct left(列,4)) /count(*)  as  sel1  ,
$ k1 |% Y6 u. s4 c2 g' ^" O count(distinct left(列,5)) /count(*)  as  sel1,
! r5 p5 ~, z$ [/ n count(distinct left(列,6)) /count(*)  as  sel1,
. X+ B4 G/ ?9 o% r count(distinct left(列,7)) /count(*)  as  sel1   from table;
' z% r: W4 I* A2 A# ]" t8 W8 i找到接近0.0312即可。
( Y# B6 W" w1 J2 Y' u1 b7 T, F4 o1 ^/ T
Alter table table_name add key (列(7))
5 E+ V9 G% S8 E2 w$ m. f' h2 v3,覆盖索引# T! ]7 R4 U  T
包含或者覆盖所有满足查询的数据索引叫做覆盖索引9 G! P* I) a6 T5 R
explain时,extra中的会显示using index) @! Y5 U4 ?& Q* `; D
这里一个重要的原则是5 g0 ], V1 Y) ~/ P" T# G/ {
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
7 ^1 k7 B1 O3 B( T  z6 g" A/ p如select id from table_name;  d) g1 ]4 H' p" r$ F7 O

0 ?& X9 p  m  P4 |  N: P9 Y很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不- K5 _- P; l) ^* ]4 K5 P
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
" K+ _  d! R# c$ ?5 x2 {7 e
2 @1 H; P0 g7 g  {8 m
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    0 n9 h. P2 N- ]: |3 |8 A% V
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
0 V: R- u+ d. n1,
, X1 [, C" g8 p' A6 \5 ^没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
- J$ f. `+ Y- I+ l9 A$ j+ p# U2,
3 W# h9 ~) {# JMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
3 _! @' }9 k1 F. y有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
2 S  r- _, N2 k) m. R
4 ^9 W9 {, I- x; C! x8 u; C4,为排序使用索引扫描
& |( e; ]; s# u; ^0 X4 rmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。3 `+ F) H6 v  p5 h) u+ B
explain输出type为index,表示mysql会扫描索引
' _& ?& n- x1 r$ D, g* N
% F/ _0 H+ l2 O5 t+ r: Y扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
' l& ~5 g. Z: c2 h& c+ U
6 a9 B+ @' _. r7 K  _0 GMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。( c! u* U! v% S% @5 u0 C
# q/ q/ ]. [- r5 I; t: r- h
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
7 u# r1 |; k6 K, j; z- R  r+ }
% S3 D! I7 `- W7 }/ XORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
  d2 F1 z  p. o& B9 U
" q# ?; O% k% U9 Y使用join可能情况会有不同
, x$ k6 g  C+ A; m5 @, u
+ R! h% ~0 L1 u# N5,压缩索引(myisam)
, D  o) P+ ?. F0 U1 j, h# e& B6,多余和重复索引(应该避免)
. p* ~4 ~6 {( C2 Y
+ `2 R; n) B% d多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B): s: s7 l- Q; |# R; U9 }
上有索引,那么另外一个列(A)上的
$ y( ~: _. D% W, ^5 ^索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
* m; f* K' g- h然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。% D4 X- @7 O" A4 q- t9 R3 {

' O( F0 m" h7 r) H. N  _2 O! L: T要点:' v0 Q' ^# e" v( P/ t' n9 G3 Y
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处., u' `+ h+ Z( H4 @9 [! O( X
% n$ W: M2 c% h0 F4 ?
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
: g( v$ i3 A) J- U, O7 f
9 `( Y1 i* P7 c' a) q
% y+ s* m2 p  D$ {5 m! T0 H0 F7 s' `
  j7 m) A" {0 ^7 ]
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,, E+ {% f2 ^1 D5 t( R  R( P
! k! Z2 P1 g/ v+ \* X6 ^: ?; l
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引' Y$ l) R' W$ D8 {( q2 H, B

0 v6 G+ M0 [8 z$ U' H0 y5 O, w8 n2 s3 ~
( Y1 E# v# u# P9 s
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索0 ]- \4 Y9 H# E2 ^- B: V0 N

7 ]4 \2 D, O9 ^6 M% s0 ~引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
) E; w: Z% {3 ~$ h4 a
% I) g8 J$ J8 D  r5 o8 Y! b2 F2 m1 J, F/ t4 p2 [6 w# K" x7 C
, c7 [# \+ t; S2 M  a7 A( H
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
+ A$ u5 M+ i& g% V/ j+ M6 e' J
+ m- K* E& e* W/ F( H- K4 G5 |1 g例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理7 C' ]5 |1 c2 C! {6 }
( Z; T& A2 X" r! f5 |! J/ z' @
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式3 h/ q: P1 f& f

+ y. Z' Y; @0 l+ P) n
( c! v* S1 [  n) z. O. J9 e+ ~& q$ ?
避免多个范围条件,只能对其中一个使用索引
0 X$ z; D$ i, `
. y- }* t2 ?4 ~
6 s) \  s* C, }; E8 v/ n1 [2 n0 ]* l, |) {8 ]; @2 p9 i! G; Z% y- L
索引和表维护
: {. z4 x8 b0 q* S) R3 w% M- g" k1 N% f
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片./ I& ~# P. J  M5 a! Q3 w

& Z1 a$ e. Z1 V: x3 C: t" ^check table table_name;, I; t# y# A: ]  Y* S0 c& n
repair table table_name;
7 o! {) M& V. _) fShow index from table_name;检查索引的基数性* Y5 U! V: B, D% }9 u

7 [+ C& \6 ~# T& G8 p主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量9 n3 z. c% m4 C3 `

+ S5 E0 A0 ]" l5 n2 R% K1 O! n& L2 h
: e# V, n( ?+ g* x; J7 B0 {4 C
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
4 P/ U6 k" q6 u1 e% D( A. q3 {% r$ k5 Z  ^, j$ O
表数据也能变成碎片化。两种类型:
. U' r4 X! A" }. h" j& X" y. \* o# |8 ]& `2 g
1,行碎片
, _0 J& u! _" U6 y1 w4 ~4 j" B8 g$ X! N3 x" m
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
1 m4 A) Y, Y* K1 g  p2 r) H7 G: d" T  Y  C/ L( P

- w5 b$ X2 d; V2 D0 Q' Z6 [5 X
2 O/ `; I; [" D2 _5 c  l$ ]" S  I9 z2,内部行碎片
  D8 S/ T& k8 \# c
6 |; ~' Y  u" v7 }当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
! N) Z1 x2 O5 u8 z' G" D5 T' [* l, p" f# v. B6 n6 {3 ?
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
1 o0 {4 A7 Z5 U
( [/ m1 ~; P1 W5 p& |* x; E! C: C% c5 J2 b. N# H
9 _. R% S  S& s  H
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。3 R; g. h6 U! x. ?! t  s; I! z* H
/ r& M: a3 a0 T0 B

& A' A; b' f/ L; c: X9 Z# F( [3 n$ W$ s& ]2 g! O
ALTER TABLE <table> ENGINE=<engine>
% H8 t+ `1 Q- k5 {6 @" {; Y" g; s# f
" S# U# H9 b) i; H$ N$ J/ ]! ~
' G0 d5 O. C+ o% M) h; B$ n# _$ k: A
加速ALTER TABLE% s" }* k# h  t0 {% c

$ \: }0 J9 J1 e" D
2 k7 \: i  a, S% D+ Z; X5 j8 w8 I
: {2 u: A  V: e! z& E- {4 o. lMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
  }' P+ r: j0 z0 D' a8 D- C7 u( }; u% K9 N& E" e
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,6 A$ E5 F5 r; e5 J! B3 W2 _! v

3 ^! E  K0 X& D4 ?  T0 x而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
% f: G- i% X7 z! K0 |7 l# i' @
% t8 r/ s5 l$ P, y# M传统:7 R9 T+ Q# T1 \5 R( {
/ f5 n1 m5 F" S- X( b0 ^
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
+ C6 }9 S- _% W+ M理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更8 X) s/ E# r/ J2 T* K2 i
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。6 @1 X& p" M8 G! m% q5 h

& d1 ]* t- Q8 H) t2 s变化:) j; r& y, Y: h7 y# N2 g

: G1 M# n# g7 z. o) P$ WALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
3 p4 q6 ]1 Z# P这个命令更改了.frm文件并且没有改动表。它非常快。
: ~! _5 }) o3 P还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-9-29 04:54 , Processed in 0.034998 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表