召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2753|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能( ~5 `& w% O2 c& [- T" J
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
  d+ P) D0 F* R一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列* g6 u3 @$ s) {% @; ?& H
在InnoDB中,只有事务提交后才会解锁
( G/ B+ g7 F1 W1 `& v7 P4 s  P2 a% B: w8 T+ v! [: W( F
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只, `1 g6 x9 X2 z, j3 n
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
2 d* ^' Z4 L! v6 }/ l
# U5 C+ k# s0 G( ~& E2 f* oB-TREE
  I5 G0 E, O& E6 _, q2 [7 l能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找# |. j- G' }/ l2 O
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。# |" x" v: J. _
  1. ' Q$ d/ u8 v& N9 C
  2. CREATE TABLE People(
    / _: b  @3 C; y; M9 C4 g
  3. last_name varchar(50)   not  null
    8 W2 {, Y* K# h; N
  4.           first_name  varchar(50)     not   null  w5 k- f4 J  M7 Q
  5.           dob  date      not    null1 ~1 d, j) P; n- W# d
  6.       gende       enum('m','f')    not    null3 [/ {# \$ p) E  A3 A
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
1 D' W2 n5 C) Y8 u全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
. w9 x& m$ E6 }. {5 G7 {/ Z的人。
8 W3 B# V, A: R- A% J6 \匹配最左前缀
4 t5 w% F2 S2 K' S* ]B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
& R$ g0 r# Z" Y& i7 {匹配列前缀
4 f* }2 c5 g. \( D% A可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
3 G$ A' T/ M6 ^( A/ `) B匹配范围值
+ u( F; b8 E, e3 J4 R# k/ V这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
  U" {; V6 i9 i; J精确匹配一部分并且匹配某个范围中的另一部分1 N, q9 i2 Q) D* X. J" ]8 H
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
9 @8 u; y; R$ r9 M3 F% {1 A  P列并且对first name列进行了范囤查询。% z! n: H/ u# |1 x& F9 M( B- O
name
/ l+ y: t9 @; r0 n0 p只访问索引的查询, Y. |; m) Y5 i% n) z! R* ~# J
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
7 g3 G! \! F' o; n3 M/ G) u4 x6 L8 }: q
% V8 l! h; V+ \3 X由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,# q5 D% A/ l6 b. u6 t$ |, m1 Q
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查% ~& z. c3 v& T2 h3 I; C
找方式也可以同等地应用于ORDER BY。- v% Q/ h3 Q) F# T# K9 C* m

1 ~# f6 y: k  h6 W0 ^3 J4 {3 _下面是B-Tree索引的一些局限:$ e( Q1 P5 M) v4 N

/ a: x" q( ?( ^; L2 N, @: O0 T1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,  H" d' |: R1 Z4 J0 p- o3 c! U) r
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
0 j% L; U7 }) v( V7 X氏以特定字符结尾的人。
8 o) r% M4 B& c$ ^- r5 K* b2 i  `% J$ K
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定5 o6 x! n' J: b8 D3 q) R
义first_name列的值,MySQL就只能使用索引的第一列。
( p1 b6 |; h* e
, G7 B1 k* ^- \* C7 R3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
: V4 O) o& z) g7 v) h- y范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而+ x: w/ y1 Y0 v/ O- O! }2 Y/ n5 o; n+ P
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
2 D, x, f2 b: H. C$ `) B# l3 c9 H8 Q0 t( \! @6 X$ _5 u  y
哈希索引,空间索引和全文索引等,暂时没有设计* L9 |6 V" U$ K6 V  g

1 R# J+ a1 N  P* C3 G9 o+ y4 ^; n. h$ H高性能索引策略
) U1 g4 r; m# B  O# }$ d, g
1 D* ]+ A& _4 O2 y1,隔离列,意思就是不要对查询条件中列进行计算等操作
6 w8 {- `8 }& `" p+ g% A6 p, E* e2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引$ ~7 [" ^1 o+ T: k0 |) U2 y
Select count(distinct 列) /count(*) from table;
& `) H, I$ q6 k4 P, \' G6 s看看这个值时多少,如0.0312/ `) {9 T/ ^1 L( {; T3 h0 Z
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算' y  g( Z# u9 t+ H
,这对于大表很有用。
' Z( z) W# i( E6 i% iSelect  count(distinct left(列,3)) /count(*)  as  sel1,; ]1 w8 j$ |8 v, b/ D
count(distinct left(列,4)) /count(*)  as  sel1  ,
6 N4 a. {" Q$ X3 v6 }" L2 f count(distinct left(列,5)) /count(*)  as  sel1,
7 A; J; D6 C/ C7 [: j( i count(distinct left(列,6)) /count(*)  as  sel1,' I8 l2 m7 _6 e6 Q3 S" }7 n
count(distinct left(列,7)) /count(*)  as  sel1   from table;
8 Q$ L6 \- D( B$ F0 \% d- w- \找到接近0.0312即可。
# i. z% K, U6 h$ ^' Z/ l4 B7 J( l. C1 k2 J) {5 p! L. v8 p
Alter table table_name add key (列(7))# @% @: l7 P3 d8 O
3,覆盖索引
1 c+ f% u, x7 c% U: h' o包含或者覆盖所有满足查询的数据索引叫做覆盖索引9 z2 g1 O1 Z9 ]/ A5 c
explain时,extra中的会显示using index
$ j" \! l$ u9 ]! r4 z/ u! U这里一个重要的原则是
& J8 m8 U' }( q! U$ t+ Z' ]# {select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
  W/ \5 l3 ]8 N' x4 J4 h如select id from table_name;
; m' s2 T* B% r9 f5 k
* X& r" M: y/ u" ?% S很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
3 T+ Q7 k" \. v1 \一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
0 u! a6 C! U: Q% q& `& V
) Z" I1 a% }  Z9 [, {4 _- H! P
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    ' g6 \& I! [9 {+ ?5 D2 \: u
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:2 t0 o" `) h, d
1,
" P7 S9 V& p/ O4 q没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
2 F2 H$ s) n% M" h6 j5 w* ]  H2,
2 F" T; C: L; E: j9 @MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
. D/ h: i; w/ t; N/ _$ b) ~有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:5 u$ K6 n; S+ u! |3 b& }) W. v

2 j" s1 m2 y8 n. d4,为排序使用索引扫描  y5 [$ S. }* A% t. ~- z. W
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。/ Z4 g- J8 m; q7 K; y
explain输出type为index,表示mysql会扫描索引& X( Q9 [0 V3 ~+ Q% N
9 c: \$ z: w8 i+ m
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
# [; s  Q0 `* R. _8 n0 |; V+ s7 M3 ?" C/ G% g: g+ a% j/ f: i
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。' b7 o. x5 ]4 t# O! @

  Q$ y+ t/ @5 m$ h; b8 @7 g$ I2 \按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
) t5 w* y5 V0 a3 K5 C# S& Z# T9 U6 P0 n$ ]: \' y
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。( X1 D! Z3 {4 ^& D
( m0 x0 ~0 X" ]* G
使用join可能情况会有不同
# B" C; j8 h2 H  S* n. ?$ P7 L
4 Q' E8 Z. d5 i$ K* u; J3 w5,压缩索引(myisam)
# M% I- Q6 ^9 K5 c$ U( w; E* u& L6,多余和重复索引(应该避免)
  }& s- [- x3 {2 f1 Y. v. P) C5 t9 b7 a
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
8 t5 ]2 d* C: I0 S2 T( r: H! p4 Z上有索引,那么另外一个列(A)上的7 v  K4 A7 T% I$ s( j
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。); i! T0 m2 z% n# o. G+ n2 B
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。8 ?7 O/ T6 w+ x' D- z
7 P) u8 {: ^. a) @9 k! }
要点:
: N; d" L  n" d; {3 u0 L在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
6 t  R" E: z# }  K4 a/ H0 _
" F" d* `! l9 w( W+ }/ r即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行4 j: p0 c3 N- S& z8 o

+ x( C- [5 d1 V$ L* P* S
: n' m+ h. I/ t: Y' K3 Q9 ~2 C3 _' |% s* O) l$ D: p* J
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,9 B+ R" Q7 w0 ?3 h. }
0 ]8 a) O2 v5 ^9 x
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引* [- c$ Q% o! e. A9 ^3 k! u0 J4 H

6 j) R3 ?: v; Y2 a, _3 y* d+ j. y/ f! C4 ?/ B
$ w; u/ i$ i  D. G6 ~6 |9 W# J& P+ B
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
( q2 [( [& h( z
) J  Y# A2 j6 v+ h: d3 n5 O引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
4 r4 r4 E8 w% A0 d- p( F5 j; w4 ^3 Y* k
5 u3 T* x) h- A0 R- ?3 ]
  P+ B0 n! s- f! Z$ H0 `
3 a6 B+ Z! F1 k; s( O/ H4 M8 |一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。% F+ N# |* S$ ^, H2 F9 r5 u& n
2 @% ?( x( w  P4 a" L3 q, ^) h+ j
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理: N0 K' T; o1 _- I! ~

, V  O7 r  s- M( N) J4 D* S3 R; I这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
. A, }) q' n/ \3 C3 H$ P' b7 n5 V" Y) k) l$ J  p0 n

9 L3 e  d" t3 K
8 A9 m6 `1 p) g1 x8 V" x* s4 L避免多个范围条件,只能对其中一个使用索引/ {; ^, t& A+ z; \5 ~1 g

' \1 q( z: |( V9 d/ C, K* ?
8 ^: U. C/ R, X' ?5 v$ V( S3 E4 [. s
# y! t; m. q" a& e3 x; I- a4 E3 y索引和表维护& l" Q( f: I; B- N

$ K% S) n, |( w5 @表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
+ I1 ^' G$ O/ T7 _( k/ v+ r- |5 I/ c* l+ h2 ~0 p) H; z
check table table_name;
% T( q' k3 a6 r+ y/ }  I( W. k. rrepair table table_name;+ n2 t5 R6 u7 p) K4 ?1 c5 |8 G
Show index from table_name;检查索引的基数性  I6 x  N+ w. [4 p- @" ?+ f

' J1 n6 I( u' O# \& {主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
$ X5 O0 e: N/ G0 U- f7 Z) U. m0 D& t4 M  G0 i% @. R
# v3 v# s3 `. O5 [5 v1 O7 |4 a
9 Z; V, j5 N$ Y' u/ j
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。6 i% J' h' S" k( C% W) ?

4 J% f7 h6 t3 Y( T表数据也能变成碎片化。两种类型:
8 D+ o% `4 {( j# m, x# t  Y2 x6 \- C2 `: a
1,行碎片# {8 U! ]2 X; {$ W, g9 R
' _( x) c% Q, s# A9 D
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
8 h( J" w  X2 c" J* B3 U4 m+ q4 u; D- e* i. l
& J' j& j5 v7 i6 o* j$ R- n7 y

2 j8 v/ E0 m& c0 ~/ M2,内部行碎片& z: ]3 p# s  h% j# `' w/ m
  u; O( P0 S. h4 u. t3 H$ y7 s
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和7 [/ {( e+ n" a& c0 O3 l

0 f5 O9 H' h  I8 j- ]. [1 P聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
; d% {. ^; \) m$ I
* S8 \0 S* ?" P8 ^6 r) X: G1 Z- r. h" P+ i2 |' a
% h4 l% f% {( j7 X9 a* `
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
6 O9 |+ u5 D9 B* Z& F% U; q" j

9 V* F- g% v8 e" f) e
$ F7 |5 W  M4 ?# L# s) oALTER TABLE <table> ENGINE=<engine>
% j; w# F& R4 T9 a" t0 y
: [! f2 ?8 _) i! t7 ^% I2 j# a
- f7 E5 X- E4 J1 v: Z4 B5 e" C: `4 r6 [5 Y$ ?
加速ALTER TABLE+ B+ O3 G+ N" _0 e

7 ~( k9 h* J. x0 _$ r
3 Z! I$ u" z! |# s9 Z1 N* U  p5 n; r3 K6 W7 T& {" H7 M- h* l1 z# x
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需" x# g1 C2 ?6 V7 ?; l8 @) {
0 Q& r3 \2 V$ W7 p
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,! d& G0 W) e! @  g  j

: v1 K2 {% }3 E! t. _5 C4 D而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
1 v1 y/ s; D* [' r  ^# I: w* R$ @+ j4 ]4 d  D: I7 y! [4 g1 I
传统:+ B2 ~! {% i$ ^  g1 l- G

, ^8 c3 M! K& u- xALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;4 {  s* {4 k4 g1 F, [7 t! i4 X
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更) X2 i) B3 F7 A6 H/ I7 p4 |) O- m
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。- L: q5 g- A$ l7 p% `0 N
  L  L3 n; y) y+ E! O6 g: |* J
变化:
; H9 B3 i4 `, q1 b$ G* c
0 Z- }; r, |2 v) J2 [/ i* z. CALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
$ Z# L- h4 ]0 h3 L这个命令更改了.frm文件并且没有改动表。它非常快。# r2 P, i3 Y" ?) J6 {% i4 Q% U. `3 M
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2025-12-28 21:12 , Processed in 0.038893 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表