召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2754|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能( y3 M# A( ~* \' Q, c% \0 [; K9 T
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
, O- M, V/ d' L8 A7 {- B( K2 K+ _一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
2 V4 ]3 D* l4 h在InnoDB中,只有事务提交后才会解锁
5 E4 [/ D$ D; ]; M+ e7 ~: }6 g, U7 Z( U; D6 H% }
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只+ e' X+ ]9 U  \0 _, N, w' N
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
# ]  f0 D/ z: A# ?2 J  n- ~# w" N8 x& i
B-TREE
$ t, @, E0 j7 J; e% S+ y2 U9 Y能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找1 I6 `$ ?! z& q/ \# [( \+ {
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
9 W' K: _4 V$ s2 F8 x, s

  1. 5 Z8 d$ N9 K) j- v" y
  2. CREATE TABLE People(
    % i8 i2 ?* h/ L
  3. last_name varchar(50)   not  null
    ! e. [0 Y' x2 s" t
  4.           first_name  varchar(50)     not   null
    9 G; x* G- {' V& W/ h
  5.           dob  date      not    null
    " S/ p, K% {! m
  6.       gende       enum('m','f')    not    null
    * E! m2 B" [6 Z# P
  7.         key(last_name,first_name,dob)
复制代码
匹配全名7 z$ @9 V3 H4 Z# H
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。3 Q' t1 }2 _3 ], |& P
的人。1 B/ s# ?5 B. t4 n0 B
匹配最左前缀  g: G4 o, p5 f6 l+ f$ f4 K, L
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。6 p: C9 M2 Y3 a9 I- H3 g2 {
匹配列前缀7 j" L. E$ [7 h
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
7 f( ?% N& e7 I匹配范围值. b! S4 Z: F% D! s
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
- p2 m6 c9 \( U2 f: _. w精确匹配一部分并且匹配某个范围中的另一部分8 W8 }' L1 h  h
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last- s- i" m% o, J2 L
列并且对first name列进行了范囤查询。
- \/ F7 c" W3 kname
, s& g) y5 ?7 v只访问索引的查询
+ K0 W9 F$ F7 S! ^B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
$ m  D/ x, Z. C# U0 i7 |, f$ t1 O( N6 C$ t- u4 ?, e
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
3 Y. h; y8 x/ V- ^2 W) K如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查4 y: d. O" R4 e/ v  }: W3 [
找方式也可以同等地应用于ORDER BY。
( @% R* r4 C2 e% ]: V. R/ \1 X: _4 v3 w0 X5 S* `6 y
下面是B-Tree索引的一些局限:9 B8 \& F8 X' @: C7 [9 O
2 P, e# J( y- t% T9 n
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,  O+ D; K; N6 h& J
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓# t2 F- o$ ]! O  O# |
氏以特定字符结尾的人。6 U/ x' _5 U, x5 E

5 g7 k! v6 J5 P2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定0 I% N8 u$ U  V$ W, z9 p9 [
义first_name列的值,MySQL就只能使用索引的第一列。# J8 i: \7 P( ]; W+ Z" `
0 \! o, z! Y+ P/ c# ~& q
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
9 J. x1 m' u# R8 ~' z3 j范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
5 Q; P& l+ z, O' z' B不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。* d* q, n# [4 g6 |! n! |. i+ x
  i* K4 f* G+ [0 K7 s- Z( D
哈希索引,空间索引和全文索引等,暂时没有设计; w. r, G. X5 a0 _  q, J4 K% X7 R

5 O. O" n8 H# E7 `1 s3 P+ j/ b: b& x8 l高性能索引策略
+ s) c* v8 ?8 d, y- T5 x0 z* _# H2 B! w6 c* N
1,隔离列,意思就是不要对查询条件中列进行计算等操作
& s. E  M/ V) O, i( q' B2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
5 q9 E  d2 x8 I3 h% w. h) kSelect count(distinct 列) /count(*) from table;
) x8 i/ z3 V5 \/ Y% X! o看看这个值时多少,如0.0312
+ U! `8 G; ^+ G+ c+ T2 i8 t; Z那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
: J" L" e" _" x7 O; Y+ Z) Q# r,这对于大表很有用。
  {" R$ y6 S2 o- w. _% v) ISelect  count(distinct left(列,3)) /count(*)  as  sel1,, n% x: S) i1 J3 U6 R
count(distinct left(列,4)) /count(*)  as  sel1  ,+ E1 @4 W5 V1 @# s
count(distinct left(列,5)) /count(*)  as  sel1,0 m# h/ W, z3 J* o- p4 R: r
count(distinct left(列,6)) /count(*)  as  sel1,' ]* q, a6 E  N6 P3 L% m4 o
count(distinct left(列,7)) /count(*)  as  sel1   from table;
/ I5 k/ T$ i5 _. x& h找到接近0.0312即可。
& n& M2 F; m1 ~5 N1 y3 n) c% g* p% M+ i8 D$ X
Alter table table_name add key (列(7))
+ y/ c( Q, E" z7 n5 \3,覆盖索引( c6 M( {7 [+ C, w( F7 @; s2 [
包含或者覆盖所有满足查询的数据索引叫做覆盖索引7 T5 l) S/ j2 B: V% W
explain时,extra中的会显示using index
# I% ?$ ^# x/ R* u1 h" o这里一个重要的原则是$ \' [: |4 G/ o2 j# D
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列$ ~, ^8 t5 H' F+ s7 J- N
如select id from table_name;/ ^' u' ^% _5 p9 V! J  v7 s- @
$ F4 a: b+ Y( o* ^
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
' c) M6 X' e% m7 ^一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
/ X0 M% f1 y, D4 L
9 r6 B6 y$ C4 `3 L7 j
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';# n  s8 I4 \+ `( h9 I* l% |# g! X
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
* u6 Y1 {$ k0 E: q1,- f. ~* S% E* {0 C0 J" w1 A3 |0 R' d
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
5 k2 \" E# r4 ]- D2,
2 v* E, D: w9 L! Y" _% d: {0 jMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
! k6 a  Y7 {- J* k0 |有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:  N) d4 y' R: K0 x; {+ }1 w6 Z

8 \( g3 r' y8 M( |' Q% E6 |4,为排序使用索引扫描4 ?) S, w4 h; y1 Q) ?0 N
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。+ @" z; o% H, Q) n7 T$ ~( H  C" m
explain输出type为index,表示mysql会扫描索引
) h! Z0 b; K& t1 K5 y
! A2 Y+ A% o/ M; e9 t6 F0 J7 H; _扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
- U! z! o8 {, V5 o8 }( i
* c0 _+ v5 @# PMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。8 @5 r( \: b% o3 Z& ^

- J) P* e3 c0 A5 D$ W+ ?按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
. Y5 G8 P$ S( X7 Y+ _1 L! B4 [- [/ C8 c
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。; j8 e" y% g) e# v: ]6 @
7 U  F' H  u' ?6 h$ T! M3 F' S0 V
使用join可能情况会有不同' j. P' m, O. O! w( u
6 s6 C- V0 J: R+ i; `
5,压缩索引(myisam)
8 k! B( j4 l( D6,多余和重复索引(应该避免)
: f5 j0 B& P$ m0 w% I' w3 ^; B( ~; B' O! v3 q' T5 O
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
( ?+ G" _' k) V, h8 v上有索引,那么另外一个列(A)上的
  n% H& N6 Q' @索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
, G9 `; c( f6 @: i+ R3 D然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。  B3 D6 o: @! {5 D1 u) c6 ?

" V. ^0 r* d, j! Q要点:' A8 i0 w4 B! X# n: R+ p" Y9 Y
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处." J) {) g# a1 u1 j* K7 s. ?: ^& n$ {3 ^

/ R! M' L  H0 a8 r8 T2 L即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行) y( y' u: r$ C0 P* e
; [; U$ M7 `" |3 {: {. J% v) B, L
9 u- C7 l9 P8 Z1 ]0 p

0 z0 F( v1 F, H5 d4 L& A7 N' g
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
9 G7 X6 |0 c. {4 N. f! x% z4 j, S5 y( _5 O
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引3 u) k4 R+ G) q# O* I5 |' S

4 _4 g4 F# u! u) [+ v
3 g, u5 D6 o7 k6 `1 x5 ~
' `. Q& [6 \, r2 u3 }2 s( J一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
" n! N9 H5 e# \* N
) p6 [' s; T- |# k1 O2 I: c引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。- b7 W9 F+ A6 B- h% [* t$ @

: |* `5 [) T7 N/ ]: t
. m) k# K) L* b' S
! F/ w. W: n2 N% v- j* v一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。, I& {; W. }# P  a: W4 X
# a& U$ f3 M$ q' ~' y
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
9 a, D5 `0 L* @9 c$ w! d/ P/ x1 i; D6 v  z- W6 q+ y; P; v; q5 ]
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
9 T) z( l# L$ I9 s: J/ Q: L$ s8 Y; q7 R+ K8 s
7 o1 ^) `; F# y" l' O! w! Z6 y

1 `( x1 i2 n8 O* w+ i  G避免多个范围条件,只能对其中一个使用索引5 o. k6 l: _& t0 e/ [) Y
4 O/ r& B( \- O- j. {2 M7 J+ c
0 P% P' N7 u0 }% u# _( @
8 e) I) Z3 x8 J; S5 ~2 T
索引和表维护
: n8 o" U2 j2 D; E% E( R! d: o2 d6 |
! K4 p" q- }9 |2 F3 I: C表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
8 G( r2 `9 p# @% k$ J
6 `& B4 y  Y& bcheck table table_name;2 e" Y9 g- S% Y3 D1 E- F
repair table table_name;
( E' r0 g) O6 X7 J7 r+ d& AShow index from table_name;检查索引的基数性
" b* C! g4 u- P1 t: J+ _  w: f% j1 g* [" `
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量1 G" c" _# R2 @& K% y" t

/ k/ [, J" ]+ f4 [4 d7 ^& f. Y+ U
, N$ W; f: n& V9 l3 P
1 g; j( h1 A& `" pB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。. Z8 O- f3 c# F

# l3 I' j5 c, z8 p( M, b3 D+ W表数据也能变成碎片化。两种类型:; E9 i1 h0 a: ^/ x# B7 O* q# K

5 g2 @* x* {$ A* U1,行碎片
- P2 d, V/ l. z
& v/ U, x  p$ z/ q+ j0 W4 c当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。5 [5 O) s, N! Y: W+ `
+ M) d, j8 ~, u/ Y0 Z- d6 C

( s; g3 A7 ?' A' e# y# S$ ^: r: @% C) Y7 c. f9 X
2,内部行碎片, @6 S$ N8 v4 y

  }4 ]! |: \/ c当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和7 R: @* M9 F! v7 u
! P$ i) m- c4 l, n7 x) k9 i9 }7 G" F
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
) ^. I! `% E+ _( \& u! U! r0 V- i9 ~6 q
; I2 Q- P( J8 H
. c; k; r1 x- C/ x+ g
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
. v" b8 P4 V3 ?# u8 j5 N& f5 I0 w; K

. Z. l! v/ a7 ?/ R& H2 W7 ^( m; g
/ C' ?. I! ~' Q' w' d! s% iALTER TABLE <table> ENGINE=<engine>. ~0 d7 p1 ~3 [, o& f) s; D% {
) v9 I4 [1 S7 ?: V

9 x' [7 y/ l2 n" |3 `/ l& [- s3 ~5 M9 \8 ?; \
加速ALTER TABLE
- u" b. }% D0 L( d7 q3 |; k" x) d
9 o5 p3 [. _; q2 ?. T# Y9 G* o  i/ S0 p1 [) D
+ ?5 `( c, Z6 Q* C8 O& B
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
' }  L- x; E4 m. @  S" `) Y0 H! E3 l3 n! G
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
% D* p& V4 x+ G3 p) y& ^& D' c! g# n6 D4 m4 i5 N0 {# B! I$ |
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
2 K8 Q5 I. G# K( B
7 m4 r2 T$ }, B/ T, B4 B传统:
8 c) i3 J. y) M! K7 e+ ^3 D7 V2 y9 W: c
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;0 O" u9 E! o2 W4 [6 U$ z5 k/ ]
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更6 w2 T+ h3 }- b* n& e+ p
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。( k1 X+ Z( X- S" N
4 e' o9 s( w! a3 R8 p4 ]8 J. e
变化:
$ F" y7 `) z, H, b; B- e7 U6 q5 l* m; A
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
7 q/ U% V$ n6 t# p0 V( B这个命令更改了.frm文件并且没有改动表。它非常快。' _+ X1 U% v6 d7 ^/ V
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2025-12-30 04:31 , Processed in 0.047066 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表