召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3451|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
1 H7 c1 ?( x  W" C: E2 H& d1 ^有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成3 [5 _4 `% x0 x0 J% @$ \
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列% u* n2 [5 P" s4 n" \0 m+ y% l3 Q) l
在InnoDB中,只有事务提交后才会解锁+ j' {4 I/ M3 _/ p2 N

+ O1 `7 ~; y+ N) v1 o! S# y: R索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只: z3 H, N7 ]; E! t7 p3 j+ P1 @; q
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
$ U! c3 F5 t4 Q$ |$ f9 I1 m# P
, `3 H4 T1 Q, Z2 I# s5 mB-TREE
# B" x. ^/ I* _. X! v能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找3 h) X4 a1 e& [
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。( u' _2 T, y; G

  1. 8 r2 e1 P7 l7 o" T$ F
  2. CREATE TABLE People(6 e" m2 g3 X* D$ t" R4 o
  3. last_name varchar(50)   not  null
      e! q% d# U* T2 P4 A
  4.           first_name  varchar(50)     not   null
    & w- W$ Q/ {2 c. g
  5.           dob  date      not    null
    , @- C/ }# `; g& h7 \: P5 t
  6.       gende       enum('m','f')    not    null5 z2 }3 W! B! d
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
. J7 e8 o8 e/ n3 ]+ k2 ~- Y全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
# _  y) ~3 p) X) G" _的人。) K9 z# I( H& x7 H) n/ n
匹配最左前缀
* x' A( q  {+ O+ v2 n  mB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
# |( C# }) m. J4 B7 W" f: K7 s匹配列前缀, I2 M  L% \4 P- x5 c& T" j3 @
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
. h- T; H: L) ^& Q+ g/ M匹配范围值7 c& a3 k( Y% H, `4 w' K2 w) }
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
( o( M8 o7 V( y8 J3 r精确匹配一部分并且匹配某个范围中的另一部分
# S2 p7 E! W1 k这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last, {8 [1 K: Z, {' y8 |
列并且对first name列进行了范囤查询。
9 G# {& K2 M9 z8 k: ~name6 J: o( \% N, ]$ s
只访问索引的查询5 K  j) M& g  t9 X# F1 u
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。, ]9 I( R' h' _( ]
1 X* g; t! [/ l$ {4 Y7 d
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
7 ]% I2 ^4 e+ K) a! s$ r- F6 e4 r如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查9 s5 ]" ^9 J  }/ H$ a# g( Q! ~
找方式也可以同等地应用于ORDER BY。
% |3 J& X5 R/ n$ p, y: [2 F7 V
* \1 h5 d4 m$ {0 |" T4 L下面是B-Tree索引的一些局限:
9 L1 Q* ~( q  P1 z+ `, Y
9 v- S8 ]- u4 B0 J  I( y1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,' k2 F0 m8 O$ }/ d
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
3 I& V- Z9 k2 [氏以特定字符结尾的人。
+ x/ e) Z3 G  Y4 w+ u/ W8 m7 y5 K
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
& u& J- T' {6 ?4 O) x3 i$ W义first_name列的值,MySQL就只能使用索引的第一列。
/ ]8 b( U4 }+ b3 W8 ^4 h
3 E: I! d# P* i- p2 k8 ?3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是2 i3 \8 R/ |& N6 m/ A8 p
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而% @1 q0 r% t  P+ L
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
7 m$ K  m$ h$ A" u
2 ^2 b; d! p6 U$ \( x- [哈希索引,空间索引和全文索引等,暂时没有设计% o+ j* W9 t1 I, e" }$ u

9 Q% R( L! [1 g5 ~6 s8 _8 \高性能索引策略& O& g" m$ b+ O
' b  _. J- T  I7 |% R3 {
1,隔离列,意思就是不要对查询条件中列进行计算等操作
, \6 X1 q  L" s; p) g- [. i2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引* p$ b1 \2 D+ z
Select count(distinct 列) /count(*) from table;- @+ S9 i3 y! z  j; S. }  ?
看看这个值时多少,如0.0312& b; O3 s  i- G! b7 c  K# y8 h
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算+ N/ D$ ~  R1 b7 U
,这对于大表很有用。
- g3 e0 x7 }, O1 e0 Y, P3 uSelect  count(distinct left(列,3)) /count(*)  as  sel1,4 X; ]& m5 O' \# ~
count(distinct left(列,4)) /count(*)  as  sel1  ,
, Y5 E$ ]2 @8 O. Q2 ^8 a% A count(distinct left(列,5)) /count(*)  as  sel1,
9 @: s2 N: C3 s* t' e. L count(distinct left(列,6)) /count(*)  as  sel1,; C4 }, l) n$ q5 }* n
count(distinct left(列,7)) /count(*)  as  sel1   from table;, {! G  H$ V6 z; g7 X5 l6 S' o2 O
找到接近0.0312即可。$ s8 _, q) W( I$ V4 `

' r, Q/ ~# ~. h6 `4 G/ x) oAlter table table_name add key (列(7))
6 b5 U# x+ E8 ?3,覆盖索引
0 h  }# t: B: P" ~包含或者覆盖所有满足查询的数据索引叫做覆盖索引
- T2 ^+ @5 J' C$ q! Vexplain时,extra中的会显示using index, X2 C8 V$ K* y7 W6 G
这里一个重要的原则是+ m- h) m7 G! b, x$ k. ^5 I
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列9 B8 X# d4 G; M# ]8 k. Q& ^
如select id from table_name;5 G! k6 ^  V! R8 |+ v  D$ {

2 e% h: q7 W0 Y4 K/ d/ t4 t* _5 l很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不6 C4 X5 Z& E4 L7 g, K
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。+ T; K" X( Y4 [
$ [, x; u7 {  O1 i' R4 C% H4 E
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    % P+ {) ?/ _! c3 q" {+ }
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:+ ^% s% z; ^5 p
1,! d/ l; j+ G, q2 {% ~
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。/ I8 ~2 c9 Z/ C5 b# u4 B3 }8 Q  F
2,
/ Q: g6 O+ V# u9 I' \1 GMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。- _8 C. }9 e( A* u
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
8 V% S5 R9 X! o1 ~8 X' ^$ o- C; q* P( }2 f5 m- m2 ^
4,为排序使用索引扫描
7 T! `5 i' G5 E$ S. B; z: Zmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。- F' b9 ^# O% v/ r7 H2 q$ {* w
explain输出type为index,表示mysql会扫描索引8 v9 |) O( E2 X1 w

) X# X; S# G# b+ D' z+ r+ @扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.. Y4 H7 t# E& X

+ S' {3 a2 ?$ t  `8 EMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。( ^& G2 _1 v2 o  }" s5 W

6 |) `8 E, J: w& `  v0 ^按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
+ @" M# H8 |( p1 h
8 s- J% k  @; m& cORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。+ _8 `, C% a) o( [$ R7 g
( \( g5 g8 S8 l: W  a' b
使用join可能情况会有不同1 Y& F5 q1 q0 z( f2 V+ a) [
" V5 Y7 y8 C* ]
5,压缩索引(myisam)
* y, |0 u0 ?5 e6,多余和重复索引(应该避免)4 e' B5 N4 P" w9 d! `4 c' [( |

2 k8 m6 g! x9 H' T/ K/ E多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)- ?+ o' g- c( b1 H4 @) V
上有索引,那么另外一个列(A)上的
- X" G8 ?% H# C5 p索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)& x9 D! T; _) W- C  c
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
. @- J- Q" W0 \) k4 g) V5 y
& ?2 X7 o3 J4 J7 b& ?要点:. D% V" b; E' p8 d7 K  v! o
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
; K3 m5 A& ^  A5 ?! W; I2 Y
% A6 i( U8 {- l8 L8 `/ N, h9 x即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
; s/ C/ E: F! Y( M( l2 Z
6 w: `9 h* w5 J. C$ j7 ^6 R( j3 @( S
' e" `# n# w9 @. K7 m2 O5 n, W
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
) u; f* Q! X# m+ A2 Z  s' r3 T' l7 }8 n8 ?, U) m0 w& m- S& s
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
" g- P& F+ }) a! \  t- s- M
0 @, Z  m! f$ M$ T2 h2 H/ V, r, t. v7 V  ]
- y0 Q8 w+ y, w5 \% x" y/ S9 K
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索2 W6 R' ]2 |' }! T

2 X0 ]8 D( y9 A& ?! x引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
$ P9 c% }+ X. x, e; n3 a1 V8 ?! f% M& g3 {
7 K& M& Y/ K5 b$ j% t

0 y& ?- o- r) K( y! X一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
/ q7 l9 Q# g5 W* ~
5 f, [8 D' g/ {0 w) ?. t, a$ U例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
9 D8 _' D8 U- \' y  q8 c9 V1 ]* g; w0 m9 ~* z. R
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
, K7 |- U2 r& o1 G) v1 T5 s/ _* }- ?& U4 Z5 Q: X/ w
" |: H7 \9 S, s( H- s
8 `, h; k( h* _4 D( x0 K
避免多个范围条件,只能对其中一个使用索引
- D* ~  k( d( T5 y, o9 H, e0 r- l. b4 q6 F8 [1 h- }
, A4 d* L% N3 k9 O% d

) {! k* m! s, ]2 w  |索引和表维护: U! u' F1 Y+ D& l) s/ B$ x9 p
" c1 M3 I: u/ M! D: a5 R
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
1 ^# }: e( B  y$ |
4 U9 j3 H; Z) Y/ Fcheck table table_name;
$ C; G- s) l* Frepair table table_name;
3 J5 F- t+ Y* I8 s( OShow index from table_name;检查索引的基数性
% a  K8 u7 U. u/ l5 [  @" l0 `1 y; F  @+ a) D$ G5 A* N
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
) R5 N8 e3 G) k( z! U* n" d5 G7 {5 h( |; D$ e( j" E) @9 E

9 @# X1 q0 e& y( x- j
1 d5 I2 j( q2 \7 q9 u7 r; g, |( MB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
2 ^8 R$ {& w0 i$ G' T4 m1 U) @2 L! K, ]% @8 M
表数据也能变成碎片化。两种类型:$ @; ?; K  u1 ^

- f" m; p2 R- {% l1,行碎片
* f* h: ]( Y9 Z( ^( J2 Y7 @
7 F3 E( A$ t' v当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
6 ~# @" @$ l; R" b( X( X4 J$ y
% Y0 V7 ~: C7 A; t+ [( L
8 o! j# r3 Z8 B- w+ `
+ b# H' h& ^# Y! L( |: y" I2,内部行碎片. ]: D% n) }- `- w* v5 g. p
7 Z8 u: ~6 N) O3 Q
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
- {0 O3 r/ m) O: p3 ^# ^  U0 b( f( W: B0 Z9 G" E2 y1 H. \
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
) A: E- |# B% i7 `8 h  _6 |% o$ x) p8 R( Z* ?; q
$ E, `# ~$ `2 [  r1 O7 @

, K' J6 {& Z2 E3 r% ?/ c为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。9 N, J- A- j. D  Y) o/ @

* g3 P5 W& _# q( f
( ^- q6 l; R( I' L( L
; x$ ?" \0 N) KALTER TABLE <table> ENGINE=<engine>
/ U; S" u" S9 T2 i) a
; x7 f9 [, S& c. T8 J  e7 T( r/ s# y0 }2 z3 [( T5 A5 u

* y( d6 ^! h/ J6 o加速ALTER TABLE
: e$ n9 P: P9 R. X% f6 o9 v4 v# ?$ z7 T+ F1 Q. j

# J9 s4 X2 W. @# w: L3 v; o6 Z1 }, b* U) N  ~* \+ X  x
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需! k* n4 V8 N& r# e& T+ \4 b
/ p4 z! R+ Y0 ^
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,& P& J! I- `  [; S, O" b* a! W7 d
- r: Q2 S. b" q
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。, M7 m% y( H5 o, ^6 F1 X
0 T5 e. J8 f2 y& k! l* U  V1 I
传统:
- U, ^$ u; @- q, r+ m" i$ E
- Z+ B# Q# e5 n" \4 ?4 P+ eALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;6 q. d5 I; d4 q7 _
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更  Y" W" [& g, E  k- j
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
! ~5 R9 V% p* B, y+ W4 G5 n" `. {7 k8 F9 S3 [) B
变化:) L7 m" x' v3 O& K* A# R4 X
  d* q* m! O' E4 T
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
: l3 @! K4 O2 E4 O这个命令更改了.frm文件并且没有改动表。它非常快。
4 X- Z5 ^! w- L. g# z2 T, Z还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-11-13 15:03 , Processed in 0.036924 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表