召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2907|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能3 P. W3 n) x- N* h* W  P# X
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
8 D4 B3 ~3 g5 w, ^一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列1 O7 }% `3 E0 D8 ^1 [5 q" u8 T
在InnoDB中,只有事务提交后才会解锁
8 a5 C0 w* W: \7 W9 p; [# [/ B/ U: J; Z, i- t7 F2 w9 @
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只, |+ _! l, S, A* a
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。4 @, u6 G  h# B1 w) [$ H7 q( \4 X

8 t* B$ |; r8 n, G  ~B-TREE8 ?3 B6 [6 W' q) Z* O8 v
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找# g: M; R+ u4 y0 j4 x
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。: T% R: ^0 O6 B: G3 U

  1. ( Q; }* J0 Y7 Q/ ?; y
  2. CREATE TABLE People(
    . X* B9 D5 p9 F. R: m/ ]1 a
  3. last_name varchar(50)   not  null
    * N- b1 A- U: H. p+ `
  4.           first_name  varchar(50)     not   null6 t7 n: r" B# Q- }1 n+ T9 K# f
  5.           dob  date      not    null
    8 e- g# D$ G" ^0 R+ v! {
  6.       gende       enum('m','f')    not    null# p# M/ f; T0 [
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
1 {! b4 t  l  o' [2 B% B2 o0 `全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。/ l* k" ~+ S, \! L: x' r
的人。1 N. f; P0 Y7 z7 q
匹配最左前缀
; N( [& _& U  W/ X6 `# SB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
+ r5 E  J( K: g6 C, E' D. h) q匹配列前缀6 X5 q. f% @* p+ S/ ]# Z' A
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。8 {5 N) E8 a5 u
匹配范围值6 N' A) u( b0 {) m! E5 v
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
! Q- i6 U7 J% |, @8 x精确匹配一部分并且匹配某个范围中的另一部分) F; P2 [3 k' ?+ S. C& s5 C0 ~
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
) E/ i; H! Q$ w$ n6 H( B列并且对first name列进行了范囤查询。. c. {9 O5 Y8 V
name0 x' C: t8 J/ Z" W; ?
只访问索引的查询% ~) O% ^- d5 g2 P/ W4 L
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
6 g( Q8 e1 j- x! A5 ]  D, I7 C
3 V3 r+ i) w4 @/ v由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
& g0 Y, w! W) h- ~( r- B- F9 P如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查7 x) j3 u4 d$ i0 `* H& h
找方式也可以同等地应用于ORDER BY。) M& y2 P- [5 }  s

% D' y  G% ~0 u$ v/ K2 K下面是B-Tree索引的一些局限:
/ ]9 Z& A" q5 f# c' O1 a0 k2 u, D' \3 Y# _3 ^4 d
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,, ?8 K' v" \# n  U7 W
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓  m3 L6 ^0 G6 K' V
氏以特定字符结尾的人。& v  t* s# Z3 t& @7 E  D$ B0 F

6 j  @0 P; r/ Z2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
- Q- }, ]1 i! c4 k; t# f9 ~义first_name列的值,MySQL就只能使用索引的第一列。
+ h( k5 E+ p5 _; P( j& r2 @+ l) ?: t3 V% ^
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
1 y- Y/ B9 W( s范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而$ W  I5 V+ W$ o1 t0 h
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。; ?. K# v4 N) f+ m

, f! f# S8 b8 F: \( z" s; K哈希索引,空间索引和全文索引等,暂时没有设计
$ X8 C+ u" X4 ^- h5 \$ C+ m4 B( u
高性能索引策略3 p# q7 Q8 j- k. X" Q

( ?9 B! A. G  f: z0 i  Y1 ?1,隔离列,意思就是不要对查询条件中列进行计算等操作
4 n8 S; ~' K, q2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
$ n; @6 ?- K% M% G3 j+ WSelect count(distinct 列) /count(*) from table;
. N) r& S; n. t( h1 u看看这个值时多少,如0.0312
  {* f( X& o+ C  U" M. R那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算/ m" N4 E3 q$ Q2 y8 p2 u
,这对于大表很有用。$ H$ f# U- A; C& c+ K
Select  count(distinct left(列,3)) /count(*)  as  sel1,
3 z7 J) F9 s- @+ B8 k" o2 Z1 ]' O, T count(distinct left(列,4)) /count(*)  as  sel1  ,
, o! u# g5 O- |% |; z count(distinct left(列,5)) /count(*)  as  sel1,
2 ?1 a0 j* }1 p% A8 o9 r2 z count(distinct left(列,6)) /count(*)  as  sel1,
( [1 ]# D, v4 Z7 f  q. F7 e4 I# V count(distinct left(列,7)) /count(*)  as  sel1   from table;
6 _" w+ w% x; @找到接近0.0312即可。/ H5 T3 I$ \" q* ^4 W$ X
0 ^, G1 y' v  ~- R# ^6 f" P  u
Alter table table_name add key (列(7))
3 U0 u; P% m0 I- ]3,覆盖索引* V1 N6 ~" X. V2 ?. E  x
包含或者覆盖所有满足查询的数据索引叫做覆盖索引  B( V6 F) j& D
explain时,extra中的会显示using index& T6 X+ F6 A# @# B' w: B
这里一个重要的原则是. E# J* S5 n' M! z
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
! {) ^% D) O  j' k% p( m( s如select id from table_name;
8 v/ _  L3 I: ], w$ G3 Z' U* L) g, T& l6 `2 W
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不/ G$ K3 a% v' Y3 Z# K$ y! o- r
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。' Z/ _, M' I, d$ R0 a( x) D# r- q* `

7 ?& V+ |8 w, G  C; \1 x
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    * r, M9 t+ p+ a
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:; K7 k& O  J6 w; V' Q
1,
5 @% y8 q' N+ X' y, r& s4 A没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。1 U0 N7 }. S- J8 O! P) t; e
2,! W3 A: J4 V& e0 y5 v. {
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。/ r" }9 F6 {2 G5 V+ \" |' X
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:' M% E" @% E% x8 ~  D

$ D( ~$ I# x. @" B$ i* q; t4,为排序使用索引扫描! l1 |& F6 H' c( {
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。/ k' v9 Q: {) x
explain输出type为index,表示mysql会扫描索引
1 K$ M7 ^6 z' r7 K, A( F' V- S
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.7 c! z7 t" T; o" I* I2 y9 q' U, S

- _8 k8 D+ T' F3 s8 j0 j1 S- EMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。4 o) Z0 N4 M$ F- V# _4 I
* Q0 F. |" K* G, `% n
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。0 u5 D7 N1 ^6 f4 x2 u9 D4 a% v1 z$ s
' |! @$ K$ M, P3 w
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
5 h  ]& Y4 p: y$ o# ], `% w! A3 H  x% ^' L- Q. y
使用join可能情况会有不同
, N8 }3 M# M3 Z5 ^/ _$ r& F) b' T3 {; L+ E0 F
5,压缩索引(myisam)
% B* d! r( C7 u  H6,多余和重复索引(应该避免)5 D6 }( l4 H: [5 H7 [: r7 f

1 }' {1 ]8 b) M  F; K) J6 d, L多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
; [" ]6 O" K. ^: T6 L* v上有索引,那么另外一个列(A)上的$ ?+ \# R. G2 E
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)* ^5 Q! G. e7 w( a8 n! f/ |1 n# R
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。, ?% B8 L" f4 D3 W

; q6 {( y" k0 X2 l. P) n3 z要点:( x* R/ f( c  E+ @9 P1 ~% I
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.. {2 {! K, h! G3 q

1 z& B$ i7 y3 n2 I0 [即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
8 B1 P+ A9 {% ], V% h8 V2 l  j6 j+ N  m/ R( t, I- N- G8 D' e, J
9 b+ S, P# W0 ]0 Y. |

+ }1 x$ G. g3 l; \% Y/ T4 P8 C! e
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,$ ^' J- X. Y5 z! P* f; P2 ~
% \0 R" D- {0 P
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
& Y# Z7 k3 E% g. u0 c+ Y& F. B
. G" U1 x' ]0 B1 ?, c+ H) x& }5 y' [. l+ T6 T% w1 _# P1 f3 o
& n: v" X% V) f0 {6 Z
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索5 p1 O9 c/ {0 e! g# Q; L# c

' U: r3 g' P4 B3 ^! t引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
- V- a* l" R: P2 c/ p6 R5 H( s4 L2 R

( ^! |6 i3 ~! x# \, V6 T: }
8 G+ K5 |. c+ T/ A- ^! l; w* K( H一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
" h7 t, j5 @# p, s! E2 {* u3 d6 L; \# Q7 t, d, a
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
: c8 I9 x- }8 G, f- I
3 Q: v+ Z% ^2 t+ W& @* |6 Y# u* E$ S这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式: g& w# m1 W' \# d/ M# {5 k- p5 N0 [) ?

% V- P: o0 b+ B9 ~! K3 l4 V$ W3 d6 l- ]- R7 G; D' h) z( A

5 k- a. G7 @3 M) ^9 w避免多个范围条件,只能对其中一个使用索引8 G% V% `: a' C
. J8 a: d. o+ {% k- n

" T3 S, t2 T( L, p; H+ t7 G; P2 W% J
索引和表维护
; f4 X( s9 _  P  m" z9 O6 j: U' P, T+ w. ?' E2 F8 ]9 m% s, h
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
- N6 ?- h3 O6 f. l; M' j' X4 f
8 r" Z$ I& i2 b8 F* }0 zcheck table table_name;3 c/ e+ x8 P9 F+ F5 J; c) I
repair table table_name;- G+ @6 |, _: s% c4 p$ `7 P
Show index from table_name;检查索引的基数性- |; B/ A' s) t2 Z" L

* h! f' Q$ H: l+ C主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量  {& Y+ Y- ?7 }% f

2 P6 B' ^) B6 }; R4 P. n# b; w) K, q2 h# h5 x8 y! `

( y3 w/ \+ Y; p. MB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
2 e, ]; R4 F$ U
5 O0 P; H% l  I* R- J表数据也能变成碎片化。两种类型:. \  G3 V  _9 Y! |

# ~7 n1 M' \# d# Z7 V1,行碎片
7 b0 E1 ]  a) t2 O" ?2 p4 \5 X& c" X! x# M2 U
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
# J8 E; @/ Y  J6 c3 J; z: {
$ j/ i" j# ?( M7 L! e7 A3 |1 `
/ k& k1 a+ P3 R4 E) _) `
* T+ f4 i3 w/ g2,内部行碎片
" X/ J1 A6 ]! s8 O" Q% L% C$ z1 b. j$ Z, @0 p; T" }' x& D' m$ |# @
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
: E& }8 V' H8 Z+ Z2 B4 d* z( {; {9 G) e* i' w! f" h0 V' u& @
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
) `/ l( D2 i( I5 ^2 r: {1 l6 X: {+ u) G4 b

9 Q+ J1 a8 J8 K+ A5 G2 U! Z& s
$ p2 j) |' s" i) K! U为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
3 @1 g3 A+ L, K0 v3 n3 k" r3 D2 d6 X2 y
4 P" e9 ^/ I: S* h8 A' @3 A
( v5 p+ t, T. p7 U: h3 Y7 a
ALTER TABLE <table> ENGINE=<engine>
: ]; b; ~% a5 C4 r4 a
% H" j( I+ A7 s; D. X% _8 h" \- v$ _, {9 x
1 i: N& e7 r/ e+ h& p
加速ALTER TABLE1 F+ f) ?5 I, Y* ~4 e
! k" s) E% d( C$ H) v

0 L' [+ r( L9 q3 {' o0 z. a4 f% w9 ~0 G4 l- s8 q$ U' h6 ]
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
. P/ F1 I" K: b# Y0 w0 g+ W8 Z7 ^$ d* u' e' U
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
- c+ [( ]- z- e9 l& u2 [. U* u" s+ |5 o, R; R2 ^
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。2 F" j0 j+ C, r
+ Q4 C; K2 D! O6 c  |  j' U
传统:
& p" j2 `! @" S+ L0 g" T! j' G( f. P. |) R! R* V# z0 }
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
. p, R- S. S9 A- ^理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更: s- s) m& D2 @
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。; w7 @$ W! \5 B- z& M
) {0 H1 f( t* B  g: B% E
变化:
8 i$ b% t" h& i) U4 C3 r$ [
, t# t3 v/ s" w/ p4 J9 u& ~ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
/ ]' r6 Q+ L5 d! O8 E这个命令更改了.frm文件并且没有改动表。它非常快。6 ]# I' ^% C, ?, \( P% B
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-3-28 20:39 , Processed in 0.035641 second(s), 26 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表