召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3298|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
+ o/ z- [& v" \! B; V( t" Q9 e有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成- j/ Y. I* V: W# p
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列: ~, K6 m8 ^' F) e6 Z  W( P
在InnoDB中,只有事务提交后才会解锁
8 B1 i6 w. o/ s2 f$ Y: ^8 M0 }5 i  K7 D* B8 H+ E1 s
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
) \) |# w) b; C2 s5 ^能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。. ?  W# c0 p* S  f3 Z: o

0 l/ V+ j4 A: ?, [. EB-TREE
( ~! x  \. p2 y% K& |, u  n9 Y- ]能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
4 O0 d8 _" f/ N( d1 C- `使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
9 n/ R8 v4 s' Z; c9 c

  1. # Z- g5 }* z: A* u
  2. CREATE TABLE People(
    7 v0 _4 U# q5 O- e) \  y: K
  3. last_name varchar(50)   not  null! t+ w. P5 l% D# h" T$ q
  4.           first_name  varchar(50)     not   null! l6 k% S9 A9 U" Y7 [2 J/ q( `
  5.           dob  date      not    null
      K7 G  r! h/ g' Q9 R: `+ H
  6.       gende       enum('m','f')    not    null8 x9 u  Q6 f' r/ C8 o% a+ n+ l2 _
  7.         key(last_name,first_name,dob)
复制代码
匹配全名8 a1 H$ R4 g+ i- ~: ^  S
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。- h9 [$ I8 V* ~$ w* t( O0 L
的人。: E* q6 |3 I; F# H. r
匹配最左前缀  e+ z$ }) |' }: o+ f: w' b
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
! n$ k5 B0 Z# g( P* f  l匹配列前缀
. D) T) L/ h+ L9 O: m6 u8 n5 G可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。* E7 ~# V3 H7 n9 d) Y
匹配范围值2 i3 |% x! W6 b; R4 e# W
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.% K9 F# o' R! C- r% i7 K3 j
精确匹配一部分并且匹配某个范围中的另一部分
; e& o. _, |( [7 l0 r5 g* \% f4 ?这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last* d+ y4 H) W, g' l7 A) S
列并且对first name列进行了范囤查询。
: X# Q2 B5 I2 e! V6 D' E7 z+ Dname; v8 R9 H" J  S
只访问索引的查询
( R6 l5 ?6 k$ \! uB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
7 t! Y) f; G* G! r# f& }: H4 j6 S' P% e; X4 ?# C8 a4 ?. M9 w1 o
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
" A, z) J- b$ V; B7 @& [如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查! q6 C1 V0 I0 \( @1 Z$ e
找方式也可以同等地应用于ORDER BY。
% |: q+ W" V) `. @4 o1 Z* y1 e# G. p( d' u1 G, Q! D+ `
下面是B-Tree索引的一些局限:# {: U. o3 k2 ^0 e, h+ L
: S+ s) }1 |2 H' j; p
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
; |; H  o: F9 ?! |0 W0 |! j也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
; D" R' Y/ f& C- u; k. q! ]氏以特定字符结尾的人。
/ k( s. U: u# h+ k+ k/ H/ ~' Q4 g  h. R0 R9 C1 a, P, f
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定3 z4 f4 Y  K5 F* _" g
义first_name列的值,MySQL就只能使用索引的第一列。
$ c# L- _) @, `( s2 c! W- X9 k( M# o' \/ K% e" J$ a
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
( z; {6 ?: [: Z& A, u: `% ~范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
1 t9 e  ]' K4 o不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
6 |7 r, V* I. k/ _/ `' Z: `" a; f- K8 M  J# ]
哈希索引,空间索引和全文索引等,暂时没有设计% e. @% n4 U. r4 L( D6 U" K

% _% U  l4 H- o  b* x1 H6 B) t" [高性能索引策略
, w% W+ t' f2 h
. U6 R* r# h+ Z: R) l1 \1,隔离列,意思就是不要对查询条件中列进行计算等操作
) t7 u; S/ ]' y/ f. i2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引/ b% P3 u! p5 P% D4 p2 F6 ^1 T# K
Select count(distinct 列) /count(*) from table;
! J+ k. y! j1 _看看这个值时多少,如0.0312: O3 ]7 d2 z" E* M. }! `3 A
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
' u0 h% n7 O* R* B,这对于大表很有用。
" o- n0 |9 Y2 T/ ^Select  count(distinct left(列,3)) /count(*)  as  sel1,
2 S4 F- s0 J" K  h count(distinct left(列,4)) /count(*)  as  sel1  ,2 t5 g, L" B; u/ Y6 O: p( l6 H
count(distinct left(列,5)) /count(*)  as  sel1,
+ J, D4 e5 u# z+ S2 e, X3 _7 E count(distinct left(列,6)) /count(*)  as  sel1,0 R! x  x2 j- p
count(distinct left(列,7)) /count(*)  as  sel1   from table;" a7 Y. V* C2 R* L: s( h1 s4 V
找到接近0.0312即可。- a! s7 \" _. {! q

4 N% k9 e9 N; x8 ]2 V* rAlter table table_name add key (列(7))
0 J/ m8 D" B. _7 U- ]3,覆盖索引9 ~* W) u2 ~$ ]9 @
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
0 C! H- L4 h1 m/ n# fexplain时,extra中的会显示using index; G7 c: Z/ I0 M# {
这里一个重要的原则是
: Y; ~  m6 e2 M+ pselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列; U; i4 p. L- T5 a+ V# c1 E, l
如select id from table_name;
" }( G6 B5 y+ T  I. l% \1 ]6 D& }1 R/ @- G
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
% c) ^8 d) ]: N. n一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
/ X) K6 h- |- |8 g6 S, h: M  u2 A) C$ [
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';6 O  J% M) s" E+ L! A5 w  r
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:* N/ r4 @+ v; m. i( Y5 i
1,) _6 i4 v! M1 A+ e4 S
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。% Y5 M; q" U( I# v8 {
2,
0 V* M- h9 T, q* WMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
+ W9 Y( @5 N; V2 d: M, X8 k* P有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:0 D7 c3 n. v, m
% I) M; O' W( D  m9 ?
4,为排序使用索引扫描: f- ]4 _" k7 b8 w3 F4 O9 \! `
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。* K! o! m. z& _9 F' U
explain输出type为index,表示mysql会扫描索引* B# f6 _0 G  x( p. K
$ T( d- I2 B( v; Z$ i& h; T; b
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.$ w  d: f( E" Y, |, M

0 F8 d+ o! A6 F: uMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。, i9 a$ L9 @5 W$ |( U$ F

6 y+ @# v) b1 k$ u4 n( G( d* A/ H! h按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。. u; Y- G0 X8 f( b: L0 F

# w+ n9 {6 q3 C3 mORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。1 T+ q! g( v  z1 B3 A! z1 h
  S2 L3 K. l6 X, Z* J
使用join可能情况会有不同
6 g' s5 x8 _0 S  F5 v% \
2 ?' s: w3 I( U8 I/ U5,压缩索引(myisam)5 P+ E2 E* C" `$ R" H3 o6 i1 b) b
6,多余和重复索引(应该避免)
# W2 n) l4 K1 b* [* l
& W+ c8 }! l9 O' G) I/ r多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
$ }' m' h$ R2 O# i上有索引,那么另外一个列(A)上的5 E: a: r1 t" O. L1 Z3 [, p
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
; }5 D1 ^7 s) t- |+ O# y然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
/ ]4 r5 l' ?. R% Y) z; b+ m6 d3 a. l, l1 v- L# d
要点:
, O- x5 ?  H3 K9 f" Q在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
+ g3 {& {, x( y2 p  A/ y" o# @4 }6 x
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
% `( Q. p- {+ l
, G. S7 H' m7 q. w; u8 ?2 u- \6 [( ^& a8 c" w8 [

, q7 U, H2 |# n8 d
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,1 g1 T  A$ z1 }, J/ Q1 N$ e0 D' u
; y* N1 g1 e0 ?9 N# ?
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引8 d" q2 s9 v0 p' A; _0 p" i% T3 Q
# _, ~1 Y, r; V% m0 b- n+ ~$ i

& p; |. z0 G/ {8 J
/ a" Q( _4 h, d一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
/ F: o( X. k. i) ]: v; @9 D2 j6 _4 b+ ?9 i: Q2 Y; W% E4 \
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
+ B& ]  q7 M# j- n  Q2 t9 [0 @
  P' l) \1 V, i& I; l5 `1 E7 x, x3 W% i9 M, _2 }9 C1 G. D, R

2 p4 w* B0 ]9 e* S一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
6 H0 _: c/ b/ I+ w7 t
0 l/ M5 b: R1 d; U* g例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理4 j) \$ P& `8 ]; E( O" H! p' f

1 B4 n6 r$ V; S) Z这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
* j' R) N+ H% C9 j& V5 {0 v8 F( @4 n% j7 ]& v7 \& h; [0 J5 Z8 T; `  {

* X+ r5 a' K2 X0 F2 c" [8 F& e9 C" ^. X! K# L
避免多个范围条件,只能对其中一个使用索引
2 k: A/ y. t- U$ u) D( Z# Z5 {
/ U% ~2 ]  l" n/ q. Q+ S4 v1 ^
; v; X4 i0 ?1 e; {3 H3 J2 I5 ?$ d6 H' X7 {2 m) x
索引和表维护
; t0 E# ]- E8 o
. d' r0 X) S, L3 |1 W表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
. h  O" d4 M; @8 R  I$ z
7 z! B9 K  `$ j+ m7 T9 c1 f8 v/ P- mcheck table table_name;& q* V3 c* v. W. y& s& T* j
repair table table_name;
" b0 |# L' h! M& Z) W" Z* U  G/ AShow index from table_name;检查索引的基数性
; M7 o; T: ^4 _4 M4 @: Y" C, s& i! j
8 ?" p# \) a/ X8 z# R: X1 @/ W主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
6 \" H) b  W) c$ f8 Q* g
$ J7 q6 m9 C! {2 g4 F4 W" y5 N' c
. R2 }% g8 I6 K  U' G9 m8 e- L2 J6 p$ ~. G9 b7 @. g
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。* P$ f$ B- a- \% T
- _. v, h$ a0 G/ C
表数据也能变成碎片化。两种类型:
2 H1 k, y) u, H, }% o. e: U1 W
! U6 G3 x( J( B; n' b; h: U1,行碎片* `2 L6 z. t3 E; V' J, t( C1 V
, M2 Y, n1 B& s# L2 }* D) r# Y% e
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。2 ^! O: z1 J' G8 I  ?

9 w2 E0 U; K( Z. \, H  [
) ?7 M7 `5 `( W+ K' q+ H# c
, ]  S* f9 W) ]2,内部行碎片, i/ f& j/ L+ Z, B( J& w3 L
5 O0 D! i9 I/ z& Y7 g7 [2 P4 M
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
  {1 U' `( `; X* \2 l
( N% w0 d1 j: U0 H$ A聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
4 J0 }% R: @/ i% I2 a0 Q4 Y( s1 \5 b
/ _8 G8 X$ J- E* \6 A7 l' L6 ^- n* Y" c. l  _; a
5 U+ K$ ?4 O# n; e
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
: O5 b3 `$ a: K9 x; Y) O( Y0 \7 M5 V
0 _; Y0 ?: Z1 m* J6 Y' ]- M5 T0 z3 M/ V3 v! U' Y* E# r

% P8 \. Y0 r. R3 e/ @% [0 C$ U$ ?+ ]ALTER TABLE <table> ENGINE=<engine>: }  L7 O" C! _% a  u$ Z" w0 k

0 V/ n7 u- L4 K5 T+ \" R; e: x5 @- T9 ^
+ {2 x8 r$ h* `3 N
加速ALTER TABLE
% F/ N$ n4 `# F; A7 r& c! c  n; n
. J) G4 x7 B: G# s
7 D: }8 G* I1 V5 ^" H. E; G9 z" M  J& }7 I9 a+ e) w
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需) s! |2 O& B5 j3 ]1 t! N4 `
: r4 w2 [5 E) e2 j" S& L! x$ C: D
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
9 [) d3 h# g; I6 {. g, j1 J- ^' y5 E/ W0 X7 }: t
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
9 L9 D& M0 o  {' p6 V! M& I6 K' y! y9 s) V9 k. b( A
传统:
- S, ^: }- k) L$ q0 F% `/ S" V) c6 Z8 ?# f1 `
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;3 `' ~6 F, G3 p$ F
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更! V! S, L  I3 `% g; h9 |
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。% x- F+ l- m4 t. H
% }& o. T& A" U
变化:  h- Q* j" o- J

) p7 a4 c% G9 d% BALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
/ g$ N8 A  D1 O& P0 {1 B' [) B1 g这个命令更改了.frm文件并且没有改动表。它非常快。
4 [+ M( _/ B; k! \3 N* `) d还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-9-22 04:03 , Processed in 0.050953 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表