召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3016|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能( R  N, n1 F9 s7 G4 M
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成4 c8 m# m& H6 F2 \* s
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
4 B4 t# r0 P  f( L/ @( r% |9 D在InnoDB中,只有事务提交后才会解锁
/ L; g# ?& D; U2 Z/ E/ y6 z5 h7 H- j1 V7 L( U  l
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只/ `& @' N. \6 y8 i: j( v9 z
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。. O& {3 E. ]! z! r+ s; p* B

3 O" M2 m1 ?* s: RB-TREE" j  S! }  Q- m% B+ u
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
2 q* Q: Q& F* v) _" e5 |; g使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
0 x9 o( _( W  l+ z7 B# |! l
  1. 1 A! m. u* B( e0 G) u% U; g
  2. CREATE TABLE People(
    5 O/ N( j$ m, E. j) f! L
  3. last_name varchar(50)   not  null
    + X2 W% S2 \1 D& n* Z% N  ]3 t
  4.           first_name  varchar(50)     not   null! }2 k1 {: c* G9 z2 m8 W
  5.           dob  date      not    null
    7 r- x8 _# T* L4 E' A( Q0 ^2 S
  6.       gende       enum('m','f')    not    null
    5 {: C  U# u+ F" I) }
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
! M0 g5 f5 M* p( _  a. h9 _全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。' m0 s  k, @5 J! F$ c8 ]$ H; V
的人。
; U: [. _3 v/ Z. \3 k" b匹配最左前缀! u: E9 ^) M5 `7 I
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。% R& L: U7 q; _; i8 J
匹配列前缀8 i8 j# M" N7 V5 P' i
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
; a3 |  o- \3 M0 B" s% o匹配范围值
5 T. `$ @1 T' v7 J5 L4 `$ F这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.6 c/ B# }- g' g% ~$ O+ F
精确匹配一部分并且匹配某个范围中的另一部分
% p/ A# h. q$ c这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last* v1 P& y3 `/ r9 m5 {% I5 A
列并且对first name列进行了范囤查询。
( [" U' Q; Q4 `0 f8 f3 Ename3 l2 D3 C. _: V. [8 o7 _7 j' G* v- i
只访问索引的查询! q; g( l( n$ y( t1 f
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。1 C, g' e$ k1 k2 k  H1 w/ F7 _

  Y4 K' m5 \+ W/ r4 L由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
+ ^7 O/ r0 K" X. i. [& T; v/ K如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查; D- F: k& |) q: F
找方式也可以同等地应用于ORDER BY。( Z1 S9 O) e$ J3 H! d; `  ^
8 ^- S( c$ G' F+ V- \7 C9 x
下面是B-Tree索引的一些局限:
( z. g, E' b9 i7 w
0 b( m6 @, ?5 ]% m6 E. I6 o* ^1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
: u5 T  N! A0 w也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
; w3 K/ o1 x4 `9 F8 ^; B氏以特定字符结尾的人。3 G7 G# K  a' q) q# J7 q
. J+ t) v9 S$ j4 p; z) d5 {
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定  U0 @+ x2 L/ Z! j  F% I
义first_name列的值,MySQL就只能使用索引的第一列。8 ?5 y$ D# {8 i6 H
3 i0 P# B! m# u" D
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
% J7 w' `5 C+ l& o5 X# e3 a范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而0 h8 R, R, W/ G6 F/ Y
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
8 X& {, z# t! R& |. ~( _% U) f3 O5 Z) m. q5 e3 B; O
哈希索引,空间索引和全文索引等,暂时没有设计
8 i( \( n: ]+ @0 Y3 [$ J, L1 V3 Z
. f9 n- O: |, y1 U; t9 O3 M% |% z高性能索引策略$ d4 m+ |8 O/ o7 o. Q. g8 D7 Z

  x: [$ z3 l/ w1,隔离列,意思就是不要对查询条件中列进行计算等操作, n* q# s9 f" l3 b+ G1 h1 M: A1 O
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引- {) ]7 r3 z: D7 Z* _
Select count(distinct 列) /count(*) from table;8 L3 p/ t! Y: d# T# o( _, J
看看这个值时多少,如0.0312
% E  @+ K3 c" I( ~* N% ?5 A3 w) B那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
% _* u/ x" I% u, v* S,这对于大表很有用。
# t' \  F* m' O1 _6 f1 XSelect  count(distinct left(列,3)) /count(*)  as  sel1,
1 [  M+ j2 k+ \+ ^+ w4 P count(distinct left(列,4)) /count(*)  as  sel1  ,1 q- t4 u$ y1 K! S) e- f7 |
count(distinct left(列,5)) /count(*)  as  sel1,
/ X0 F, ], g8 i: j/ l4 Y4 K+ }: P( U count(distinct left(列,6)) /count(*)  as  sel1,- D8 F7 L% S: k7 \2 b; X
count(distinct left(列,7)) /count(*)  as  sel1   from table;
/ n; b) b' v; _- o' j$ z* s) P找到接近0.0312即可。
7 H5 V+ X9 v, N" _% F/ V& L- S
! k& g% d* ^6 v& F2 G5 _3 M) {; ~! |1 KAlter table table_name add key (列(7))
: o; e) T+ c' N2 J: u3,覆盖索引
& x- D1 C3 g' ?( a  {. c包含或者覆盖所有满足查询的数据索引叫做覆盖索引0 C! _4 H) e) E* }
explain时,extra中的会显示using index7 O6 E' P% o/ w3 i
这里一个重要的原则是5 [. a6 ?- S  N% |# b4 O# l( y
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
7 t! @- |2 N1 k) e9 [. ~2 r如select id from table_name;. h7 D$ k6 T6 W* `- Y5 g
9 x* _& X5 o, S: b0 H
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不- l8 z! w6 J0 O
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
+ {1 _9 ]+ l! {7 A: ~1 D/ a
+ r  I) K7 E+ g
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';2 ^0 p  n: H) t* Q# b* L# }  a
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
- f- ^! t4 b% {! }( \1,+ o* t% j) o8 z5 P$ c
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。' P1 U0 \- }" p" @" ?
2,! l* S. H# ?( {
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。* c$ c! Z2 a/ P" T
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:8 D9 g6 w: t) k: A

4 D- C. F. X5 }2 ~4,为排序使用索引扫描
+ [6 ^8 X9 V6 S* h6 E$ h% {/ ymysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
' m  E$ V8 S. `- [1 Yexplain输出type为index,表示mysql会扫描索引
) |, m. l7 \9 H; E  i
* H! F0 g4 x! ^6 x) t4 J/ y- j扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.- `) _% }+ j4 }8 z
+ b( s" B- e- d5 q2 Y
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
8 o1 `3 `% q; W4 _' \) q8 g+ Z* _5 Q% w
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
9 w/ D* {: S* d9 X/ a
9 X6 l* `2 x* e1 ~7 _ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。  @( Y/ ~# U% K& n) N  `8 i/ r  q
( e# X, U8 R5 V9 @. ^
使用join可能情况会有不同' n" @4 a) ^* K* Y2 H3 Z

; C+ X5 k4 o5 F* r. c6 ?# g5,压缩索引(myisam)
( W5 J/ G0 i6 w4 e6,多余和重复索引(应该避免)
/ g6 X  O1 D5 m0 n2 c/ o) p: i! L
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
5 ]) R1 L( y+ j8 s2 t上有索引,那么另外一个列(A)上的
& C7 z) {% f) b$ i6 e索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
8 ?: `. a: r# f$ M然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。- \+ _9 j$ Y' f
9 Z! I* @2 b  H- W1 P  w
要点:
  t6 F7 E/ s( A* \1 {- m( Z在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
6 j9 l# T4 L% m6 x: W' n0 U* N( Q& j% ~( ~, D
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行7 W/ M- G  p/ d4 o  Y
/ ~) a9 J1 G6 z4 C1 p) [

+ Y1 {% y9 a& M1 \& r
2 ]# v0 G& z: V$ ?+ b5 i" o
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,$ a: v0 Y. ~& _* @* x: o" g, P
9 T$ {: Q" z- b( l5 M% x
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
6 }, d' h. N6 ]' [4 [6 l! J6 U* q
8 f2 J* S1 n: w0 Y. F
% c/ S7 [4 L& j( d8 p
9 I" B) g( N* s1 M% u6 N一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索6 |& a5 F- I3 A4 m
" M( A! s6 B' e0 p! K/ S* i
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
- s1 o8 t7 E0 V1 M( o* ~* `
/ W" K" Z$ [) f  _6 \2 ?& k
3 T* D, \3 N" N' l' [+ J
( L" ]" M9 J% W  |* x一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。8 ~/ N9 V8 B5 t: t$ Z
4 ^% R. Y- B0 U, C" h5 h: @1 ]
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
  w/ Z1 y5 R! Y( U' b: ]9 n% s8 Z
/ y, H+ m8 ]8 B/ p这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式9 I7 Q  v* O/ s9 Q7 W
' s6 F/ h  A  F# w5 T/ \; _; ]
0 l1 Y% S  C" f4 P/ g" z

% J* l. y3 i* h避免多个范围条件,只能对其中一个使用索引
( |# |8 y9 m( _
2 A; U( I: @  G+ o" K7 B
# T3 v; ~( Q+ l; X3 l! i& }/ Y) _2 z1 O* X: r5 u8 V! |, m
索引和表维护) q# l, `% a- h+ o: R
& k7 B) R7 k% F) ^
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片./ J* _6 X8 `( k* D5 p* y1 b

6 E( ?' |2 w& l2 }; Zcheck table table_name;
. s# |& Q1 ^# J, j: K8 {2 l' t: Srepair table table_name;
8 Q/ z7 _) P2 x, y  ~! _/ ^Show index from table_name;检查索引的基数性
/ [: |* {  U  J8 q( y
1 z' s) G0 q6 p主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
" _* g6 E$ L; ^" `8 R4 D* w% A/ V3 Y# q5 l: w& F% ]+ p. j7 ~9 {
9 w  N. ~- h7 G9 v6 D1 ?* N
: G: r7 }1 E. a  p( P
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
- L" E1 C3 t4 F* h8 Y
0 |" D; ]$ P' z5 I表数据也能变成碎片化。两种类型:
$ c( g' p, h& W% q5 ]5 ~
# N" R# w8 C4 |7 p1,行碎片
& g' P3 [7 Q8 B; V
4 o. o. `9 Q+ v% g+ h; g6 a5 J+ a当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。/ u, f* K; @/ K% U! {  T; B
- J& ]) h% E  h) ~) K) b& w4 F

/ [+ }* u2 i5 a2 G5 C* y2 ^: U4 a+ ~! A; `/ n
2,内部行碎片
( y; m/ L# l6 A; p1 G3 a6 a0 [& ?# B$ s% [) a. N4 S$ ]
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和5 s7 A2 ~1 d+ j! `
& _& M- U4 c$ ?# W. _
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
' G9 ]: q; i( @- _" t4 ]  M
  }. @+ H4 e& f$ [5 i! o
$ |3 y, q4 ^& S) N% L- d& H1 w$ \( p4 @) Q, Q( d3 V$ \7 Q: d
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
, C2 b2 T0 t* F* z3 R2 D6 F
- }9 N* ^, H0 t  e+ A; r9 C/ _+ e) C3 i

! ^- p- c( v  Z- Y% z' A7 K' DALTER TABLE <table> ENGINE=<engine>" h% o, Q# Z4 e; w/ g
' B& {) I/ z1 h

7 i* u: W  c- V$ A& M: Z2 H: z# K& `7 m1 I0 y0 v
加速ALTER TABLE
$ g1 x& q0 d' x' K5 n7 f" \3 g" T
7 S3 ~; @* Q% |, I

% {* r4 Y+ L1 H8 V% `9 }. dMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
; d; M. U3 a  {+ O; A: A
. a7 t" F2 A1 E/ [$ z4 M* m要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
: W& \+ {& `; N' @0 d' r0 S  h" t' s. H7 v
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。) F8 p- n, T1 {! H+ [; ^2 Z
3 ?+ p+ g( I- n# R+ _
传统:, q* y" g4 R- V0 q& G

4 _. G0 w7 l) ]; d: c8 pALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;6 c4 j8 ^- I8 s# p
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
- D4 g. R$ ?% l, g% }8 c7 h改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
7 m: \+ h7 m6 w, X
$ q8 D, u2 {) W3 |变化:' q* z, L2 e2 c% o# k9 G# ?
  n; s* e8 S  w; ~2 J; Q+ u/ a
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;/ E9 U* S. y- Y9 w" n
这个命令更改了.frm文件并且没有改动表。它非常快。( i$ j% W6 |, R$ o; ~4 L' P9 y
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-5-23 17:26 , Processed in 0.043495 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表