召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3177|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能% T% Z5 X' c" Q. y3 P! `
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成* N; p+ h! D( c5 t- a0 D
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
8 W! P8 N- R3 @8 }1 H0 I在InnoDB中,只有事务提交后才会解锁  O4 l8 @/ x& x! `1 V

& s/ w6 X. i* r索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
# C  g& [) Y. l% `能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
$ {7 e9 K) b  N, _# Z+ Y# U; o
" c4 S5 h3 D7 ~# f( i) iB-TREE( I& A& C- m( i; s% G$ p( q5 y( \
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
) C/ v+ q" y5 S2 P, N使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
$ m) n6 B$ A  H7 v& s$ r

  1. $ W, S  D. T- T7 S7 ^8 N
  2. CREATE TABLE People(+ `+ Q0 X/ o, U2 G5 O
  3. last_name varchar(50)   not  null0 U1 A& ^) @# R, g: F3 t7 z# Q
  4.           first_name  varchar(50)     not   null- e1 Z) F: q' W3 {6 f
  5.           dob  date      not    null
    ; l4 \. E) }1 h
  6.       gende       enum('m','f')    not    null& U% O+ u, c) ?$ `6 o% ]- s! X
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
* b: k5 t; A! d; H3 y5 D; v全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。/ I8 s; s" C; s5 s! ]
的人。
& K" D5 A( n! _8 I& @匹配最左前缀
' `, }" u( |% \* E( O, W7 oB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
# i$ }- y, b) O) }4 }匹配列前缀
$ h+ e& Z2 K$ p/ k8 E+ V可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。7 U8 i* y4 @4 Q. S
匹配范围值0 o5 O3 l/ J4 o
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.+ g& q5 Z6 h/ T9 ?+ M$ w
精确匹配一部分并且匹配某个范围中的另一部分
4 ^* S3 T3 a& k  c0 a3 d+ S$ v这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
( G( e( M7 H* U! o7 k列并且对first name列进行了范囤查询。* {8 g# l9 E4 B! L5 ?" ?' n
name
$ Z) o/ k. y6 j. U只访问索引的查询
' v% `( j6 x& ~2 I6 [7 X: ^B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
0 X; ]: r$ {0 J9 s& B! l0 A9 V
0 K4 x$ w3 f1 [$ R' k由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
# D5 b& z4 D5 I* F" l9 q' ]7 |- u如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
; k& t, M& {& y+ Z! p+ _找方式也可以同等地应用于ORDER BY。# P& U# ^2 E& [! ?/ n8 e
$ y' v# Y# ~! ?' v3 s6 {9 q
下面是B-Tree索引的一些局限:2 a- i( i" t8 e
) y7 p: t8 ?1 G
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
! s& B0 E5 M0 I/ X也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
' t% {( r3 B9 T+ R- g; o/ C氏以特定字符结尾的人。
1 N4 k8 r/ Q! T# [" z. R& t6 k. G/ ^7 O" c0 M9 t% k
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
& H- E8 }9 s/ n4 W' S7 D) X义first_name列的值,MySQL就只能使用索引的第一列。
+ {9 `: m% C' d8 |
. g, R& d( W) A3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
# h7 Y; }5 o( z. z! Q范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
; J( c* b; ~* g. x2 N0 I) c; G不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
! D8 x  r4 S& o1 e8 p# V, L
. x) L+ t/ L* q! q% ]) e) v哈希索引,空间索引和全文索引等,暂时没有设计. t9 n% ?! l9 l( V  j( r/ x( M! z" {
7 o( Z8 ~/ n- P% `3 g* l# c1 D
高性能索引策略
$ e/ p( R  \5 }: z; _  L3 T" _8 t$ L8 q/ I6 R" V
1,隔离列,意思就是不要对查询条件中列进行计算等操作  T; o4 i# z( u! X3 |  v
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
  w. ?& ~9 P1 q. qSelect count(distinct 列) /count(*) from table;6 ~7 r* O. A/ v: I+ D
看看这个值时多少,如0.0312
% q7 n7 J( E, g7 O- V- v3 Q那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
. C# u0 f* w3 `1 z,这对于大表很有用。" S4 J* }( ?4 D% J/ X; G( H
Select  count(distinct left(列,3)) /count(*)  as  sel1,
, H- J+ }! y6 T, I" O' J/ K count(distinct left(列,4)) /count(*)  as  sel1  ,
$ T/ F; _* W! E/ k: \, I3 B/ B; U count(distinct left(列,5)) /count(*)  as  sel1,
( v' Q: z6 j  k5 S( v5 \ count(distinct left(列,6)) /count(*)  as  sel1,
2 U& S" a0 O; {) g& r  ~, U count(distinct left(列,7)) /count(*)  as  sel1   from table;
$ U9 @: g0 `  I- u1 h  B' G( X找到接近0.0312即可。
% d. R' r/ B" a& A* }. }
: s& A9 N; e. X- G0 ]Alter table table_name add key (列(7))" V5 U+ ^* o7 ~: p8 A' q% y
3,覆盖索引5 `* X) v% T1 |  I  a7 p! R$ i
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
: J* h, n. u1 {explain时,extra中的会显示using index  A; O. z0 k) N# x* U
这里一个重要的原则是% ?& w) Q5 G( ^9 T- M
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列% F" ]" ]8 F% F- ?* b4 X2 H9 m0 l
如select id from table_name;, P' @1 X. Q/ ^: y# C

( q% h; Y: V8 e/ M8 Q8 T; R1 S' Y7 L很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
* i+ K. o2 Q# K) v& B7 F一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。+ l  U7 l# a% V6 J

: I% m& ~% n. h2 K6 l2 p
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    : m' W2 b' e6 ]9 F0 @
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
, E" J* P& M6 u2 G' z1,
5 @2 {2 x$ \  \% h没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
0 O& g) Z. z$ i( _$ r2,6 _2 r) y; ]0 X1 |
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。- h# R0 Y& r  ~" r) G3 D
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:! ~$ ]) d# L2 N  v% L
! ^$ u0 t$ g7 K( T% a! M& U
4,为排序使用索引扫描9 X0 J$ `$ g; g: S/ ~1 \; l$ v
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。0 L" g  t2 Y* Z. t& B# C
explain输出type为index,表示mysql会扫描索引0 G" J, b, A3 W0 O4 [3 K3 k: @4 u

$ K/ q' m3 t' O1 C# ^; h9 |扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
6 m/ i' q0 x. }+ Z, \3 s
' p/ R2 U7 S5 _: N- RMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
4 H% X1 Q% s5 i' Z: g( Q
1 U1 u0 }; B$ I) I- `按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
1 E& U# s7 d$ v0 R
! |! Q: {+ l# k' M6 cORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
; o7 t2 P0 d5 }/ B& u
6 \) x* h" C/ v' `3 ?3 v使用join可能情况会有不同
( K5 x$ \( `+ M- y7 l& h& k! o5 G4 a9 t4 R/ _  ]
5,压缩索引(myisam)
% T( x  ^, C" l. E  s6,多余和重复索引(应该避免)2 ]- q$ X) [, p+ a1 a2 C
! s: r2 E# V! q+ \: s; I6 q
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B), ?0 s$ T* _) q( B
上有索引,那么另外一个列(A)上的% D4 G1 ^9 w' }" ]/ U
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)2 z* L. A2 `% ?; e, o
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
" ]$ T! c/ Q% I+ G  N2 R6 _6 y/ {$ D9 S7 U8 M
要点:
! D& ]' w% ^0 c9 q8 N+ I在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.: o* P5 m% Y# z

8 T+ X4 M0 \9 C4 ?( s& }0 w即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行* e' Y4 h" X$ P( |( A
- c* H  g; S, r  @( T: _1 j3 F- r

# q" s5 L+ Z! L6 \
9 _/ R7 ]: ~1 |( i# K1 J. b
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,$ O! x8 b) E4 B% q: O% J3 ^
: X1 y) S% |' J& q) B. D! D
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引0 k6 N( W3 M2 S# I) K$ I9 H2 D
6 {, l8 T; v' X
; ?7 R1 w2 @  R5 Y, p6 q4 Z5 M$ g
' p8 }2 H+ Y0 N
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
0 s! b! G# H; U2 y& }- L
& x2 g) b7 c2 l- ]引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
* ]4 l. F' M; J- j0 n( q- A9 V  i$ T& ?3 F" ]' \

1 k+ x, X: X0 u+ u) p  Q% C
2 x  j6 J! i/ l0 P! C一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
  Q5 a; x5 A) H& U9 g0 E0 N3 k- X, B$ @( o  Z* a, Q
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理) x6 a7 `. T5 x* v" b
8 `# t+ a; A4 B& z
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
7 p: T) h& ^7 s: W& _! I! T8 @* p! U+ \* i) A) m- o
1 y6 u+ }( R; x3 O8 L

. f/ ~) d# {4 y" F  P避免多个范围条件,只能对其中一个使用索引3 e7 }$ {! Z8 W( _, V4 `: H# z6 d2 a

; _! l$ x4 o$ n9 D  z! v7 z- W/ q: J6 y( t1 a" j0 f
7 N) G& S8 d7 i. e: h
索引和表维护
4 _$ [7 P9 _9 F4 P' }
* J/ x8 x0 i+ K5 I0 T* S& K表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.+ y4 q7 f+ x7 I/ K; e$ }# T
4 s2 k: B/ \7 ?& }9 t6 C" w
check table table_name;
8 |; O* C: b- x5 v' c& ]repair table table_name;) u# o( H7 E1 O/ H
Show index from table_name;检查索引的基数性8 k( ?, t+ t9 J# d# I7 b0 t

1 r2 ^6 B: }3 ~/ \: z- @2 Y! W主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量" e6 K5 G: R0 [) z7 p% h0 B
" e! H" G/ }- ]" o4 x: Q

* V  S! A2 |4 Y) d) O7 _; s: A* Y8 x: i# z
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
+ \, A6 j6 h4 ?6 J! G& v7 y; H6 l# l2 |0 b# a: s' \
表数据也能变成碎片化。两种类型:, Z; M1 W  }0 U# B& D1 ?- S
' C+ w! l0 u3 @+ Y% g
1,行碎片$ \# ?( r6 A1 \5 S$ q

7 ~/ D& U1 p+ [当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。3 R0 L2 i0 @/ ~

0 \2 L& n0 G) o& I' l3 I7 m2 `" }2 ?
" U( I, M/ x4 d$ {
2 R: i9 _# C: x5 ?6 }. E; k( }% g2,内部行碎片
' M8 K" G& f" p8 A% D2 L4 F8 h# o5 }
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和& G; a9 W* [  Y7 {# g; d, N8 W% g

- E4 p/ W! I, w4 R2 K3 ^聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。7 i* `) f0 Q6 M: F& @. V
5 p+ L8 o1 B# x* N9 W; i

# p& |- U4 p* Y4 Y3 H: v! p3 j" T$ N$ w
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。5 F& O# w# {- ?- H2 Q; w
! K+ g! }1 j' ~+ E! \: d. G
: o$ }+ ~) B) W( f; p# c8 t% h- E

  y; u" j% N4 _, N! _ALTER TABLE <table> ENGINE=<engine>
, P3 E9 o; R8 N% k5 N" _0 u/ W/ _) c. B* H* Z6 f' T

, `8 ?3 A$ j4 {) l5 {* w6 \  Q3 M5 |: h2 R: N
加速ALTER TABLE
% d; \2 d1 u$ ^6 h: a/ I1 b3 A& i9 F% x2 B+ F" z" l
, @$ Q/ m* X' D$ d
, g* ?. z8 p! m7 j
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
5 o( c5 z' x- b8 L3 W& k
- j8 G# x) n& H9 n要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,0 K3 h- d. ^& {. O+ k

* i6 Y7 T: m9 d  [( {  N1 y而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。. p, A+ T& D) G+ u

8 r* V9 N: D/ |$ f( W5 O传统:; P1 K+ i4 r5 `7 g

) s8 o) m0 L% l/ v8 m" A# nALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;% k& c& Z; X' f% w# m4 H. N4 [( h. G/ J
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
4 S. h$ _, \* Q% `  c2 L改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
3 ]: W$ u" I; j1 M4 C& y7 ?5 \8 G& N2 I0 m$ I* [* {& o+ r
变化:( p# e/ H- r& F* Y. y
) [' r- n% w' N4 O- o
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
1 k' A, L# h  Q/ Y; b0 Q# M, S这个命令更改了.frm文件并且没有改动表。它非常快。
/ m" D6 i7 Z) c  z) d7 ^( M还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-8-13 16:08 , Processed in 0.037712 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表