召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3300|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能0 z) Z1 d; T0 C/ b+ `8 K. `
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
' F- x& P" a2 j$ ~' e# ~. a一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列; r% A7 ?, V  s& ~
在InnoDB中,只有事务提交后才会解锁% ]( m1 |* s: m* i
. |) p; K& M. H5 ~
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只! h' I1 M( P; i! a# f$ u, ?
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。8 \# y0 W; B! R" S
* E0 s& l5 K- v1 N* b; c( N
B-TREE2 ]  {+ T- j) _% V) V; u& I* K
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找! ?) D0 N. A1 G) N$ }
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。% p/ s7 O# P2 }  u3 T

  1. 8 ]! z' q* @4 L* C! Y" p( H
  2. CREATE TABLE People(
    6 \  W0 e) P: ?% D# f8 c8 A
  3. last_name varchar(50)   not  null* ~7 J- c$ b8 v% A( M
  4.           first_name  varchar(50)     not   null# y( J; X" M" w" i! [' C
  5.           dob  date      not    null2 J" B4 |" V; y! K4 b' [
  6.       gende       enum('m','f')    not    null/ }: ]( j. T+ p% F2 Q5 Z
  7.         key(last_name,first_name,dob)
复制代码
匹配全名) F$ Q/ D) O- D4 _+ t- w
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
- Q9 R: w8 o1 q. Y" P2 _9 Y' {5 ?的人。: a1 P" i: ?, \/ Y3 ^2 y
匹配最左前缀3 |5 q3 }7 J! E( G; ~6 g- ]! U% i" V
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
% Z7 x, f% Y$ ~0 y) }6 D9 `匹配列前缀  |. K; E, r# u" v( |/ `
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
  ~' S! N# k2 c- R( G1 V匹配范围值  x$ f' S4 i1 @9 J6 \" s
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.: z' O% Q) t( v2 l
精确匹配一部分并且匹配某个范围中的另一部分$ S: G7 \+ Y% w( u/ [& a! ?' N. q
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
7 G& a( H4 K0 y9 ^  {列并且对first name列进行了范囤查询。
; K" _# t8 A2 x. V- N, w6 Mname
% f* M) F% I5 s  t0 t& T; X  i' u只访问索引的查询% \! `7 _" c; B( e8 n7 w
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
/ N" q4 s  o8 Z7 a, g( I
! x# s: S. n6 K: N由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
1 O+ h8 a2 e$ @, J8 Q, p" a. U如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查/ G8 c1 M1 G' H8 V1 X1 ^
找方式也可以同等地应用于ORDER BY。
) {/ X2 W0 P- X4 V- p9 B+ G2 I& {8 F5 U( Y$ f+ g2 V
下面是B-Tree索引的一些局限:
! v' r- g* H  Z3 ?9 h# A: a& m/ s/ x
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
& O  y, [2 l5 _0 @( u4 R3 ~也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓1 z' r: _; y7 s0 R
氏以特定字符结尾的人。
  E% H5 C/ ^& \
  Y3 v. e9 w; B3 R' y6 S, w0 L8 d2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
4 v. P/ s9 l' }  I( j; [- L3 A. E义first_name列的值,MySQL就只能使用索引的第一列。
$ {: R7 M& z) V9 s4 V
9 V) T1 e/ T* g9 m3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是% @9 n7 n( G0 J; G7 j
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而5 ~/ k5 Y& O8 Z, t) |$ E$ Y: ]0 I
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。" P" O8 P6 l) e
& j  G1 l! @: a6 y$ l& r7 L
哈希索引,空间索引和全文索引等,暂时没有设计
; W# r9 |  ]) |4 e8 i2 n+ M; i9 [
高性能索引策略% [1 N9 ?/ F1 E- U
/ S. h" @0 g4 x7 a3 p1 W2 f+ S1 W
1,隔离列,意思就是不要对查询条件中列进行计算等操作1 T3 }- {& F! h# I' I5 t9 c2 K5 y& y
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引: G6 y& g: [: Q* h. L8 `
Select count(distinct 列) /count(*) from table;( C  d" h8 ~( f3 D/ v- r# k
看看这个值时多少,如0.0312* T" V% D' |" l: \# o2 T
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
; g/ K5 X5 E$ f  j,这对于大表很有用。
7 G7 e$ s# W, Q' ^Select  count(distinct left(列,3)) /count(*)  as  sel1,2 }0 o2 ?' f; H% D" u; g
count(distinct left(列,4)) /count(*)  as  sel1  ,
$ c: c- w5 K" t! Z! P count(distinct left(列,5)) /count(*)  as  sel1,  }0 {1 p4 j. q; o6 s+ Q* v
count(distinct left(列,6)) /count(*)  as  sel1,
* f$ G. c* W( D9 l# K) E0 w count(distinct left(列,7)) /count(*)  as  sel1   from table;
% {. J  \; W8 t1 F找到接近0.0312即可。* |/ p5 T$ t2 H4 g# K& Y5 ~/ ^$ n- ]

$ M. u' @0 E/ ^/ ^Alter table table_name add key (列(7))+ F- J; C0 m, L5 v( R5 f* c
3,覆盖索引" o; Y1 B' F. s7 _; s* ^
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
; J0 n) _% o' u' N' bexplain时,extra中的会显示using index
) L" I$ E9 p* u0 ]这里一个重要的原则是
  i( Z2 q- ~5 t3 P3 A1 _( Iselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
6 D& ?6 |/ D  y3 h5 R1 e  p如select id from table_name;
& z. d5 F! H7 H  i! A" d* r9 L- @" Q" r" o  d( Z# _
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
  Y% I% u# H( X8 [: N一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
( H/ R' ]5 z# |( a: R0 o  `. Y3 w5 j3 g
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';3 e; z: d/ v$ s
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
: }! {+ ?; I1 X, u3 B1,; L& \  N. F+ X- V% F& k/ k
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。* G7 K; {' G4 ]& E2 X/ r
2,$ R2 [( \1 a0 ]' P. o, J( S- v
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。" O/ f+ e8 W/ s) ^5 Y  T
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
6 W1 Y6 \/ [* }5 o& R; {/ @0 ~/ p0 Q- j+ t
4,为排序使用索引扫描( e$ a9 N' M+ q! V
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
/ Z- H, s6 N& ]* o: X  G9 qexplain输出type为index,表示mysql会扫描索引
# O" [% m; @8 t+ G2 s0 p: X% i" Y- h
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
) Q: Z( l- v4 `; @# J, B
* Y' i& g% k7 pMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
/ m* X( \) D( n* N$ F* N) t) i; ?
) S) w% x; n4 h按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。3 M2 P  H. @" \, l2 ]- W9 H

0 Q* N2 h. u: s% i. m2 uORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
3 M5 H: |7 ?0 M' ^, Y5 Q  G, o& L1 A$ m6 b
使用join可能情况会有不同8 ^/ o" e& G8 l4 X( e( Q! O
4 Q; e" |  G7 f1 W& V% ?0 i/ v+ c
5,压缩索引(myisam)/ M! C2 b" R6 W5 w4 {4 V
6,多余和重复索引(应该避免)6 G9 u. @0 [) y- g

$ Z. p5 S9 |/ W3 c7 t多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B), u' D2 _4 p+ m
上有索引,那么另外一个列(A)上的" r0 ^+ c! d" O$ z4 z2 E5 S
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
8 ?% c" `' L  i+ N6 g' |然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
. |- m1 ~( C* k# `! O6 q+ z# x  f7 K9 t: D) r
要点:
$ I7 z; F- t8 G; l在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.* ], a9 b! |5 n' X
3 a. M0 ~0 `8 e. J
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行7 O5 r5 x4 Q! X2 @, t' l3 ^6 X
4 m2 t, l- }, w- B7 \, }5 }% |

/ Q) t2 \) I- L# K3 h1 J9 f' p" |& F- y' d8 l: |0 `0 T# H3 M
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
3 P! B0 r( T8 \, X+ P+ p
0 P3 Y5 s! j0 Z% `" ]/ k! B- Z8 e拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
" k% y, b( ~2 h# p( O2 J
! ]: p, l( v- j' d
# O. g3 Y) r( V9 \+ m/ f2 A/ G4 j$ Z- r1 t( M' N- Y
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
4 ^3 v' }& O. U" Y/ ]6 N0 m* _+ Q( v0 `: j2 |
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
/ R  B0 C# L1 s. [. M
/ H6 i' A' }6 A% G; _7 ~3 G5 C  |
" U+ N6 ~6 }+ h9 z" ^; w$ W* E' h( ?
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。. b2 A; Z8 C: z) ^3 `9 f% s
! \% y. g% g3 f4 R% z1 M3 |- K* z
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理) j% ?# T$ T+ s4 O4 w1 M" `, V  h7 u

: q7 }! r4 P$ X6 k9 ~" Y$ \1 H9 P: z这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式- g" M' K8 W0 |1 C1 w' M' e

3 m1 [6 \* g6 M. B/ ~
" b) u; q9 _% B  d
* C9 }+ M* s6 M# ^避免多个范围条件,只能对其中一个使用索引# ^( b! m- A% D7 Q, h

2 p8 `  {" `. T( O8 F, F# S( K- A/ j0 w  O( {! ^2 e
) J( G# h# l* b
索引和表维护
5 x, L5 e1 O, F2 l( T8 p9 S: \. v# R, W7 ~; V0 q* y' n2 I
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.8 [  d; g- w" V' ^! v
& L8 p& p  H# a. F) ^2 l( l
check table table_name;
/ a# n4 g3 j% `! u3 _6 hrepair table table_name;
. H+ l" I7 L2 b+ Z# @" {& LShow index from table_name;检查索引的基数性. x9 s6 q! {* `% ~

, s% }! R+ R8 [' a3 O# y# d% Q主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
) n, B5 ?, J: z# W0 l7 T1 }; @: P* S0 C1 A

9 {! h4 `* Y4 y7 j( T; c* s  u- a% X' @8 ?$ k- a0 E; ]# o! R
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
0 V1 o" U/ o) A4 X& `) f8 ^! X- C9 b2 V3 Z! ~% N# o0 J) e
表数据也能变成碎片化。两种类型:8 s" A! }/ y6 ?. ^2 u/ y
4 f% L* T$ [7 d$ v% r3 p
1,行碎片
( ^$ D- f8 N% g: b( S6 h2 I' \1 Z8 m( V  U; }3 e# t9 A( i9 ]5 M  ?
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。2 y9 F' Z/ X( ?& b$ B
) f3 s+ {( O& c! Z7 o# s
. H/ [+ A7 W  W% L( `8 w+ M

" @7 L! [' h1 _1 L9 N, R/ }2,内部行碎片" m' h. N1 @2 B1 A; M
/ t+ m) v5 }' q& C% \5 }/ T! Q" q0 u4 R' B6 j
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和& ?" H! K0 o, q3 d+ m
6 M) t, L! I9 v/ A3 h0 z) z
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
$ x* k% L9 b/ w$ N" O8 c7 s2 v) u7 f7 k/ F; M1 n
& t/ W9 [$ X! z# j, f7 ^4 K

+ ~+ I8 U4 R- P" J" |* D为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
/ s+ F" l/ X% \1 c% Q- q# l! z
5 f( H# [/ n" w- b+ h& I) D% K" P, A5 W* ]
1 X, i; m5 A+ Z. g  ?2 A2 {
ALTER TABLE <table> ENGINE=<engine>
$ F* W1 @; e: @3 f
  ?# @/ h9 G: z7 R9 o  F$ C. c3 k3 j3 H& k
+ j* {0 H3 ~4 [" z
加速ALTER TABLE$ ^1 Q$ n. f+ }2 D& Q( f
: q) b/ @# S0 h9 n5 _& j
; h( W9 H1 x) n" w, U2 ^
( L$ ~& o& |% T. m* _
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需! N: Q4 V: w. y) r
' Q5 o! O) V" W, |2 F% n( `: r
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,% n) {4 Z" @6 w: X
0 d0 q. i) n0 f( P
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。: V" }. s3 J. ?" j, k, |
9 [# Q7 y3 V& {  b" ~0 ~5 [) C
传统:( f3 m& i$ {( g& S& W
# ?* D' W3 V) @2 a  X% }
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
8 ^( t- p' B/ H0 m4 n( U- [理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更3 b! o, F& E6 ^( W1 B8 A/ G& G/ i6 E
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。3 m1 U/ w# U, t* Y  y, ^* T3 i

  c% r. \6 U/ l% I' \; l- `  V变化:: {1 `7 T+ o7 k

0 f' y/ @! H3 J8 S( O2 B, |ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
) \3 J' Z& U: N7 w这个命令更改了.frm文件并且没有改动表。它非常快。8 @0 k4 H4 W; \' Z9 J9 b
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-9-25 04:20 , Processed in 0.044823 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表