召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2802|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能  W+ c& F& Z+ B9 \0 P
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成9 ?$ r, V7 R6 K6 u/ _
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列, ?3 c/ {8 R* q5 A3 Z. o% M
在InnoDB中,只有事务提交后才会解锁3 }9 V( o. i# g, ^# o, J
& X6 D9 R( @' |) X+ ?. H3 U
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只, |; @" d- n& N" L
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
( Y% _' T/ E- z6 m2 q' @3 D+ a4 D
B-TREE" Y4 p- N  q; \3 c6 Q# g! ^
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
) @: G6 d9 V& d0 E; D: [" ~使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
1 ?8 G8 m, S, ]. D; l2 e

  1. + U' T, f( M& ?9 T! _
  2. CREATE TABLE People(
    8 @6 k* V  F& c4 c+ X! t5 A
  3. last_name varchar(50)   not  null
    : w2 _  e7 m3 v0 Q: S5 t
  4.           first_name  varchar(50)     not   null
    . W7 l3 ~/ N! Z$ C: D- Z- \4 x
  5.           dob  date      not    null$ b$ h- A2 f/ m  M1 ?) K
  6.       gende       enum('m','f')    not    null# s4 ^- ^5 F8 o0 G& l& b
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
5 i4 c/ ~2 E: L4 c3 J; P9 |' D全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
* K+ H/ a' l+ U; x8 `的人。$ Z4 S$ }% q# Y) u6 m. W
匹配最左前缀
0 m1 v2 F' D1 CB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
2 q  T/ H+ v$ p( r匹配列前缀
: P2 s' L: ]$ }6 l. d1 a可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
7 ~* K. Y7 @. h! A6 W/ h1 N0 `1 {* h匹配范围值
. J0 Z4 A3 M8 l; `/ \/ G, P这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
( P8 l( w& `6 E. f精确匹配一部分并且匹配某个范围中的另一部分( n% a( J: p2 C5 {) c- V
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
  o2 C& r* f0 v- r% w. ]3 [" w列并且对first name列进行了范囤查询。8 V. ~0 F" d9 R: `. V9 J* Z5 D8 ^, H
name
! u- q* P' R' I5 J只访问索引的查询
4 h% m8 s( f- }2 G6 d3 G6 dB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
. g; f$ S8 a6 M- K$ A
$ g) j1 M' g) L! O由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,$ f3 x$ Q/ i0 h* P$ m
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
) c3 {$ C, a, X6 Z6 b7 X4 t找方式也可以同等地应用于ORDER BY。5 b% K$ B8 C0 [3 @; i/ o
" J8 s; ~, Y% X
下面是B-Tree索引的一些局限:
1 g3 F% j! d3 T( j) T8 Q0 B2 l& U' h" n0 s& {# S
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,/ b, I1 Q) L5 e# B4 I+ ^. m
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓2 a. z; C9 T3 P  z
氏以特定字符结尾的人。
* D2 S3 q! N3 a  M3 B% T
2 g2 U, R- P6 P: e/ U+ a( `" e2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
4 R2 D  B9 k5 A- \& b- g7 E  o义first_name列的值,MySQL就只能使用索引的第一列。
+ Z9 h, y8 u+ K4 ^& l
3 K: }2 k! K2 h( A/ J& G5 s3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
1 l5 g5 j) T9 ?范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而8 K$ K: u  P( b* X, ?
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
8 J9 i5 D& [6 d3 P) m0 J
# b  N8 c1 q5 H7 B0 w哈希索引,空间索引和全文索引等,暂时没有设计8 [3 S: _6 b4 {: z, U: U  }3 \

! B; E/ Z, K: k# C0 Q$ [, T高性能索引策略
# M, u1 n4 D/ e) I$ Y! w' _
' J, J/ }) m# a- u# i2 |1,隔离列,意思就是不要对查询条件中列进行计算等操作! y3 m( C$ M  o4 d6 k0 T
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
  {" Z8 Z* L% bSelect count(distinct 列) /count(*) from table;
# j4 H9 N! k, w, M4 t看看这个值时多少,如0.0312
2 a/ P3 U% R# H: u) ^) Q3 B那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算5 B1 P1 g6 l5 s, e  p4 h+ f
,这对于大表很有用。- u8 q8 m% h0 {( _5 W
Select  count(distinct left(列,3)) /count(*)  as  sel1,
$ i$ G7 i+ ~$ ?% w8 R count(distinct left(列,4)) /count(*)  as  sel1  ,
; F, t3 d  ?3 `) v count(distinct left(列,5)) /count(*)  as  sel1,% g8 l% b+ I- y% g
count(distinct left(列,6)) /count(*)  as  sel1,5 ^( [6 W( ]( b7 l3 @1 I* x
count(distinct left(列,7)) /count(*)  as  sel1   from table;
0 F, S+ M4 t5 J1 f2 l找到接近0.0312即可。" g' J) l! U% b9 v2 ~2 k

0 \# N. g1 N$ j; L7 IAlter table table_name add key (列(7))( e: j! V$ v  p: K' a: Y5 l4 M
3,覆盖索引, \2 I+ O- g- F5 ?( p6 i
包含或者覆盖所有满足查询的数据索引叫做覆盖索引$ h' C2 N+ `' |
explain时,extra中的会显示using index, V0 d( s+ M3 S9 l0 p& O7 m) x
这里一个重要的原则是
3 S4 j' M, h+ n' Rselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列- g, }( b5 Q! j2 [5 p0 V# J+ B' i8 N, t
如select id from table_name;4 M; f, B% ?3 x: h/ E" V) t; [
* Z' M7 b9 I; E7 y
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
0 Z0 o% e! R, {8 n- ]0 }% \  C* A一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
) a! u" Z$ q1 z# h. l
; c% X, h3 c) K$ b+ X8 c
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';% J* K  f* f1 c" ]. O4 ~
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
9 [  M3 x: v/ D. ~0 W1,
6 G2 `) H" P- z/ B& j  _+ P; a( w没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
" `% D! H& g" N* S* A+ m2,; ]! _0 B2 U& i: c& q* Z$ J& N
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
2 J/ m9 c' e5 {6 n; m! s有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
$ ^& C3 V: }7 i/ V1 q( j6 t" v, s! T) o, D8 a+ x
4,为排序使用索引扫描4 K" [) {; b) |  d
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。- C7 {/ D6 T7 s6 f& G
explain输出type为index,表示mysql会扫描索引% z& x3 z$ q. v1 l

: Q# S. r. e$ G6 G" \扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
# C; ^. u* t3 L+ F1 y3 w1 G$ n  j' D: w9 |* I
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。$ g4 ^6 n% `. X* F8 a% X

& F# A+ x! w9 j' {: B按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
' T# ^# D+ M; p* A- O8 D! D& m1 M( d9 F# o& O4 N; y
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
7 d7 b5 v# m. m  V- b0 b8 Y$ ]; J
$ s! R. z4 V: h使用join可能情况会有不同
6 s3 T# _& s9 @! d+ M1 {7 L
; Z% B% U7 f9 h) I; e. X/ k5,压缩索引(myisam)
7 A; q; K- Z" [6,多余和重复索引(应该避免)
6 E$ A! o4 t/ b: x+ I/ N
# }9 C+ E( \, L( Y多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
- c0 S- |1 c: R) z7 \; R5 K$ f上有索引,那么另外一个列(A)上的
+ [' h. a, {$ Y0 p& c索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
" s3 w# c  H* W% n" c8 |8 U5 X然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。! g/ J5 l& I; z, F5 L6 V9 \# e
$ e+ l( Y6 q# o6 K# |) V5 p
要点:
$ d8 z' R, {/ e4 {2 H- Y在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
4 I% i; c# d0 p5 v* r% `5 ^5 e0 e
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行& l* \8 q, q5 [0 b+ v- a2 g1 b

% B0 k- n7 ]2 Q8 f% ?5 G2 ^5 H
+ q% y7 I, K! {) Y1 U8 ]# n+ F( X4 O% l7 x+ ~' h7 F
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,9 K7 f2 ^2 v0 k1 [

% q& C# J% K* I2 }, f拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
% u. h  a7 I# e( c, g! h3 q
8 ?) b, b+ A) H9 I3 ?" V0 L4 q* k2 C5 G
9 Q$ o) {2 f# B9 f
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
+ a9 |) z2 B" c$ F4 j/ J! J0 I) Q
$ j% X" v8 h* r8 \- W" f# {引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
$ N4 d# }8 B" d* C( ?  Y
% u$ R$ r9 s) m) [
/ ]. z% u' ^* f9 N2 X$ k  j& k$ }+ b, E& `. W$ C& w" I
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。- C- W3 `: C  Q  L5 v8 v

. P8 o( L. K- X6 u* E例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理0 m; {' Y* z7 U" M+ R( U

7 L( u4 J& Z! d7 c, ^, C' Y7 X这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式' l; T- B1 u( V- V

; ]  t0 D4 j8 P% y6 w+ w! _! K
% p) v7 g9 B# W0 l& l. R: l" k# _% j8 ~. W& d7 O1 m
避免多个范围条件,只能对其中一个使用索引
5 b, K  ^! C7 o4 l( x( w) a/ g& J, K' D6 d% F- o8 X% Y

# d( @" {( j1 S3 W0 Y  o7 E( T$ z5 a0 [" T
索引和表维护
6 [; w4 H. x0 \  L0 s9 b8 c- D6 l  D
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
, P3 D- @, d! A& ~. b) ]2 I! ~- ?
; N" y5 S4 D( X: o1 w% c6 acheck table table_name;  c6 b4 `. X3 f& n* B0 @- a
repair table table_name;
) A- c& }& @" E- z2 {' aShow index from table_name;检查索引的基数性
" y9 p% l5 H: }* a5 f) g1 H4 p! y+ n
) C* A# {5 Z' d+ u: s主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量5 L' z! @5 K8 V# C( Z0 q0 |. Y
# \& X, f8 J* t0 U& L" c$ I! J& K
0 I7 n& T! a$ Y- k1 J1 y! ?

5 v; X$ i) q! [# N- AB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。8 k- l. w! T4 r, r8 L" o
( H! N2 a- X& s/ B) L6 u
表数据也能变成碎片化。两种类型:
) }7 q' z8 @+ U8 C2 `0 Q, u- Y9 ?4 y
1,行碎片* J9 J7 j# y- m2 Z( X

: j; u2 u. ?' f6 |当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
" ~' e/ U5 X' X  [4 H$ A8 P4 y' W" S
/ ]2 G; Z: M" J7 ~: B) L4 a6 z3 d. z- _, Q
4 A$ |( h. w- o0 m$ f4 H2 X
2,内部行碎片# d0 Z1 w8 r2 ~- P# C

+ _2 u) q4 g) l- A: G当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
; c4 A) o, \' r( i* H( \& p% f7 m* V# Y
' P- j9 @0 O: r# K  C( ^聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
- L8 U4 Y8 B- C( _* q" e! o! }8 d
. L# D1 h( O" E7 B9 c5 z# p$ ~) @1 P# ~, m' g1 {- N: T& E1 G

- ]' }# j8 M9 I6 p. Y) L0 ]6 X为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
5 [, ^4 }, h% s+ L" M
( F6 _9 L. S! }9 C! Q7 a0 R8 n2 Z: O# C) E6 a: b

- P  r: ]0 \6 l2 Y* v; wALTER TABLE <table> ENGINE=<engine>
+ i7 w7 I6 A: r- a4 I; {* Y# D( \) ^" f

9 z; R. z" Y0 G7 Y: `
) _: @* w4 A0 F3 l加速ALTER TABLE
+ G$ r% L3 m; K, |4 L- J9 U$ f# y* x% o8 m
5 M' r' Q1 w' `$ y4 A" \6 p/ W
6 c3 a- |0 J2 ~  t/ _& x
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
8 T* q, d0 D  O% p
* K  p7 a" J, F/ s  w/ m( U& g2 r要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,4 c* A2 {9 _* d
7 q$ ?7 b& q- D/ I) W3 B. w: L
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
$ G$ d( |8 h" p! i) Q! w4 \% P; N& H7 Y7 v- K" M- R' [5 M
传统:3 U: @2 V9 h" v

7 ]5 I8 V7 z& t3 \* y: lALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;) y4 U6 b: H4 m9 e
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更/ x2 ^. A$ P+ i/ Y
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。; r* {/ u9 F4 q' H! d3 D+ B; W

! Y% o+ W. E6 J5 O变化:" L* G7 h+ q' `3 s

8 k- G# d* ?: Y5 EALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
, ]8 \& T6 n& Z这个命令更改了.frm文件并且没有改动表。它非常快。7 O3 O; O: X2 U2 q
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-1-29 17:20 , Processed in 0.041916 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表