召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2792|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
# }/ S) E; w$ T4 w1 O% k' ~有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成4 u, L# C7 M* w5 f( B% ~
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列: `2 k  {2 g1 Q! F
在InnoDB中,只有事务提交后才会解锁" n+ g5 Y/ F  b' H& N+ s5 o
2 k8 A. m* Z& `
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只: q/ |1 t& z% c& D& g. a; Y
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
' M: e3 _1 u' K" `, [: F4 X( r" m7 u* o/ E' n/ F
B-TREE, [% e1 @/ p( ?! J
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找( S" \) B, a; K6 R$ G5 ?8 U9 t
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
* l2 V# h, v1 X% g* Q, {
  1. 2 ]$ @& T/ t: I/ H
  2. CREATE TABLE People(
    / Y: B- V  n+ i( A+ U! s
  3. last_name varchar(50)   not  null
    ; d  x  X7 R/ E# J1 `
  4.           first_name  varchar(50)     not   null3 T6 x6 c+ S. ~1 z3 ]% a3 N6 z; C
  5.           dob  date      not    null) b3 J# C" V+ b) o
  6.       gende       enum('m','f')    not    null& n+ Y. M& u) b6 o
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
) n) @0 L+ t, b! x& ~9 j8 \全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。* W  d2 S# b" _+ Z- w& R
的人。
. T8 _7 H3 O# [( t匹配最左前缀
& ^2 l( K3 O, ]7 aB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。  x! \& \& a1 J
匹配列前缀
2 u4 p! w' T6 C7 N可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
% `9 V6 N: s' _# ~% y匹配范围值5 g. O6 o5 h4 |; f5 q* T
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
1 |  i7 w( e( O! R$ Q# K; ^) G  c精确匹配一部分并且匹配某个范围中的另一部分
& z  ^/ i5 F; r% S这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last* ~/ ]  k% y5 t
列并且对first name列进行了范囤查询。
* A) r7 a4 ^+ o2 g9 w  v8 gname! b5 c' M0 v. y4 M; y) M1 M
只访问索引的查询2 K7 f( {4 ^' z- u5 ]
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
$ n$ _  e, U9 l$ c: G" A
4 u* e. r; B( ^; o: H由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,. ^3 U; A" f% Q7 o: _4 t. r
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
$ D7 W: H5 z! ?$ x% \9 [4 L9 v找方式也可以同等地应用于ORDER BY。
$ y+ X/ @. C) G5 M
) p+ }! D& C0 D3 a4 l% b* W下面是B-Tree索引的一些局限:2 ]2 j; a, [4 T: a( P
# [. F- t! f. f
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
- T9 U7 E/ D8 u3 {5 P也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
! Q( }! U! q: l& p氏以特定字符结尾的人。' g: _' }- \" ^/ ^
1 w1 I7 G0 L- B# {
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定/ {+ m9 n. J/ [) a/ M  c
义first_name列的值,MySQL就只能使用索引的第一列。9 ]% u6 a5 J# ]4 B+ p4 D. b3 g0 _# h
' f! E9 k4 j- F) R( l" z5 [: C2 K6 B
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是; P( n4 z0 J& i
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而- O% X; v/ n! D+ a6 G. t9 z
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
* J$ s3 o; @/ u; b/ O5 L7 O4 }
4 L* C' A- B, ?3 a' F" d哈希索引,空间索引和全文索引等,暂时没有设计& z. `( R3 ?4 n  C
( D+ C$ ^9 f( S& A8 `$ I
高性能索引策略
1 {3 x0 n8 V) M- d. }6 f: C2 I! I, R5 n) {8 d# w# c- f
1,隔离列,意思就是不要对查询条件中列进行计算等操作  ^5 B' f0 E3 F9 ]# a4 E& W4 i
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
, n3 J# B* r7 _) k7 ~2 A  q* x) hSelect count(distinct 列) /count(*) from table;
) L& u! K/ e; x看看这个值时多少,如0.0312
8 O, j+ Y7 L! M9 H; ^那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
- [7 y! U9 z& g( t: d! l. },这对于大表很有用。( k) e; @' u- b7 ^
Select  count(distinct left(列,3)) /count(*)  as  sel1,
# M* R$ I! z! t2 a' v+ V; ~ count(distinct left(列,4)) /count(*)  as  sel1  ,5 l9 r, p7 ~" i3 f, O
count(distinct left(列,5)) /count(*)  as  sel1,
$ K! P  T0 o$ ~. g count(distinct left(列,6)) /count(*)  as  sel1,
* W3 T9 b1 x; J) o) G count(distinct left(列,7)) /count(*)  as  sel1   from table;& z7 G$ G& C5 ?/ `6 _- Z: u( z# C. r
找到接近0.0312即可。6 T- p9 w% n' w: S/ i4 ^6 a

+ v/ v9 \4 s. ^: C' KAlter table table_name add key (列(7))
0 V, u" I4 H- T  o& L* `/ _& W3,覆盖索引
1 H: o; c# g0 A3 M6 S* B包含或者覆盖所有满足查询的数据索引叫做覆盖索引
4 z2 l2 S4 H+ y; E! m& x% i. Mexplain时,extra中的会显示using index: w( F  V4 ?0 T' M1 Q& f
这里一个重要的原则是
4 A4 A) ?8 r) }9 Kselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
( X( s* F- c+ U) C; F( G' z如select id from table_name;
3 @/ c1 o  m$ H2 m7 @$ t2 L3 O- \6 A$ w2 c" U& L: R: F+ B
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不/ r6 J2 ]$ V% c# `6 t# S
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
+ D% m6 u* |! W. \1 _1 Q& b
, [" O, K/ c( `3 s% L! ?$ u
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    . @% D6 W0 Z, a3 B6 O3 X8 W
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:! X" f# f) u! c; V  ~
1,6 j. [) P- B- L" v( Y1 B
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
% U3 j& x" w# \& N$ h5 c9 v3 k2,
- n/ a* H8 g+ f* u5 W/ I& a( u2 I8 uMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。3 s  Z" E3 S2 J! t8 K! h: \4 b& t
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:- e6 `$ C2 T' r% P: F/ }- }) [
. t8 O  E5 G8 L6 P
4,为排序使用索引扫描
) ~4 I/ ~& Q) D! p. Jmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。8 l5 R3 L& [  |6 U
explain输出type为index,表示mysql会扫描索引0 y3 X) r0 C6 K* l) N  k' |) B

* y9 H1 U, ]% y扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.& A: |; G# v4 Q- z
) r4 k" W9 H6 u. ^* R! ^0 f
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
  A% s$ f. J) e$ P5 m& p3 ~! I& C7 I- A# D
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
& a5 w6 _  t/ |- H/ ]0 r. i: o# f4 [5 `7 P8 A! F6 G/ b1 f+ k7 [3 {
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
- J& R7 T- j' k6 H8 c. I3 w
7 J% W: K3 v$ g# `" b* \6 ]使用join可能情况会有不同, g) Z( i* t+ ?8 ~( e5 \

' \/ K) _- K+ S3 A' d5,压缩索引(myisam)7 ]6 }# h! b6 `/ k( ], j
6,多余和重复索引(应该避免)
" g& j1 J: u. c  U/ _6 U/ l! Z7 ?
4 Q& t2 _8 q' U; S$ N0 [7 `多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)3 A1 o8 S  A3 p, k+ T1 j7 E
上有索引,那么另外一个列(A)上的
" {/ ^  [- ?8 D3 p! Q9 n' j' D索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
$ B7 Q& J1 v0 i4 n) G% S3 q% A9 ]然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
$ ^. d  W# }# R4 F/ l3 U4 q5 S9 X; H* o0 g3 g
要点:
& k4 y5 A( m1 G, G' z在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.1 [2 z4 Q# o1 J) `+ I& A1 K% x
0 e% s  U, _  _. P
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行1 I" ^% f$ w9 g) b" m2 F

% q7 f9 S& M7 Q' b8 K+ A" E( a/ |5 }: [3 R; u3 E" k
1 F/ a) E( h- c" c: U/ A
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
4 _2 l9 ]# c" l1 h8 A) a2 O
* d/ |1 v2 D: ?# \) Q$ V* _7 z拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
# i; J( P" q2 o5 G0 t* J! U( i9 w6 G8 `& m* d
1 |" `0 x$ `* z0 Z6 q
# Y* K. U/ Q# Q' I6 u/ ~
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索/ {- Y( b9 O/ _: l+ L+ k* d

4 ^* a8 l( [" m+ w3 ?& v引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
% Z6 j% Z* f! q* m" P3 C9 j- P8 i1 Z3 o
* Q  k( ]8 H  X) w3 k

+ R+ G5 }9 H8 ~1 x8 F一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
4 K3 |6 {' b, r1 X% W  B# ]
$ i% |3 k! ?' `: W例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理- R. d9 T) D, j8 ~8 l/ [, A0 a6 D

! [4 I$ G" \& ]  |$ q: s3 o2 b$ l这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式: w4 C: o, e- R0 G: k
; |  s5 [3 R$ E& c4 W

3 W: {: p3 \4 M( T. K) n6 b" s+ I. T# f
避免多个范围条件,只能对其中一个使用索引! z+ s2 B6 `) \8 x
9 f( `. i+ n" i5 D8 ^5 g1 r
& `: |! J' O+ x2 ]- y1 X/ b
( W- F- W3 Y/ g" V/ t% e9 A
索引和表维护3 [8 l3 d0 T' v' k

' k7 |: V! ~2 r表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.5 \& z" m4 t1 ?) D) z6 x- s3 C4 N& Y
0 K( L& D6 A9 y8 T. p; [( q; D
check table table_name;
3 |4 n* V/ }9 q0 ?repair table table_name;% y- }6 E( L( u8 y$ N& r
Show index from table_name;检查索引的基数性6 c. G+ G# F6 E3 ?; ?7 N. G

& P/ i* d/ r, J主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
/ h) d+ h! v: J6 ?9 ]3 V( n# }& `3 a/ U4 a

2 f6 v) f! E# _8 j+ X  w
" n( k& [2 d5 t6 _" qB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
1 b( s& r$ w4 ~$ a2 r, t5 R4 t' B
4 D( B0 O9 U: i& }, G表数据也能变成碎片化。两种类型:
) H7 g, |5 Z9 k# `  y2 w% `. t+ J4 ?& t$ d. s/ {7 k* M6 |
1,行碎片1 ~( Z1 z2 ~; s. O  M3 D' e

: k) J( p- x! f" {( t" v当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。+ C/ P* [4 f! @/ E' w

1 N- `- G4 {; @: p9 y" P7 m' T) y. s2 m
1 f$ E  }7 o, A4 E
2,内部行碎片, ?& R' Z1 M9 b# e
$ b7 j" o. L+ e4 F
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
& i+ {1 a9 @, f; M9 l: V* Q0 q# V
, L. j5 Q; I. e% K7 O7 B+ Y- {聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。# S6 u6 m" P8 y' y

( |/ X5 Z; T, S9 g$ Z, F  h* K# ^; L$ i: k& `8 {6 n2 _  b
$ V4 T! m5 r; q' y% T# H' x! d: N
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。# s8 W' L2 V4 t) d" t0 d, k
, `4 Y# y1 @+ L! l1 t7 k

6 M* j& l. b' ~5 r" {- |
9 p: S% G% b9 kALTER TABLE <table> ENGINE=<engine>
, ^% ^% C  {1 H) Q( ^
+ \* k4 p% }) @, w- a
3 r8 e8 p, r! L. E8 Z/ r4 z. L) M- r4 S' w7 |$ k
加速ALTER TABLE4 ^* a/ B1 c+ }9 d' X* b+ [8 \- J

+ ^: w9 E) S: i6 E7 ?: d( |& i+ |. G) `
" T5 Z' q3 @5 w5 B. G% ~3 e, V% d
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需8 _+ O, k3 R! \0 Z$ R
: M7 ]4 q; y0 P$ G( j( a
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
* c0 G% C* X( A* |3 V; c
# n/ ~' ^7 Z3 K# w$ ~而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。6 i7 P6 D' a3 F6 z- p4 b. v* o4 F
6 a$ u4 A, B- ?+ C9 ?" O
传统:$ _; @- o/ i  I8 Q% e9 `( _( z

0 X9 t& y2 w6 B& V2 SALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;$ }6 W+ s7 K/ U) r$ k
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
) B: Q  d8 v; m- M- [! h: _改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。1 u5 I& {. Z- r8 r9 _
, R+ M! U  |; W/ Y
变化:
" f  o: t, w+ `& o3 d, I: G2 d& s' j0 f: r' _# M
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;& i8 J; P) y5 w. P. n  L( A3 N" G
这个命令更改了.frm文件并且没有改动表。它非常快。
0 }& |' C% R3 C3 V9 ?3 v( \/ q还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-1-16 13:34 , Processed in 0.036275 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表