召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2938|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
0 N. @  f2 K' A  Z# Z& p6 S/ U: D有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
' i- [0 a; v5 V7 l- H一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列1 p( |4 X& r: i
在InnoDB中,只有事务提交后才会解锁8 B/ d" i+ W" V, O, g
* H* g: y; E* o5 Q! {- |+ d# C0 [
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
( U) W4 L5 A: `3 }5 G3 F能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。+ `3 O3 w1 i5 g% e
$ j, e+ J# ?  }6 m
B-TREE
. l& m1 Q6 ~* B/ ?+ s/ l/ V能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
5 J0 l% T1 i/ p2 l使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
+ P5 [9 i4 D( i5 m; d& ]

  1. 5 D0 E- K& o3 G, ?# O. l
  2. CREATE TABLE People(% `6 I6 r, Y& T, X
  3. last_name varchar(50)   not  null
    2 S* o* F3 _: h7 g& X
  4.           first_name  varchar(50)     not   null
    4 S+ N& S/ U: q' G% t9 _
  5.           dob  date      not    null( {& o# G! i$ F
  6.       gende       enum('m','f')    not    null4 X7 w/ @7 I# ?) P! y6 i* R1 i, M
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
3 a+ y6 w8 |, w+ ^) }全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
, {' H/ T4 I& y, L% K! r" g的人。
4 B# \3 ~4 l+ g0 u9 N3 r  L, B. H匹配最左前缀/ |6 Z+ ~3 [) H+ d0 Z6 ]# q* D# I9 e
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
/ G& E- u8 z  ?- U匹配列前缀
" s& r& S  n3 h# U可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。/ O' }6 r0 G, O: b) R" a
匹配范围值( I% b. D* K5 r; T
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.) y0 D: b! Z2 v+ j3 l
精确匹配一部分并且匹配某个范围中的另一部分
2 e/ M1 u: Y! L5 X2 V) z这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
+ Z% e5 u& m8 z  B' y) U列并且对first name列进行了范囤查询。
9 n$ w4 x3 k* U: v- E1 h1 m0 Q# Uname  P& s! x7 o/ T9 I/ ~6 C% F( U# h
只访问索引的查询
/ }- t1 {# b* I% [: @" C7 fB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。; _. m; `. b0 p1 @' X
. J8 R. ?" y8 y+ [
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,8 n( n$ ?# k! B9 J
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查% F) D6 t1 z2 T% b
找方式也可以同等地应用于ORDER BY。0 L# }: k% b5 ]. l5 z  x6 [5 `

6 ]; a/ {) C# O下面是B-Tree索引的一些局限:+ Q3 c/ K: ^8 r

: o3 a+ U$ k' I6 C1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,6 M! ^8 W& y- c1 w" D7 q6 B, ~1 k6 ?
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓- k# l+ j  @( H7 A- M4 [& u: t
氏以特定字符结尾的人。
5 x) V7 B5 q! A# Z& N
. m( \. W# B* W. E+ y; @5 L- C2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
& l; A8 h+ ^5 F! v: n& ]! P4 H0 l义first_name列的值,MySQL就只能使用索引的第一列。
1 ^1 `' X* G) L% R( h: a: W: l# V* b/ V) S- i5 S8 D
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
( \* r0 @! I: L. M& n4 J% D范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而6 {" ^/ m4 r- Z2 U$ d/ ?
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
  P+ i, X% k( c7 K" A9 g5 U
6 i0 i3 u9 l1 }1 m3 c哈希索引,空间索引和全文索引等,暂时没有设计4 K. G+ a9 V. j
/ i5 c6 w/ V' {
高性能索引策略9 C9 \2 S3 g5 |! j3 o
: D  Z8 D6 S. ^- K
1,隔离列,意思就是不要对查询条件中列进行计算等操作2 C( o% d7 b  C9 e- N7 N
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引5 u( t% O5 Z- k  `3 }
Select count(distinct 列) /count(*) from table;
& X+ C! m6 A' |4 b看看这个值时多少,如0.0312
) `; G7 G! y" D1 u- S那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
+ z6 E; z/ H- ?, y# r,这对于大表很有用。3 [# p9 }$ x1 J+ N) K7 l
Select  count(distinct left(列,3)) /count(*)  as  sel1,, m7 _+ G5 l5 K" {3 @7 \
count(distinct left(列,4)) /count(*)  as  sel1  ,
6 t% z* a% T9 `8 k1 N1 C count(distinct left(列,5)) /count(*)  as  sel1,$ ~. y" _6 p( r5 c6 Q! r% v" X4 t
count(distinct left(列,6)) /count(*)  as  sel1,
% z( g6 c& n5 A. d* } count(distinct left(列,7)) /count(*)  as  sel1   from table;
) n& P/ e5 |  t7 I找到接近0.0312即可。4 ^6 N5 T. \6 k( K7 W: ^+ N" v, `
: u* i' w" P( g' ?- V# m. `6 b% w
Alter table table_name add key (列(7))
( ~& q& B0 j; o5 G" P+ \1 w/ s( x3,覆盖索引% G) j- a: F) h" |
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
! J& b6 _9 \, l/ zexplain时,extra中的会显示using index6 [5 q: @+ k8 Q9 I# b7 o- V
这里一个重要的原则是
: w# U; c2 [9 u% E, x/ P6 }select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
9 @* j8 j- F# g. h如select id from table_name;/ R* k: N# g3 ?+ ]

# S1 h# `# N" `- \很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不4 R& ~) d% m8 m  k; ~" ?
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
. t; `( V6 j# z$ R  W! ~! k- _/ u0 R5 D
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';1 L) H: J9 f0 {1 ]
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:" K9 [5 N. Z5 \2 v) Y5 j# ~# \
1,
- G+ C" M$ ~' e, V  ?没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。$ p/ ~" s, A0 R" M6 Y& O+ O- Q
2,3 b  m, g9 e  E0 {3 h2 g- V
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
2 D2 g6 j" F3 _' i1 j3 h+ J- p有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
9 x$ q) U# f$ p9 ?/ ]* L
; b) ?1 |% C; o2 {4,为排序使用索引扫描, O- `% B6 G$ D0 p# c/ }
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。* o0 @  r* F4 w
explain输出type为index,表示mysql会扫描索引- O" D6 z, \: o4 W
$ _. `0 o+ u- b2 F
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.. S* y5 G6 F/ d) @& G

* W! x9 [* j' \: K  i3 o5 g' `MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
5 |( }$ x5 p3 W8 \. W
* {+ T3 q7 @3 C: O按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。% Z6 F* ~  I8 s

! y- R, I8 u/ ^: FORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
  Y  z9 B, J- ?0 k1 {4 M
+ V# L' R. N* X3 q使用join可能情况会有不同
7 _9 F# _/ c: m; d5 R% F6 }
: |& G% n3 r  [6 v# f6 Z5 u$ {5,压缩索引(myisam)- Y% s) o, [  c# w6 n! _% a/ f8 l
6,多余和重复索引(应该避免)2 d2 g! o0 q" F

2 G9 H) P) W- {! J- X多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B): M4 F9 L- G6 n2 ~, w# K* `1 ?' J
上有索引,那么另外一个列(A)上的0 F1 X4 g4 j; l5 s3 U
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)& N; ?6 X2 E7 d( W; p. J
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。: h. C9 D& e4 o/ Q! y6 {2 X* [% q  b

% q" d# k% j& N" C  ^5 J要点:' F( Q  \4 e7 ^* B
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
+ y. v3 `+ M1 H' I; h, J, |( O
3 p5 X2 ]0 D- x) |; R* q7 X4 G  N即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
% U- d% d2 N2 W6 K& c( {' l& w
( D6 v9 K* X* ^: H/ t; o" V; l1 W" v2 p* e1 Q( Z9 {- s

% {: e  [% k9 J1 e# |& `& x; W: d
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,# R; O6 ?5 Y0 u* k' ?, N& M- p, R* I, m

% `4 d, ^- q" c  }拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引) S! ^. G! K$ A
: F* W3 p4 W; g. F3 l$ Y# r9 A

# F* x8 l" X  c7 W$ H9 [( W
- Q+ J! o' H+ i# z7 `+ M  `, j' M一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索% c+ n: N# ^) ?. f

* O2 }9 Y3 K0 N7 x引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。; T/ Y. h1 F& G( g3 Y, J. [
5 |2 p; t, d6 i
; d, ]$ P! f& s5 a/ F$ _
/ d9 d) l) \! t. J  a) Z5 [: y
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。1 ~& v' |6 ?! Q+ z

' n7 d) @7 s6 @" ]/ W例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
+ i6 w& l* q6 E- `
, F- r. @5 H& z4 ^+ n' [这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式9 v' U3 U0 p3 W" R+ z/ F, v

% h3 q+ `' j" n  X- t& g+ W' t; R4 B2 L6 m0 v3 z+ ^% [7 ^: X( L
8 Y, y& q. n3 o
避免多个范围条件,只能对其中一个使用索引3 j8 @3 j5 C) @8 {
$ G5 c- t1 I6 ^! q, I; |

0 C/ K& ^# ]( C: c( \
9 y" W3 r1 t3 H3 V0 I索引和表维护* N* X. a6 [* d. d+ |$ ?

8 K" r6 E9 C) h, S表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.* _& k$ v% p8 \+ o0 l* ]) ]

  f7 S  f  H& M* p! B! e- Rcheck table table_name;1 g' w+ v) ~* a  v$ G+ G$ B
repair table table_name;& _. C* r% F' R- d" D
Show index from table_name;检查索引的基数性/ z6 q; j- K* A* @7 v

1 K6 @9 B5 ~  Z4 {& c6 u# X主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
/ s3 w% S+ e9 @, C4 Z1 H  [% i2 ]5 {6 x! l4 K7 b4 Y' h

( {) M5 A. t8 q7 O' ^* ^0 K7 [  T( x: j, A. T! P! q
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。, R; A  G0 \6 {3 N
' _5 ]2 w5 ~* D' l  k# b
表数据也能变成碎片化。两种类型:2 |: S. \, b; d6 P) r# f; q
1 v, l2 {+ U7 u) `* y+ k6 I
1,行碎片2 K! a% n# n$ e9 O$ |$ T! g

4 h5 Q6 D* ]) @7 H当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
. q; Q8 Z( `4 }8 x6 A: q0 y+ O4 W  {7 M) Y
/ m2 u5 Z& ]. M/ d  G5 Q4 N8 p8 C

0 l8 ?/ x& r2 b& u3 K6 ]% ]2,内部行碎片
7 x+ D+ @# l8 s6 [+ _3 h) P% v! C  [' ^- m1 ]( n) n
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和0 v/ ]7 _& m7 |2 M) U

5 d4 v% D. p* A聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
7 z+ P' X- n" Q; l( q) y9 B! @7 c4 d* ?4 M% `7 o9 @
* J: ?& U5 H( i2 l4 k# }

: d+ \& R5 J  R为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
5 k8 D4 [: g2 F$ X: r6 Z% W. \) \" z
0 l+ W  {& ~  n) N/ @) R. _- h* h- Y" M. J; e4 G2 P4 f4 }1 n
0 G4 j2 Z( f5 I& w* I7 u) ~
ALTER TABLE <table> ENGINE=<engine>1 {* c1 p, r/ V0 A- ?
- N0 k2 N% s* L3 e6 ~

# q& K( z  M/ H% v9 \$ B
4 p; M/ l7 F1 X# Z5 s加速ALTER TABLE& c7 \1 h# f: Y* Q' g$ w, b1 G

% r1 R. [5 v0 A, _
2 R  _3 z0 o$ T$ z( U6 l% x. l2 t, I) ~9 |+ e) w
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需  f3 m, z' y+ M: x' l
7 _5 I1 a! g) Z+ @
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,4 _$ w; l$ M) o# o9 X

- e" T2 l0 e5 a而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。0 M2 F) v5 @3 \: Y1 |" h' n
7 m  T9 _4 O6 a1 I) R
传统:  I! K! d! b* f( d2 d% G
2 ]- [2 B7 h! S7 z
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
, b& T) J; k' R' V- G" e理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
7 a, V. {& K3 k改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。7 H  }& |  Y9 K2 y1 o

" Z6 N8 P; _* [! B0 C6 ?变化:
. D/ g% B8 ~3 D; K9 D5 t2 [" D5 Z& }. _" Q7 D" f
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
8 u. L: N, }- q/ Q3 L8 Z这个命令更改了.frm文件并且没有改动表。它非常快。0 l# j. s7 d$ X( s
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-4-17 13:56 , Processed in 0.038773 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表