召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3109|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
6 n( D# Y1 @4 K6 E, s有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成6 v" u+ D4 x5 n7 u6 C
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
4 o7 U$ ~5 B  g+ o- r# R- d9 b在InnoDB中,只有事务提交后才会解锁
# E" \6 ~; D2 J$ d1 k1 S3 q% B! B9 M) }( P: t/ \6 X$ ^
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
4 Q! O0 x) Q; k. I: \能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。3 f9 [8 S# w# J+ r" X

# _5 ~$ v' ]6 O/ W! U  U! _! S) EB-TREE
6 S, Q- k  ]5 R7 W5 I' \能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
+ M* r* L# v0 V5 U使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
4 ]" {, D' }! i+ \+ J6 I

  1. 4 W/ {* G, W2 A
  2. CREATE TABLE People(3 n9 o' P% L5 M$ q6 S
  3. last_name varchar(50)   not  null
    / ]/ o' X* D# k8 P) |
  4.           first_name  varchar(50)     not   null+ r" a! Z" w% t2 m7 n) L& R
  5.           dob  date      not    null
    7 J& Q  S+ ^. X5 \
  6.       gende       enum('m','f')    not    null7 ~* j  ?# q* M; l
  7.         key(last_name,first_name,dob)
复制代码
匹配全名5 T1 U  M( W! b: S. d: v
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
3 X. b! }  m) C: ]- b4 f的人。
% R; E3 U) F3 `% W! k匹配最左前缀
5 o; n% `8 O4 ]$ E; p9 MB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。, H+ ~1 D; w5 U$ F) G/ [7 U
匹配列前缀8 B0 Q" Y: y+ D! T2 v" [* P
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
* h! b, p5 H" r% l: o. J" o匹配范围值
2 q# x8 J% [# e7 \& f, N) B4 T4 w这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
. w) V- X! T: R/ e精确匹配一部分并且匹配某个范围中的另一部分
/ I1 D5 L- c) m) ~4 A这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last" V; B& d0 q% [" S- |: T. Q. O
列并且对first name列进行了范囤查询。
8 E9 d; B7 ?  zname
5 c" L# P1 b7 }) y+ _1 x# `) U& G9 Y6 r- m只访问索引的查询# ~+ p0 f5 v' U
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
$ K+ F/ S7 W% Q  w! L8 \" z# t* n# [* E( E9 i
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,) ^5 N5 D' c4 Z" P2 ]% q" J& I
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查9 h1 Z# @* Z! L1 e5 h" t
找方式也可以同等地应用于ORDER BY。
9 A, z% G  R7 H% {: P; a# H- \2 S: F- t) V. F- ~+ w6 F' ?5 I. ]
下面是B-Tree索引的一些局限:2 @3 m2 g: s% d5 ?

3 f  ]* z$ K1 M% D: C1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
5 G2 G7 z: _% ^) C' U  U也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
9 j' l. \. F/ r1 g% A2 U# }& R# j氏以特定字符结尾的人。
8 ^& h) O+ M" _1 E' e" o
/ o3 O: r& F4 v# _  O4 N9 ~2 M& d! V2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定& w8 F7 S# }9 T1 l8 _% s( W6 A
义first_name列的值,MySQL就只能使用索引的第一列。
( I2 {: ?( K& h5 m; `( E5 b/ s! k
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是% R) A  G3 r: p# g
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而0 Z* {  v. `* y6 O" b
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。+ l3 P4 E% `$ D, z
6 U- l- g: s5 l: {* a
哈希索引,空间索引和全文索引等,暂时没有设计
+ r% y' B5 t5 X, ]' l
- i& B8 w2 c' e. s( P. p/ {, N高性能索引策略
+ i5 }( Z! X2 t. Y+ B
5 c8 Y3 B: T+ O8 K& u# x% C1,隔离列,意思就是不要对查询条件中列进行计算等操作
) N5 `" u( \) F* U2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
( k  Y+ |4 L  r3 C1 W, LSelect count(distinct 列) /count(*) from table;
  s8 }# y4 K6 b看看这个值时多少,如0.03124 q' o4 l. P( v+ _
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算4 d6 {$ Q9 r! v- D* Y9 N+ A
,这对于大表很有用。8 G3 |+ w8 H; `: |% d  b
Select  count(distinct left(列,3)) /count(*)  as  sel1,7 v5 O8 c) v; R+ c; X4 v( ?) M: n  t
count(distinct left(列,4)) /count(*)  as  sel1  ,
6 {  B3 Z3 p( e0 T- C+ p: a' ]1 k count(distinct left(列,5)) /count(*)  as  sel1,: T# }* u) U: K
count(distinct left(列,6)) /count(*)  as  sel1,5 ?: X, v; S9 m1 M- ]7 R3 F
count(distinct left(列,7)) /count(*)  as  sel1   from table;
: P# e  L$ Y% H1 E& I找到接近0.0312即可。  p8 Z9 N8 `( y0 p* S0 p1 v

. G( P9 O+ s7 _  [/ ?Alter table table_name add key (列(7))" C' g$ y! N6 _3 I- A; ?
3,覆盖索引
2 [) `: C0 v. e包含或者覆盖所有满足查询的数据索引叫做覆盖索引. _4 E/ e. A; G6 y9 H6 d
explain时,extra中的会显示using index
5 F" A, r6 ]- W$ D& X0 b& f8 N; C这里一个重要的原则是/ }" y! K% t- O. J
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列) U6 {# i. d( l+ A/ }) x8 d
如select id from table_name;
8 C6 }  h: ?0 Y- I% ~4 Y% i" C3 ~% W0 h7 G- f* {- H
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
: ]+ A* ~% X$ k8 x  o一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。' L9 X9 ?) ~' q

1 `: N- o1 I6 d
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    8 \* X) ~) X% {* N; _
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:  `7 Z4 k; m! P" o0 {
1,; h/ b+ ^: K2 l6 f) l8 h5 Y
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。9 c9 x! `8 b3 ^0 t7 j$ R( F
2,4 w* v% Z0 V% H& d* C
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
7 ^2 f' o; [; {3 g有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
, b$ _; ^: Q8 G  c9 w* D1 t1 R; d( o7 b3 I5 @) _# e
4,为排序使用索引扫描9 i: ]7 X) u# R0 {, D, @0 |
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。, n) \5 B! n1 P1 G) f+ N# Q& r" s
explain输出type为index,表示mysql会扫描索引/ W! x/ f/ \# M6 R
1 N! ~5 B9 r# ~) H3 q" D
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
( v; F( _6 m0 ~. i; r
# g: A# j* b3 c( c; XMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
* C- t) l8 b6 k4 v
$ t: U. n9 K3 [) H) L0 L: g% C按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
5 |0 ]) f9 n$ D5 y; W- T* h3 v8 [/ w6 r* v/ g
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。/ C2 b- `; E# y2 x; ]

  q- |8 h6 W/ L$ Q) r7 V! [- ~, s使用join可能情况会有不同, y) `4 R/ F6 f( n

. d9 T( ^4 Y% ]( E& s5,压缩索引(myisam); g0 e+ S! b' e) w) o1 y/ V
6,多余和重复索引(应该避免)
& k0 v- B5 s8 q) i/ B! B, Z: c( K9 ]1 F( T) `; g1 P* P
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B): x( K1 Q5 M% x  g+ B% C3 I2 K
上有索引,那么另外一个列(A)上的, N( u6 i8 q8 P( k/ Z. b$ W8 T& r, l
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
: d+ G  [% O8 a2 q; k然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
( X0 h6 |9 t; M" _0 C9 ]  D- w$ x; Y1 }1 _6 Q/ x
要点:* w! S: T4 o8 {2 x9 d) x: {/ v. `
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
% f; {, {$ x) s, A' M! F; w6 e3 f1 K8 E* L
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行% O, P2 N8 c: n- E. v

& x- r+ S$ r9 m# {: N# j2 Y
+ c  h$ g- ^9 L$ `% G& w0 v" J9 n: b) W# b& s8 W
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
+ z+ d( e- K- {4 `& V, [& \/ C
2 S5 C4 x0 K1 a, }0 R& u/ p1 P拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引  u& H% x7 l+ g. ^
" E1 Q; o1 }9 l+ J2 R! T
" O% Z& X; Z) J/ J) O  s1 k
9 n! \: m" g* m7 g4 \' p
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索" N- Z9 G# x" w% \/ F8 X& d' L

5 @& c- j& f! e, b  Y# j1 y5 v& v7 d引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
+ E. @& S- T# V: d& R; N, ^+ a0 d' C* ~$ J/ w* g
) G4 s( w9 _7 `3 t7 B4 Y$ a/ j

# }" G9 R& l; p8 j8 c一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。+ b" M% J1 a% d" o# H" L% S  S2 Q
4 D' }5 }  v& ~% g5 f3 L
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
. D9 s% w; w- e; f: S% P$ r) r6 ]* I. L! a1 }4 _- F
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式" x. b( c) e3 m$ K* z4 Y
$ w+ a( c8 I) d( L9 U6 U

9 z1 F& N" G5 H/ e: @+ k3 h+ m- v) l
避免多个范围条件,只能对其中一个使用索引
. W7 f0 _5 A2 D# L7 U- |
* }( u/ i4 P, p& _
" ?- a* Q" I; F  D) d5 E# s( [% j& q+ o: R; c1 x" b- ]6 u
索引和表维护
, w  S+ }& y7 d- a- r% I3 P+ o4 v# Q( Z" ^
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.5 P3 f* G; e$ L1 I/ E; D4 l

/ `3 e) G" `. Y5 U3 w( b1 Ncheck table table_name;3 @$ e9 T% w4 ~8 A# W* Q% `
repair table table_name;2 w; y. B: m- c5 V5 Z1 r- v
Show index from table_name;检查索引的基数性
/ |; a. I5 E( ~0 Y
1 F" B0 S) e& `主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
7 Y/ t2 D/ Q( i! `* b6 N+ g3 q) f: U. q3 h
+ F3 i6 I  }* \- g( b

( w( C  a" x* L# M3 y0 v# VB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。+ I3 J% k- A% Q/ N
) i9 o! [- h" v* V) r% ?4 y/ Q+ E
表数据也能变成碎片化。两种类型:
  Y* m, a. r: q4 H/ e7 ?/ v# t) M: K0 F8 B' h2 m) s
1,行碎片
- _# ]7 J; N; y: d+ W" y
, u* c/ C: [- Y3 ~2 O" E当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
1 z2 b; `( e! B, P0 s
+ t1 z- n3 u' v4 `1 t; q
6 ~* `% ]/ a8 E5 [% }. _: b  @5 \: s
2,内部行碎片1 [( M+ F. m# i9 O

( P" N5 Q7 c6 V# R& ?7 h* j当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和/ E( F. o# C) X  c4 V* |' B

5 A& y, l5 x. a: t& w8 m聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。$ ?, S- |6 o/ i+ A; G5 _+ K# N! F
* E0 S% O2 y/ b/ B3 |9 Y

& T5 d3 C" D- L+ Y0 {- o# E9 R$ R+ F7 w& D- h: o  a5 W
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
" T  N& x& n1 f9 X& {9 H2 R7 C+ X) m
6 y2 _$ u3 m. e& {* F2 ]; k) v$ i
/ s( {2 d% U$ t" R: ^- Q' X, C
8 e: J' m9 T- O4 k* P9 O$ ?ALTER TABLE <table> ENGINE=<engine>. A8 K4 F( T8 F# E. b; i& Z

: ^0 c" Y1 ~1 M* C% u+ j- l' y$ V; c* a" n+ m! N

- J- b5 u- l% M5 G加速ALTER TABLE
" v3 [" N+ |- U$ z' Y) }; z  n+ y; T* h1 D0 U$ q
. _, y! O) R( q- |) n

- J, K. t& }4 i, k3 B. N! b0 n! ~MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需- Y+ D  M0 Z& `1 `% t

" m! _$ S9 P& q! J6 z0 ~要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
8 x3 j' m+ N2 V
1 l* e/ {) L& q" d" _/ R2 O6 Z而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
6 z# Y" W8 m( E7 ?2 B8 K: j8 R" g6 }8 {
传统:; O4 j, }  v5 x8 g* S
2 b* D2 s6 W+ C7 w4 w9 `
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
- O, U- J4 @  b% c6 O+ t+ V  X理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
7 @# ~) @% q5 H改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
, L9 H! z, |) L) T9 C
. `  @# u* @/ A变化:- L  D8 T! ~1 W( c
% w: \* i! v; L5 S# _
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;! E% n  k" ]2 |8 _& l1 w
这个命令更改了.frm文件并且没有改动表。它非常快。
. s, a) i1 B6 I& _. @8 e( x还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-7-8 01:38 , Processed in 0.040557 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表