召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2784|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能% `  `& U1 r7 m! d
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
" h7 Q+ b* g6 b1 p一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列7 g7 n; W9 y% `/ I$ m9 I% ?
在InnoDB中,只有事务提交后才会解锁
. C3 v- ^' T& f$ Z0 Q7 j/ {0 i. A. Q% w2 E# {
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
, K# F! |0 z. V) {能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。( r" {3 _$ @2 i

7 u' L, N; S; H8 `, ^B-TREE& B/ T$ C% p9 W. Z! {
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找$ w: W" j: P7 `1 ~% f9 f% T' O
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
6 s! x5 J7 J9 l

  1. : e9 }: w( T) X0 n9 k
  2. CREATE TABLE People(
    5 z( V- W7 I8 i/ B  {5 l* t
  3. last_name varchar(50)   not  null+ _- Z0 ~: R, }! J# t
  4.           first_name  varchar(50)     not   null% |0 A; o/ W8 q+ d
  5.           dob  date      not    null4 j' l2 |  m  b+ \  e  w
  6.       gende       enum('m','f')    not    null; v' d- y  B& Y
  7.         key(last_name,first_name,dob)
复制代码
匹配全名3 L9 u: c( ?2 c; p8 N) E9 U. L
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
/ o# F+ I  v6 ^4 j. o) `; D0 R的人。, N2 R9 o3 V" R! X( A
匹配最左前缀
9 f: b0 g/ P* k( ^B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
  I: b1 \( X% s匹配列前缀
) N  M; Z* {/ W. x* m: K9 E可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。! D) E4 L, }+ y/ k
匹配范围值
+ r  r3 K, o2 t* G; S- `这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
# ?) w0 T. o' o: J" X精确匹配一部分并且匹配某个范围中的另一部分
0 A* \3 J. t  }* r, d这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last' l' P6 _8 j: T# `
列并且对first name列进行了范囤查询。
: ^% M  o4 c' |* i+ [8 Aname7 c8 J) _2 T* o( ?
只访问索引的查询" x- u* Q" \- }0 A" n9 A; w
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
$ {, ^7 Y8 m+ C8 F' o# W2 K! u
! a8 b$ u: }2 T2 S5 ]8 }由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,8 N( _3 f) B/ ]6 E
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查. M$ b1 }" L& S6 @. z; W  j
找方式也可以同等地应用于ORDER BY。
  S  Z& z( ]2 e% p8 Q5 l
" d) s- t4 p* [: Z. z下面是B-Tree索引的一些局限:; o5 c: f4 j, U- e3 ?. h& a6 O

7 S9 V+ R+ E" m% e! n5 [+ T1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
5 ]4 ]* g) y- A" t9 I+ Z; I也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
3 D& I" G& U0 _0 @0 _" {' H/ }; ^- o9 B氏以特定字符结尾的人。
; Y3 |: O  K! u6 T) q& O' K1 g( N; W
* O+ T5 r5 C+ I) m2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定) F5 P$ V/ t5 q  C8 D9 v. u
义first_name列的值,MySQL就只能使用索引的第一列。. w( Z* H% J8 L
5 n5 ~2 z. P( n/ E/ k7 C& e  _
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
# m2 ]3 k) q  r, P  T# p范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
& |7 K! s1 [4 `3 g! e* Y不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
/ F$ e1 k% d5 w) K2 e& _1 d" a1 I9 a
哈希索引,空间索引和全文索引等,暂时没有设计
7 G6 v% e; t( T* _3 e+ a) T
7 a/ e$ c$ a9 |. a. G, D高性能索引策略. v6 b7 x% ~- {

5 ^- ?. {9 Y: l+ q# ?) {0 L1,隔离列,意思就是不要对查询条件中列进行计算等操作
8 _) X# j0 X$ P' u) T7 p+ I9 d2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
: l0 Q. u1 l! K' f* wSelect count(distinct 列) /count(*) from table;
5 ^/ l3 M; o" t1 K  Q看看这个值时多少,如0.03122 @' G$ J' T. @
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
7 ^" N0 p" W" j1 Y1 v,这对于大表很有用。
4 m8 r" {; Y2 w" gSelect  count(distinct left(列,3)) /count(*)  as  sel1,
* a8 [  i' l7 F; x$ z* W count(distinct left(列,4)) /count(*)  as  sel1  ,9 F) [1 j1 [: ^9 R# n/ `; n  b
count(distinct left(列,5)) /count(*)  as  sel1,
* A6 N  R0 W# D8 J! D7 j count(distinct left(列,6)) /count(*)  as  sel1,
) a; \$ B% }" P7 w% |; t) k6 j9 X count(distinct left(列,7)) /count(*)  as  sel1   from table;1 H: N: Q1 j& b  x/ b4 o5 ~# m
找到接近0.0312即可。
9 s. L& B8 h4 _/ z% v3 O+ K- H; ~5 Q
Alter table table_name add key (列(7))) F$ ~1 r* v+ I
3,覆盖索引
5 g+ p/ |, [- \8 R) S- s3 i包含或者覆盖所有满足查询的数据索引叫做覆盖索引
6 e1 [+ c# p  g8 Z1 v; [" E3 z7 d, Wexplain时,extra中的会显示using index: H$ ^* K& r3 _# X
这里一个重要的原则是
9 K" {4 U! G1 w( fselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
7 {  f5 ^5 S3 p7 D如select id from table_name;
# R2 q, k4 j0 U$ m) a3 k0 ]% W
) p. U3 V# ]8 Z/ g) {( H很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
% f. Y6 S( H& e# V! h- V一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。$ k- N7 z- p9 c8 w# n4 ~0 ~

( |+ K, c, V2 l; Q; Y: d3 f
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    4 d9 _# M  o; o
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:7 {/ r, T4 e) D0 g% k
1,. ?; H9 q6 u! E
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
/ B; i9 y) v! M& c+ G5 F. q7 q* A2,7 f* i, l# Z! l: D, |: i
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
3 T  \* c$ C3 D( T有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
& v; |9 D* |  z1 q; ^, A/ m  V4 T1 e' V
4,为排序使用索引扫描& R$ F; n+ ]: E! R
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
9 Y* R4 p, c" ]& Q; i" sexplain输出type为index,表示mysql会扫描索引
, a0 l2 E8 z' Q" {; j6 {+ ~9 |
4 v6 L0 \" n% l  F; a; P0 l扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载./ \5 M) T0 J9 R

" m3 r1 Y6 p1 t' c  C6 W8 YMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。5 K2 F  a/ p8 L, f) ^. B
2 M& p2 U- L& a7 [
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
) {2 J. N( M/ ?( o% p
% s" [0 b  s% F: I, `5 {$ FORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
6 M/ G* m% i/ o% y, L/ a! X+ k
5 Q% J1 n6 `6 R( o/ T使用join可能情况会有不同) I! }6 v7 O7 l  c3 x) Q8 v+ O

; R) t. Y* t7 Z5,压缩索引(myisam)
1 E8 U$ f, V: q6 ]4 X6,多余和重复索引(应该避免)# Z6 [6 _% P7 K# o" c0 |: n# k% c% z
8 h+ l3 x2 o) P6 ~
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)1 e: q. ^& E  s' B2 t' u4 c# x. V
上有索引,那么另外一个列(A)上的
, m' V% ^5 J# i6 R. @索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
4 V: G6 @- C4 k& F然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。9 X; `3 N8 l% {6 E* @9 y

1 _$ m: P2 ^7 F+ c+ A要点:
0 F$ ]* o7 A8 W  ~- _在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处." t( y9 K; x8 T( i
, }" J8 v8 }, B, a2 U# g
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
$ V4 [( K  S! Y8 p% ^$ o, k4 F& f$ f6 A7 Z5 m
- W1 }- J4 ?! T5 O4 j' Z! C* D
! s* m4 F8 V6 a2 i4 ]! X
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,4 W4 Y% C; O5 w& t: x. t: f
) A  B$ g2 C* E- P
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
+ a6 |+ K8 s3 D) ^* v4 [' U' _
0 u& y3 I) E; x4 a: k3 @, Y# t8 f" {- J  H5 z; f
4 z2 g$ q" n3 @0 `% _
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索- w0 b1 `, S+ L2 v: G

- u# w* a' @; \引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。4 E& Y7 d5 ^  R6 p! G

  T3 @) L. W1 w3 M2 C6 z
! J9 ]3 i0 M' p4 O/ H- |  c* p; r0 n/ h. ]
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。! [1 V3 [& S) |. M

4 H) H7 b- b5 T; q+ G例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
! h5 f, e# g  o' P/ ?/ j6 o4 |% _
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式. ^% I) c- A2 d7 a' L* z' k  g
6 J2 a1 `# `: \# m% n
( D7 ]( p8 K0 m: Y) ?

. d5 Y; x. x: \- \避免多个范围条件,只能对其中一个使用索引$ h: c! _0 N- t' }

: w( t/ S: m$ P- J% M% z% O  q" [% B3 g, Z% e- G
' P6 A, l/ K/ Z/ m4 M, Q
索引和表维护. [, g/ s7 Q3 z9 K# T
5 Y1 D9 L6 \. W' L( [
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
: S7 d" S- |+ g, y& W+ ^% I8 z$ u! }5 M
check table table_name;
1 I8 x3 y! z" V$ ]# U+ Z! ?/ l% yrepair table table_name;/ h$ t2 Z7 O# y) i1 \
Show index from table_name;检查索引的基数性- F/ A' @" E$ z/ m

. @* [+ N5 `' i" u1 T主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
8 H& b) i& P2 N9 [5 t: \3 P
# h, {) d3 }) q  {+ T; i4 S# ], c% R( V- O8 J! b5 p$ B, F
% v+ n, _* `# o, r
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。5 a* e' {: U7 e' m, p9 P' x

1 @# Y. j# e; ?表数据也能变成碎片化。两种类型:3 \" [: M4 _" I! [# r4 C
% j# k4 e) i/ w6 m# E4 T
1,行碎片
$ a# S* ~1 `! w. d8 Z1 N1 H8 m* `3 T; H
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
$ J* t3 ?9 T5 d) Y5 u% a3 @4 I$ q5 q0 m8 e

  _$ ?  c8 T  u2 y4 Q# i+ V# o" @
2,内部行碎片
3 s, m; P! F4 ^! o2 W  e
) S5 o, b6 b3 m0 U2 a+ ?0 f当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和  @+ g% h3 z8 M

& {$ y, k% c4 q  E0 v7 X聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
" X, o& N5 |0 V: X- M* N7 |1 _! B# Z5 b) a! s) g. ^
, _( }+ p. q) d! ^; r
% l+ {8 Q+ J* g% F- ^' c& I
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
' K, x4 y% d5 W7 P" g
6 b2 a7 \/ I0 y9 ~+ J7 R
- K. ]" _+ ~8 b' {
. [4 b8 B% I3 Q+ mALTER TABLE <table> ENGINE=<engine>
/ F% p# @% f& n8 U6 B7 q$ o: L0 D1 v2 ^6 m, n5 @( O) X8 S
! f9 |# ]! ]. d5 u/ @
! s( U) a# o3 J5 m, q( u. m  v
加速ALTER TABLE$ a8 n& Q& @3 g" \$ a( w

. [5 q) }2 g( u# H$ o# g1 C: {& D5 p: G( f4 ^' n

& N: w% K. Y/ V, sMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需0 X$ N  K7 B% ^
9 S, r! d5 ^5 z; P
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
" K; ]9 w- P' x$ F# @+ O, ]) r7 c6 }" t# ?! I* Y9 ?$ K8 _
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。3 z. Q: q5 v( n
4 o1 ^( \2 n1 Z: j. O
传统:
- b9 k; M: L6 i. v
% D& x8 A4 Z+ v: Z* NALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
8 Y5 C. u4 {5 {( c理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更2 W) U8 [% ]6 R; e0 r
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
% Z+ [" @9 h' ~/ k/ @% q* ~
, A, u$ D) m! o; V6 f* X( f9 J' g4 R* i变化:
2 F1 S& D) U( m/ D& u9 j" E- N
& x7 L1 ^# M% d' aALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;- b! B7 C! a7 t: M( ^
这个命令更改了.frm文件并且没有改动表。它非常快。) a, v4 I6 k, m5 H* Q: b1 }0 F
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-1-12 13:38 , Processed in 0.040391 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表