召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2884|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
* g% u" M9 i" ]( A# Q: ^$ j0 N2 D有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
( N2 G2 [, L7 R0 X( E: v5 c# ?一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列) t' r9 c6 I1 u1 A) l9 [8 y0 w
在InnoDB中,只有事务提交后才会解锁
  O9 q& q6 M1 D/ f- U
4 g0 \3 k4 Q1 I& {4 U! s% F索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只" _; k* V# ]* f
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。8 r$ X9 V" M7 z7 v* U) G
( y" K; U; y2 y) L! j
B-TREE$ b* `3 s, d% ]
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找4 F: l: j9 q+ h# z
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。* @$ J/ C. d: x
  1. ' G. v- X( ^1 R, ?$ @. e! i
  2. CREATE TABLE People(
    , {* ?3 i, I- t! s2 L
  3. last_name varchar(50)   not  null
    9 f4 j/ A# X, L8 H
  4.           first_name  varchar(50)     not   null
    * D9 Q4 A8 Z2 {' X: N) Q5 u
  5.           dob  date      not    null
    4 ^$ b2 z3 g1 |8 m
  6.       gende       enum('m','f')    not    null& @* J/ Q# n( q3 ~9 {7 M
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
8 O. ?( V8 c: `! u. Y0 e5 ]全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
$ N2 Z$ s5 n5 U  u" w的人。' R$ j/ q7 Z; b- T. ~
匹配最左前缀
3 ~0 S4 ^5 Z8 }B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
5 O( C. ]  u, I. R匹配列前缀
" Z6 }: O5 \$ ^: e& j% H可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。2 f' o2 X2 J+ y7 Z
匹配范围值- o# U- T7 @9 [1 N. ]# O
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
, g3 }, P/ M, b( h- a精确匹配一部分并且匹配某个范围中的另一部分1 Z1 u' @8 e# A8 u' n- G+ {" x
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
% S* i2 _, f4 ^, Y7 Z. [列并且对first name列进行了范囤查询。" Q6 N  q0 t+ i7 V
name8 q4 Y& R: y8 K# M
只访问索引的查询4 X% W4 c; h6 p# w- f4 H
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。2 V$ W6 o8 [, d' Z, b& x
3 ~# {/ i5 B& ?/ n" b7 N
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,/ e  @1 z& c- b1 {; H7 v
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
) n3 H8 ]  c$ N; C$ g: F4 I找方式也可以同等地应用于ORDER BY。
$ T0 b" |( y6 Z* Y) {7 g. b" A; w5 a( S; U  P2 a
下面是B-Tree索引的一些局限:- D* p3 H% j" F3 q" ?
4 B. Z: f; G) S
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
7 |3 m% E% Y( W! H) X" b7 U也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
& Z: [/ E# q) A3 ~; m7 g  v氏以特定字符结尾的人。9 f, Z% q! k5 \" w7 d7 l# M* K8 B
% {; s2 V- \$ V: m  ~" [# w" G
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定; _% [9 v$ W7 C9 W
义first_name列的值,MySQL就只能使用索引的第一列。2 V4 _% O/ X9 G
! E6 _, m7 Q5 G
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
6 k8 u' E: Y8 G6 D. W# F范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而( O* z/ b% X6 l  L% }% ?
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。) _5 C1 T! y  s

+ c$ @5 ~9 `: }' S, Y2 q哈希索引,空间索引和全文索引等,暂时没有设计
. l& h, R! G( B- l3 p, v) l+ E
7 ?5 n( l" g1 b: G0 f& H- {8 f高性能索引策略
0 e& _0 h4 K" l, ~+ B7 y# {/ U6 V" {+ A
1,隔离列,意思就是不要对查询条件中列进行计算等操作4 `6 t# _- n9 T$ ~
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引. k$ k/ Z! |6 E* O
Select count(distinct 列) /count(*) from table;. \% e0 e/ t; i4 e4 _+ o2 G. C
看看这个值时多少,如0.0312
% h: C: e* b, l: Y0 r2 R) R1 Q$ v& l那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
% [9 v, `+ X8 X9 g: _7 d) X; W6 _,这对于大表很有用。7 b8 H, h2 K# h  W
Select  count(distinct left(列,3)) /count(*)  as  sel1,$ P9 a# D; o7 A3 I' H* s
count(distinct left(列,4)) /count(*)  as  sel1  ,8 S: \# R3 M0 S  F
count(distinct left(列,5)) /count(*)  as  sel1,* ~$ k# T& l* V( R% b$ \
count(distinct left(列,6)) /count(*)  as  sel1,
  r# z5 S" _8 D8 C+ w7 U- I' y; m count(distinct left(列,7)) /count(*)  as  sel1   from table;
/ D1 N: T+ Z; h9 i: I  n找到接近0.0312即可。
0 T; s3 v5 ?# ]. d. h% Z* C9 G! E8 B8 ~, D/ C
Alter table table_name add key (列(7))
# x  P- ?0 E9 j: C, \# [7 X3,覆盖索引
  ?7 A6 _1 e3 U包含或者覆盖所有满足查询的数据索引叫做覆盖索引
0 A' \, K4 @6 F/ M$ o. Y) ]0 eexplain时,extra中的会显示using index2 l) l" b4 W' [4 s* f( I5 P( R
这里一个重要的原则是
( _8 @" M' n2 U! f- W' j& Lselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列6 H7 d) C+ n; i, J; N6 A% S
如select id from table_name;
6 i8 b5 }' H3 y" y
( Z+ k) P) H& v9 k很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
! ~1 B2 @  C) I  m0 R0 G一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。) W/ a# C/ b  Z; m- S
: h9 x( Q% t$ I
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';, B: t: S& \7 I# P' `2 z$ o
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:4 x# c, i: e, x% ?  B/ ?
1,4 E! f! b% s4 k
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
6 Y8 |+ Q$ k; W6 l6 r1 Y( K2,
: r) Z5 X' f9 N! [2 zMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
/ B+ ]$ u+ g( b) j# m0 u+ K% e有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
- K; e' @7 M) `' a) ^/ e& u9 I. u( d, p/ E& {$ Q9 N
4,为排序使用索引扫描* |% B' a4 ~! m8 s+ s
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。- P& O# o& k& Z1 a
explain输出type为index,表示mysql会扫描索引, f- u. O1 O' T, _" {0 d

5 I( ?; j3 k+ k3 v+ g扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
5 V& K# f5 {7 x4 t" E$ p
/ h/ a; E1 W+ b7 ?( n" vMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
4 S2 s* g1 `+ n6 R
' U: l2 I% }+ ?- m$ k按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。$ K0 D( n3 x* q: c

0 V$ `! H7 o+ e/ wORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
( x3 w; L2 ^, t$ W! z
+ n! ~9 t- Q  `# c; h3 a使用join可能情况会有不同
; p# d4 V% U, g" z, r- Y& C
: m$ ]  ^  w! t4 S( q5,压缩索引(myisam)
: r: Q- e1 z- N6 X6,多余和重复索引(应该避免)
( k. G' K# ?2 k" t! b
& W9 Q! ]( P& k8 U2 O. [多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)/ V, e5 F# P) z" V; v0 l
上有索引,那么另外一个列(A)上的: q2 H; n$ M) q6 T7 \4 _
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)* m! A. U/ d, h4 X  W* Z; R) ?
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
% o) h0 A2 _( u( l5 }' Z& }9 b( b$ F2 J5 \4 y
要点:( Q7 J4 N+ C$ I1 E% U: y( _
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
, F3 i) n1 N  b% r/ p6 Q( M/ Q% \! t* y9 M8 E8 X
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
5 k$ D& f. E- I- P9 [
/ {. D7 l' m# |: o6 E( B; M
1 N& {* V% `8 F7 |, Z% w" @' y  l4 y# ]; r  G: V, t
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
) [0 m; j6 _. j2 x. r3 }! X8 ~  j9 B. |& W1 o+ X$ {% `
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引8 W/ M$ d" {& j! X

( e* d- L& z( H
' g1 h+ F, A2 s  I* I: n/ B! ^0 H" i: k* N& r& J
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
8 a' ^# H0 {- }+ N) S8 s* N8 f1 r+ Q' K9 F1 f
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
- H' m6 f. K9 v4 g9 {& e
2 {5 H8 Q, r9 U+ d$ l
5 ~+ K! j7 M* \; B1 W9 l+ B: w( Q5 G3 l* A
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。( @) Q. H6 E2 [  n9 s

) S7 N* ?: i7 u7 {! _4 H' X1 C例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
0 M' Y5 A3 q) y3 Y5 @& S8 e' s3 k6 E; q! D3 X' l4 P
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式1 U$ i/ d+ N& A8 v+ U
) o/ O( E; X- [7 b7 |5 K
9 p* T4 K7 z. ^/ d# ]0 [
- v, \* z! b5 e; I1 a
避免多个范围条件,只能对其中一个使用索引4 k% o: e! w# Q( ~4 ?
+ v1 q( n3 t  T2 T4 R! A  @$ R: i

" a% W' h$ \' T& _5 `/ `( k& Z( j' d0 E& Z9 P
索引和表维护- o. }3 y2 o+ C8 B/ }1 A
% F; i+ l$ ?+ g5 I+ ]: V0 h) w
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
, j3 `4 m2 u1 C$ t# h. c
5 {0 Y8 [1 S% J$ T# W0 Mcheck table table_name;+ W, q( O* \- z) r! k
repair table table_name;& m8 Y( ]$ s$ w7 t3 W
Show index from table_name;检查索引的基数性$ {& t# y) H0 v$ G+ Z5 c
$ y* @; H8 f$ o
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量6 @  Z" ?2 a2 c
. w, `  N# F- w$ o, ~$ {- y6 r" t

. Q" R7 ^0 x; ^) w7 n5 {
" [% W# w- ^# o- vB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。. K- I. C( X8 a2 f: s
3 Y- y& v5 W: E. p8 N
表数据也能变成碎片化。两种类型:9 ^& f* R, |# g
2 \* }  n! D0 U) c8 q" c+ T
1,行碎片
# Q, R; m, G$ e4 b4 n: o+ [7 h6 J5 q4 Q6 r) O
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。; _! g# G8 L* ]/ r/ [3 f

" V* C  j9 a2 v2 t' d
3 U, w- Z! ~7 H* h! z, J' J6 G# b2 f( u% H- B0 \  l
2,内部行碎片
) ~" x: Y" Y, S* ]1 n% O
8 G; B/ `+ e( Z8 l; n4 t当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和, u' y- e& q1 S) P0 V  v
8 a% C; V; p: G% v0 b' p4 i- V
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。% T' u' O5 J' d( E6 o% r4 ]( I0 y
0 y- p( t9 S# @+ z! z/ _3 e

: J+ X/ Q% l/ |, s. E( [3 P# E4 N, {6 k* E; C9 E3 b( a
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。9 R$ K1 P! q2 s2 o
. `7 z. ]5 z' I: {8 w, L% T# {) _3 `
5 k! c! r# s' [2 k

6 T! k5 e% h. V8 C! R9 GALTER TABLE <table> ENGINE=<engine>
* S5 A; B) ^& J, e2 P/ q9 |8 x( C/ V) V
& M& }1 i) A- h& e$ L( I

$ c: G+ _/ _3 d# P( B% H) U/ D/ `加速ALTER TABLE3 |( M) [) P$ t+ t

. O# L2 g) a/ i5 K! s* z5 k
$ m4 V0 v3 v5 }( N4 b# n) d( m5 X. ?, ]; |: E! ]$ a& w, p
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
' Q1 I* Y. _$ h, a, d+ r* R* Q  p, \: J1 q9 R
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,: j0 l* J$ p1 k8 W6 _6 y) r: ~
" K5 V) m7 S9 t$ q$ A4 \0 n: B/ j6 [: S8 a
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。  l1 Z' @4 Y- _) e/ M3 L5 h

9 C3 b, X  Y. Q6 \. E0 ~传统:
; W  Z- J0 _  R" {
  z" A6 x* Y) k; d7 ?ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
& n. o, o) E3 j1 X3 h理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更: x: B* Q; q3 R( B* ?
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
/ _% j8 U( M7 |8 g0 h& C6 W  c" p$ s5 f0 m. x8 n. s- c) E# c
变化:
+ @( m* x& `8 w. i0 }& O
9 _' b; x$ D3 j. s6 E1 OALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
; [! i' \  _9 W& g这个命令更改了.frm文件并且没有改动表。它非常快。/ i8 r+ g: c8 L, r& d7 @
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-3-23 00:46 , Processed in 0.033405 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表