召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2641|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
4 g) H3 G# n9 [, p) \有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
* A. G( f+ ~7 Q, b  a9 C, f5 Q' ^一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列+ B3 u+ S5 @5 p5 n  F& E" i; b
在InnoDB中,只有事务提交后才会解锁
4 [6 G' U; q. M9 s6 A3 u9 S4 E8 v6 s6 u- U5 R& t% P4 J/ z
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只0 c! i. L: v2 O, l' x5 T2 ^
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
( Q2 W  q6 O- n+ c0 z, d9 r1 k; z( x' S; E1 y" g9 v- {
B-TREE9 A7 O# B/ v8 D1 H
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找, {# g* e% L8 o9 S: N5 s# A
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
8 s3 E( y( C2 J  W$ c: H

  1. ) f- s  y. z/ \! g: \9 J, q% G
  2. CREATE TABLE People(
    / ]  s+ l$ z# ?$ ~3 Q4 z
  3. last_name varchar(50)   not  null
    * ?" C" ]- K' E$ J8 _; ^
  4.           first_name  varchar(50)     not   null2 b9 c$ \9 I; P# U. h1 i' B
  5.           dob  date      not    null
    " ~4 T2 v4 h- D# r' W6 E
  6.       gende       enum('m','f')    not    null( E8 A# T5 {4 L: B$ H: B, F- C* k& h- w
  7.         key(last_name,first_name,dob)
复制代码
匹配全名1 \! L( B4 l) f. g/ W" R9 d6 [
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
  i5 i* r, o% m5 b* @) ~; v4 o的人。
+ Z2 L7 v- i+ K6 |& ^匹配最左前缀
0 [9 j  e' G- Q) B' o: c3 ]B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。7 }: p1 }: `& X* C7 {! O/ a) f
匹配列前缀: }4 H, d& K+ f
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
. f. D! ?/ L( l* _- _匹配范围值) |/ y2 T# z; {  e
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.5 Z1 N% z0 U/ C. F% D4 {# |9 |
精确匹配一部分并且匹配某个范围中的另一部分
1 K8 Z9 a6 K% `9 q9 l  N这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last1 Y- u  C/ b: B" A* A$ K- c9 V
列并且对first name列进行了范囤查询。  c4 {+ L& }2 N  R0 h8 _- }1 I
name
1 b4 N- M( I! I: n. [" @0 z7 E只访问索引的查询1 h0 T5 ^: G& L2 }+ h0 |/ o- @
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。$ B* z8 q( F: n+ T8 l; c* l+ e( F
3 J% T3 {* w$ h  ?: v+ y
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
: a# v, N3 s5 b3 V  C2 g如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
0 c1 `  K; [7 M% Q) ^, r找方式也可以同等地应用于ORDER BY。4 b6 J& z/ C* ?! u
+ V- M+ b/ S  q, y, z
下面是B-Tree索引的一些局限:
! Z* J" M- ?* R, Y4 {( o2 a3 Y" |( G9 S3 q5 Q3 Y) n
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,* @  C/ r  u- m6 L$ e4 Z6 B# _* R% a
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓8 m( v/ p+ n# f# W) F' m8 s
氏以特定字符结尾的人。- t! d" c5 |  c
# J  g  T) s8 v  }
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
- K/ I" |- Q, `7 W8 `1 R义first_name列的值,MySQL就只能使用索引的第一列。: I/ ~  v& N) w6 [
# W( B+ Y$ ^# l9 H4 ~" G; @8 I. t
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是( m( w5 @+ o+ Y( a
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而' L& b1 }% {3 B% f% C- x
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
1 ~( H- Y9 A, O  p2 X! J0 R7 P! }4 V8 T8 y! x6 |) w9 J, d/ }
哈希索引,空间索引和全文索引等,暂时没有设计
# u3 Z* \/ Z+ \$ \
; g1 K; A7 p3 h- D9 E, b2 e( ~高性能索引策略, T# A# g5 w* U  R6 R5 x
( ~% W- B. l+ n. J8 T5 q
1,隔离列,意思就是不要对查询条件中列进行计算等操作1 K7 y$ b$ c# C
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引) a0 [% U7 |/ d, @/ }. `! _  q- a
Select count(distinct 列) /count(*) from table;
; C% O" d6 J6 D( [& K看看这个值时多少,如0.0312# W7 ~6 D- X6 ?# f1 R$ y+ C. h
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
6 t$ q( \/ G! V: u# M4 J' p,这对于大表很有用。6 S( n' o' W. ~/ @- K
Select  count(distinct left(列,3)) /count(*)  as  sel1,1 n# _2 a: p* u6 h4 r, p
count(distinct left(列,4)) /count(*)  as  sel1  ,8 `! n8 s1 i7 x: x  y. }
count(distinct left(列,5)) /count(*)  as  sel1,
: ?; `/ k- ~# q$ T# t$ `4 m count(distinct left(列,6)) /count(*)  as  sel1,0 p, F# M$ O6 @8 u
count(distinct left(列,7)) /count(*)  as  sel1   from table;
: g( S& K) `& F3 A/ ^4 w% x# @找到接近0.0312即可。
) \  L/ D5 {8 Y& P: r* T# V& T( c6 A1 C2 e. F
Alter table table_name add key (列(7))
. X8 Y6 b& |! b: O$ _2 w; i6 W3,覆盖索引7 p" C2 ?" ?' @! C1 e# @2 C1 N1 _
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
4 B! b1 c) O, S4 {9 U* {# E3 |explain时,extra中的会显示using index
/ u; z, J$ n, x- j* ^& w, `这里一个重要的原则是
9 H0 i( \+ \; {select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列4 {; d: V% @) [7 A( E
如select id from table_name;
% n  \: ?- `) c! ^. p
; s( o# Z) f. z9 Y很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不/ ~; J% B% \& r9 m& Q7 ]' I
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
# d6 @& O. `6 u: F2 n
1 \. V9 h0 {" H; V9 \
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';3 y8 T/ z7 D, h! A9 ?! x2 a, R
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
' R1 }; N/ |: J1 f8 k1,8 ^3 M/ B2 J. P; |
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
+ o3 s( h3 @6 H8 p4 j0 O2,
5 |. q1 `: l  C% Z$ a  GMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。. ]( X& m6 Q, N2 ~2 J) ^/ M
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
4 J) D* n: S( S) E8 Q2 F$ c0 r% f& C' v6 x( ~
4,为排序使用索引扫描
- M5 [. H. f! E/ s8 rmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。3 c. G4 J2 y+ C) q  R
explain输出type为index,表示mysql会扫描索引
( L9 O+ G0 s7 g# e. l- G* ?; Q, w# C% V! u9 ^0 _0 S
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
! s  y. @7 q* J9 S! J- q
+ q9 N1 {5 _0 f; AMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
. H+ L3 C5 G5 y8 \0 d3 ?- R0 @$ X, Q) y5 M1 @
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。% ~# O. i2 `* l5 B$ e
: D: z" y. @5 y$ T1 O# C: d* E
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
# B$ o/ S6 F! V) j! w# t1 m: X/ h  d1 I4 p8 n8 M- L
使用join可能情况会有不同5 t. ^/ W/ b8 S, J1 h9 s: y, R

1 W" M8 w7 ]5 d5,压缩索引(myisam)
4 n; w/ r- f1 d) }8 ^6,多余和重复索引(应该避免)1 [4 t/ g$ h1 t' U" \

; z' d* r, J) P; A6 @多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
) a! W/ R! u$ S; q+ G; R上有索引,那么另外一个列(A)上的
: D$ i9 N( {9 E) Q6 s: l索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
5 x! B3 o% X1 b3 H! _然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
: H# P6 X( L+ {- l. J
$ P7 k9 G7 i: `. Q7 r5 b要点:7 O( g7 N  b5 {1 S+ }
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
! M$ o4 K3 A, u* U" l
# ?) r2 ^% u& R1 I' R: {& O即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
8 w, r5 u# n$ x& c2 x9 ]/ v* K: j. D$ F3 V" s

2 L0 \1 ~: g2 p7 |/ b
9 j$ r% h! _8 V$ ^6 L
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,& B! k" W8 ]- @" ^
" C3 k4 g, q. W
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引- O+ J" g, i7 Y" C

" R1 K1 ]$ I1 r& N
' f$ _% Z2 Z- e3 A8 ^% ^" J! N1 m3 e- ^1 E, O3 S1 i
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索$ _- r2 [$ a- t% P9 ]

. V9 u4 F& p6 D引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
9 P5 d, `/ @# J2 h! s- a& S7 x7 b7 U( Q
. i5 A+ m3 y8 Z4 E- c7 V3 k
1 ?: ~5 I  d( |% `% t$ J" \* U' |& {' ?
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
' t2 Q3 q$ K( I5 H9 K; K" s+ {+ y/ N  p
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理5 Y$ i! d( D. y

, m/ t. P2 k8 L3 M0 k; J这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式0 F8 t1 |# M4 Q# ?, |7 x4 S

, P& h$ J: t7 P0 |+ g- r/ t; L. d% P2 A7 ~* j/ o

1 U2 J9 K, `& @$ z  f避免多个范围条件,只能对其中一个使用索引5 e+ U/ h  j( {4 n
% ?7 C$ A1 i# C7 F% J

+ u3 [5 h* p7 w) Z
; X) D3 p! ]4 A7 t4 _索引和表维护6 i$ L* H; S! [6 M
- s" i5 G, H( P. `( Y6 Y
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
: z, U, C0 [- Z# S; h  R0 ^0 x9 {1 q2 K/ [. D
check table table_name;! T6 C" b! {6 v# c" D
repair table table_name;, ]0 U4 I1 }: \# C% W
Show index from table_name;检查索引的基数性. S; A( Q/ K* x% U' P! z5 w

9 r7 R8 _7 F5 D: S: J  Q' H主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
+ \2 O$ W; B2 I2 w- j7 y
+ J/ o: v( R2 m8 A- i
) V* x# @2 |  e6 x! s' l& e
2 P) n6 N/ {- {" F0 V- |B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。$ L  [- v- k4 r! Z; U

0 }/ i/ X2 b1 P" m! u  O- }表数据也能变成碎片化。两种类型:' d3 w3 C! M( J# m! f

. i- R3 T5 D; l# @' U+ g. m1,行碎片6 [4 q4 c- q2 }! s, n# i; t. Q
; b) _; Y+ l9 _1 T8 w( t* y; s: c
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。1 s5 a  e6 _, {7 ^9 i9 d8 e
6 ?/ p$ X- m, ]
& \3 i2 |7 r2 Y$ ?3 X, ^4 e6 K

1 z3 f7 Q6 @% Q) _7 Y/ x2,内部行碎片
/ ~; |6 b1 ~: w, L& D! q, H5 h/ V2 E9 y* U7 q1 E
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和- d( F% z( O( H/ \
8 D: q$ O3 a! s2 T8 d
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
2 \9 K9 F. c& O! B6 W- Y& Q/ F' [; A& z

  a# X$ `8 A1 [) R5 n' s' P! I  ?$ a$ K. z3 o1 f
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。  E/ D9 S( d# _5 B
0 D6 K$ z: u* y$ }# f" ?; g0 L

5 F! x+ I/ Z: W6 m2 }- g" y3 p* L) d8 O2 M+ n7 W
ALTER TABLE <table> ENGINE=<engine>- D  F  M/ M, t; L( f: [5 e+ l

; |4 u% q6 j+ b( m# B; Y- j) C6 P' Y8 x9 }  }+ ]: z# Q* n% t# ]! S
5 A3 }$ A' _% ]" V; U
加速ALTER TABLE9 b- Y4 w' S. c
& e' V& T% }1 M

9 \7 b2 ?; A3 w: S& X  c
. y. M; o/ t4 Y# Z, NMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需2 |$ q, p8 u$ z$ l) D. h! `  @# x
8 i1 ]5 U* A( v
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
0 @, b, X" c9 E1 M+ y- p9 B- e7 i0 h1 Y3 f7 E+ ^, ?
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
8 v1 y  v! _( r( l: z
8 Z, B) T+ z9 Y- Y; |传统:0 [1 Q/ f/ Q7 v" _% U$ u
: @7 R8 X; G# T
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;0 B: N# |/ z: {) x1 d6 A4 z$ ~6 p& p
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更- a+ A7 b  O7 A8 ^8 a
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。1 A- s9 l. ~5 \; C; h! A* b1 q
4 L: a5 y: q  n
变化:
% R9 m3 m  D2 O4 n4 y) B. l' [4 V% @! |
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;; U7 ]# [% S. h; E( s
这个命令更改了.frm文件并且没有改动表。它非常快。: P4 z( O5 P- Z# _+ q
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2025-8-22 06:53 , Processed in 0.033616 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表