召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3158|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能/ l5 x4 ]9 p9 l3 r' D) X- x( [- [
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
5 `* f) @; ~# `4 l& c* ?; M% C7 X& A一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列$ |% w, n! t) n5 C; J
在InnoDB中,只有事务提交后才会解锁
3 n* _/ }, C% C) X3 ]- r  i4 J, a( ?9 D! l0 r" N3 p
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只4 U% }" }7 P" Y+ q- y# f
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
/ K! t9 T' j( w* t  k& `& g/ U8 v+ ]: |: x- o2 X
B-TREE8 s8 t, g+ O8 U. c- @5 ~
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找  ^' F3 _: t2 i8 D* j$ I9 n
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。' b5 n6 f5 o6 b% J$ s. C
  1. % R2 Q6 J0 D% _9 T, B% c$ ~
  2. CREATE TABLE People(
    3 C, X/ U4 {* ~# d. o
  3. last_name varchar(50)   not  null" |$ \9 N- @' u: B+ O1 _7 L% l# F
  4.           first_name  varchar(50)     not   null
    7 H) ~, v0 n* @( M3 @5 t% a
  5.           dob  date      not    null
    ) f8 I, z, J! C; }6 R* \
  6.       gende       enum('m','f')    not    null: C' R  i. L: `8 p8 a/ D
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
. s: M2 @% S5 |5 d全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
5 W& w  V% b3 |9 P的人。
/ ?; B* t) s$ N' d, ?% p: [匹配最左前缀% [' N0 R9 Q7 k9 ]7 i! }. F7 U% l
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。6 s. Y: E% {& i1 J# ?, ~5 h0 t
匹配列前缀7 i# @: t: k$ x, k- b1 }
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
& T1 F; F0 A2 e$ |& ]6 D* f4 B匹配范围值
5 v7 }( w6 s9 q这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.# e9 L6 v% N1 X9 X
精确匹配一部分并且匹配某个范围中的另一部分
, N) P8 T, p, `这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last$ [. K: N% C8 H% _* I5 g% K
列并且对first name列进行了范囤查询。
8 V' b3 H7 j2 N+ _- r2 m0 x" Iname
$ B3 R2 C) x! Y* O1 \2 v7 ~只访问索引的查询7 ]; r5 A; u* B" o4 z9 J
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。, \* }5 c- d. M. O0 Z: m- _- @  A

' @4 T* z# D! \! g由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,% y2 Y! z8 t2 t, [
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查1 b5 n, S0 h, q6 @5 W
找方式也可以同等地应用于ORDER BY。
, D- a/ F& Q( m7 e; _
3 p" j) @8 D8 B5 A# z下面是B-Tree索引的一些局限:
$ c0 K' ]2 A2 e+ ~$ S$ P4 E- R# C( o# {: A, Z& y3 R3 b  _
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,! s6 f7 \! E& C$ w! Z. x
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓& L( o% I; R8 F8 o% g( r  r" `
氏以特定字符结尾的人。6 a  W( M1 `& ^
! W5 @% K+ O) I
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
3 W0 ?. @1 U9 p# |6 h! f! ]义first_name列的值,MySQL就只能使用索引的第一列。8 a; H0 L) F+ p* G8 J  H# Z4 K+ o
# F7 }8 Q8 J5 L- p2 P
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
3 P7 y5 c0 x4 f# E范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
- x  ?6 {9 \* _9 n/ f$ J- V5 ]不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。- p/ z6 s8 l( C2 j8 w1 n7 S

# V* S1 h: W* K4 V$ K0 o  I" [- B哈希索引,空间索引和全文索引等,暂时没有设计
' X4 T" ?6 \1 p) Z( k
; j+ y# [+ J0 K) H; _: F. H高性能索引策略
2 g' B! g7 t- @; F: e* A
+ ]9 t( n2 F8 F+ o0 E) R1,隔离列,意思就是不要对查询条件中列进行计算等操作+ T, A  i& h4 c: ]' c  A
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引# ?1 M* e( B% |# z7 a
Select count(distinct 列) /count(*) from table;
1 V% c0 |) g& |- U. O% M) q9 W看看这个值时多少,如0.0312
2 \/ m5 a: F% p那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算; M1 F) C% L5 u
,这对于大表很有用。2 i4 w1 ^6 c. Q! E. }
Select  count(distinct left(列,3)) /count(*)  as  sel1,% K$ ]5 _1 k: X1 n7 n8 m$ g6 z& N5 _0 z
count(distinct left(列,4)) /count(*)  as  sel1  ,  a1 d' n' B, K* i, u
count(distinct left(列,5)) /count(*)  as  sel1,
& O; g0 N% U) o count(distinct left(列,6)) /count(*)  as  sel1,
; I; x% a! I4 }5 U  I, P7 j+ X& u+ U count(distinct left(列,7)) /count(*)  as  sel1   from table;+ S9 E7 q% y# {4 V9 p) |3 S, y
找到接近0.0312即可。
+ X6 f7 l# g, A$ @# x' ~& A" L7 ?7 L3 R( q
Alter table table_name add key (列(7))) u1 v. j5 J6 T0 Z' y/ o+ }; ~4 _
3,覆盖索引# m$ K: W5 T4 I. }, e8 u3 U
包含或者覆盖所有满足查询的数据索引叫做覆盖索引9 V1 N) \" N! Y
explain时,extra中的会显示using index
" d  w, B( Y2 B* `2 x. P0 G这里一个重要的原则是0 I( O, b. j5 T5 ]# l
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
; G5 q! m2 Z* G4 |6 J6 y如select id from table_name;4 T' N( _# e( _+ O3 |/ @

! C2 E$ b/ {, k6 t7 j$ X很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
+ f( f! Q5 k: r6 C一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。3 p+ D# H  F; n$ b+ v7 [! q7 f) H  l
: {/ [( r+ y% p" L+ m
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    ) C6 o- q5 P4 G5 W6 \
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:, B) G$ t5 u0 y* H3 X* D
1,' Q5 X: M/ N9 p2 d
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
5 S& y$ T3 l, N) F: b# X2,
% x" E4 C+ k& G' GMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
4 A$ @( M1 Y" ~2 K0 @& {! t有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:) y* s5 g  E& B$ ?
8 p5 x* D1 s6 w5 i
4,为排序使用索引扫描- \7 p1 J; ~/ @1 c( R
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
, g+ I8 t8 n6 N" Eexplain输出type为index,表示mysql会扫描索引9 m. B& K, H- l6 L
) [( {) B) J' a
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.2 k0 F6 V  d$ \6 b) r% {
( @* q( w( T) o
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。; x) g* w" R: @; C. z
; P# K2 P. m/ x, a
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。- ]; v9 _+ r- p) _1 C
9 M; ]7 {9 [8 q; ~% s  H4 ~, i, r9 O) X
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
8 J1 n2 Q" E: `% V9 `& a
% \% F' d, y# l* e# |使用join可能情况会有不同
; I7 c& I3 f: Q% q0 e) A. q& y, P* @4 {. T! e9 q1 Z* i
5,压缩索引(myisam)# I) A, ?7 h( F+ S8 L
6,多余和重复索引(应该避免)2 ?% X# c6 f! l4 e" e0 A" ]
7 v9 K; V  s9 g+ [% o1 w
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
, I3 I( J4 p; h- V% `上有索引,那么另外一个列(A)上的
) E$ r3 {; T1 V! Z+ ^索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)/ Q" `& m! C6 g* |* |0 z5 {
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
0 [3 w3 _, R/ b, {; q/ r) M5 e! J& R1 ~
要点:
3 D9 y& j+ ], E- {在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
- u- z3 X2 \% c  v' G( ~  T- H7 J" [1 ^
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行! g; p0 u/ I/ L. e( J* n

: A+ H! m' I' K
- v# t4 t/ b: r$ P: A7 O5 |6 P1 D! H* }
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,; r, K2 N8 G3 Z6 h
; d) ~% W# K, j/ J: w
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
) Y9 @. ]& T( j$ W0 ?
# Q  c( o8 l+ `" y
4 K9 q2 K, _: x1 A- F# W
' N4 y+ b1 ?9 X! e0 \一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索0 X7 e+ W- T3 G$ H9 V* w! T
* g2 _9 ^% H. w  }: ]. a/ K0 A$ ~
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
  n- I& r' v: X% m! E9 ~- w! P/ S) y  [; I& T" F

/ [! z5 t5 _* J( ?+ H- u# x/ H" ~: }+ {) ]+ ]* X/ r9 a' Q
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
) q- j* w/ o3 ?4 q
) y& s. t( z) o5 x6 x4 E例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理  x( Y* R  B$ P9 ]& i3 V

3 w8 f6 }' v: k& Z这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式% S1 B. _% E. v. R5 m8 `

5 Y, A  W7 D, N0 @
) ^1 I/ K3 f# i  t$ C% c: x# e2 H* p( G& ]0 I6 C2 _
避免多个范围条件,只能对其中一个使用索引
! G8 R% h0 {$ [2 F  i& o+ ]. w1 L2 V* l1 G1 r; E; Q0 `* Z2 f$ R
" d; H' {- p9 U9 ~7 f

% U; E$ {+ R, P  H( m索引和表维护
8 {6 d8 p& G$ Y2 y4 ~8 i! [
5 X9 L5 D- j" z0 y+ C8 n" W1 i表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.( I+ c6 T" ^; a# i1 k5 V

9 ~0 H* D. d+ o1 M( _( P& \7 O+ \check table table_name;" G6 T6 u! s/ _* i; l
repair table table_name;3 ^2 N- {6 @( k& d$ `
Show index from table_name;检查索引的基数性
. U7 E- B$ T( ?3 G% L, e/ ?# O. S* E( R" j* ]
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量" K' ~2 w& ]% K7 ]  Z% D
" d8 |" E/ [+ U& S
* U% V; R1 l$ E5 p

$ w8 J9 f7 r' @: @$ I; {0 z1 JB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。: X6 E; m4 o. U7 s5 O
  C$ J3 }# ]4 l9 M
表数据也能变成碎片化。两种类型:" M' x' q2 ~3 }, O

" {1 E. {  ]& L. f7 R1,行碎片
1 i0 e* v/ h2 v2 e
+ O3 L' A$ Z0 x5 u1 i当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
% s. p9 J2 L/ V( y! N2 @7 z* Q( Q* N1 \
- @! k0 b6 J, P) }

3 `- i2 w& B* B+ H2,内部行碎片) R+ C" @1 o( }2 ^4 W
; r$ E' f- h" ?: u" b* |& ]
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和3 x2 a7 S2 {  F5 }

7 J, i3 Q! Q1 c4 V- B聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
; c8 t$ j/ N! R3 _" J+ Z& j" f8 s' O/ i

/ X. u& [1 l/ q6 I9 S' @# \, I3 m7 q  O( i; d
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。" k9 l- z) u9 O1 Y
( _9 p4 |1 _; T6 m8 W# n
$ R2 ?$ F6 N0 ]+ Q) U* Y

+ K# i8 W2 C" ?& w0 X% N' H2 CALTER TABLE <table> ENGINE=<engine>& B7 V: y3 @0 P+ q# Q4 o# e
1 V: X& O4 L5 l5 _8 X+ L( `
: G. p8 D6 C% p) Z0 {2 x; w) |

" H; E4 x, S3 t$ t3 t加速ALTER TABLE" I- K+ ~9 k2 E7 D3 q

# i- V8 E9 h" A, w% e; b9 w0 B  I  E3 r
- c+ R8 Z0 S" u* t8 O9 B& \7 R
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需, S- ]7 Z4 w" e; e/ l1 L; Q6 P) Z$ w
6 `, k, w. y/ k
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
+ H5 X& D9 E: k6 Y4 q& |  a4 h" C( @7 P8 k
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。/ B( D# f; L+ o$ Q9 n7 f& X+ v
4 n- _) X* A1 A/ R8 r
传统:' a1 ~4 Z4 U$ n% a1 i% r3 N) R
* u5 B7 l* U- }& x9 g) L. P  j
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;) R! b! p, D1 Q
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
& L1 S) x" o9 H$ j改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。1 u" w- L; w7 e' \* ^; U
6 l5 C# W8 z# f7 v" k
变化:; a, s3 d- c4 [8 t3 f9 W

# w7 X  ~5 y3 `0 S( P$ XALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;9 y6 |6 }! y; s6 G! R4 D5 I% o
这个命令更改了.frm文件并且没有改动表。它非常快。
; P0 Z' k( ^8 J. {+ F0 s' t还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-8-4 13:35 , Processed in 0.041275 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表