召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2752|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
9 U, W# [7 N- j$ }有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
2 w, X, ?1 ]* G5 R: H一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
9 K: s* F* R& a) H在InnoDB中,只有事务提交后才会解锁
: |; |( T/ ~2 F5 M8 Q4 e! B: h+ l* d' ~9 D+ `7 |' a9 v
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只+ @5 y+ `, s/ W6 r
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
( i' W$ b# S' k% Q- ?( L1 J* D+ _+ z2 `2 F
B-TREE
. I) \  w: P( D能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
: \+ C* w& I8 \5 w" w8 K, m使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。8 Q% t  \# U, s) b1 x& N5 R: t
  1. ! T; U0 W7 p6 i3 K$ E$ P3 M" O2 A) A
  2. CREATE TABLE People(
      A! y3 X) s0 w: a1 w/ W
  3. last_name varchar(50)   not  null; t8 Q- }* I8 u; ]5 M
  4.           first_name  varchar(50)     not   null$ [. Q% v% V. q' [
  5.           dob  date      not    null
    " X) c/ C* r! N5 X+ f+ i
  6.       gende       enum('m','f')    not    null
    6 l6 D: G$ r. e1 I; H3 k- }
  7.         key(last_name,first_name,dob)
复制代码
匹配全名" `5 Q* a& w) i7 K- E4 z5 j
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
, R8 g5 {/ v) c4 X) f8 Z- r的人。
/ h- x3 m4 B" x" X( |匹配最左前缀
! C& D0 u/ n# J# vB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
) x6 \4 v1 j7 S3 \( f+ E& {匹配列前缀8 f$ i3 m/ j+ M  F( E
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。+ Z6 [! ^! H$ N
匹配范围值" Q4 P9 n) P6 c/ T) b( Z3 L
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
7 L  |; e" e5 D& i) w: @$ _精确匹配一部分并且匹配某个范围中的另一部分/ r, Z5 ]# {% W1 p6 j2 ^5 D
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
5 k. d: {9 S" F! f4 f. W, ^" f列并且对first name列进行了范囤查询。. z, W. F2 B2 `: c% h
name9 f" S3 E6 i8 l) O0 Y6 r8 f3 ^
只访问索引的查询  S% o+ @, J- C' R9 _7 \$ D
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。) T, ^2 _# b2 l0 A. F+ e+ L# l4 T, S  S
( O! R8 _6 m+ w4 D
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,1 v! R9 C7 g+ q' ?- X: n
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查! W$ [* K, q/ ]9 ?8 G, P0 M
找方式也可以同等地应用于ORDER BY。
" h+ g. o  |- H2 G, H% p+ q
8 Z' G! r8 x% d; I/ ]- |6 B- `下面是B-Tree索引的一些局限:  U! }4 R% l: G) b

$ x* M# c2 v) D. @1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
6 p0 U; a6 R% l" s' T9 H+ I( t1 `' o也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
; ~: ?4 K. r5 k9 N: V氏以特定字符结尾的人。
# L" b  r6 O/ V( l: q( a6 ]+ P& T& O: ~# `7 i- {/ v' T
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
/ `, W: ~0 U4 C/ H0 m' x/ X* q# ]义first_name列的值,MySQL就只能使用索引的第一列。  _9 W. y/ W0 @+ R+ g0 o! T
9 F" x7 ~- r( F; B
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
& g1 F( o: r% ~4 L# ^范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而, B% U& @- H  }& r; m" U! i4 i2 B
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。8 y0 L6 _/ Q# r9 c5 n8 J4 b/ Q, Z8 c

6 `# d3 [! \+ Q" X哈希索引,空间索引和全文索引等,暂时没有设计
- w6 H' A$ X3 ^9 f
( t, a  k( w0 l! S高性能索引策略1 R9 j8 a, W' j- t2 j8 s$ ?! j
& N7 x5 E' X  g, o( v
1,隔离列,意思就是不要对查询条件中列进行计算等操作. D! G! C3 o5 L9 c9 N( f
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引$ L' n2 D' S* {
Select count(distinct 列) /count(*) from table;% V8 G- V  [% ]( k! U4 o: `
看看这个值时多少,如0.0312: E0 I6 M& E% b* E( ^  n
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
9 r; _+ I# B* J) C- A- ^,这对于大表很有用。6 M- L3 h( Z* i9 v" ~
Select  count(distinct left(列,3)) /count(*)  as  sel1,4 s$ V$ n1 j+ _0 Q( P  ^0 m- S
count(distinct left(列,4)) /count(*)  as  sel1  ,
# l# l/ I" a% C1 e8 n3 s  u# w count(distinct left(列,5)) /count(*)  as  sel1,
, U( ^6 e$ c0 j* H5 z1 b  y3 z count(distinct left(列,6)) /count(*)  as  sel1,
  ^. M# }2 a/ m" Q! N* O count(distinct left(列,7)) /count(*)  as  sel1   from table;0 Q: l; s& p. W5 k8 V/ F" |. {
找到接近0.0312即可。
( i1 ], G* ^+ D# y- j) p1 r3 I& w5 ~( E
+ u9 [# S# S, f, FAlter table table_name add key (列(7))
% e4 K  k% ~; x. K. m3,覆盖索引* G+ O1 U6 O% a8 N7 Q6 r
包含或者覆盖所有满足查询的数据索引叫做覆盖索引. T1 D! x. b  w4 C! i6 f
explain时,extra中的会显示using index7 F9 l1 A/ b& R. \7 I  q0 K# h
这里一个重要的原则是$ {8 y: o3 F/ C* `1 Y! G
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列% i0 Z& a4 A, l4 o2 s9 }6 X0 B% {
如select id from table_name;
# B* u) @4 W1 G3 J
/ U$ q7 w* k# H! Z& I5 D- ?6 ~9 ?# D很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不% s6 |* E4 _2 Y# d1 _; w( D
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
* n0 G) ^- |% m( a3 q$ k/ S. H: ~; @; l
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';8 C' a' K, s6 x0 A: ~* X6 C
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:4 E0 i1 A) A5 `& U  Z5 a9 p# f0 v
1,
+ ?0 @+ [& A2 e5 }没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
2 j, X8 N3 `: U2,/ m1 J2 }9 k8 h$ l  h$ u
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
" V; ], P5 z9 ^4 m; ^( B$ U有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
5 R( U, L# Y, ?1 q9 E5 X
. f! `. E: p7 s3 o9 D' X4,为排序使用索引扫描
5 Q, K" ~" g- i: p; K2 v' `, V+ c- Omysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。( S5 M' v1 d5 v
explain输出type为index,表示mysql会扫描索引' u$ q0 m1 N. z# M, S

8 R8 A, n& Q* u" X扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
  y; T7 N, d0 \( Q4 g& ^& M9 D/ M/ f0 T- s
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。+ `9 e! x! J7 y. {" p
8 t# _5 i0 m& `; p4 h1 i3 M
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。& C$ G% B9 @  ~) X5 _; h- o2 M
6 j+ S1 Z1 b% a7 k' f: ?
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。2 r6 r- x8 D& d; a" z- P
3 r' k+ |, J5 ^1 }# `; F
使用join可能情况会有不同
: @4 j+ H8 X2 H/ ^
& W7 j+ K' W& i: w8 M4 X5,压缩索引(myisam)* o) X2 U1 Y4 O; B3 b- Q
6,多余和重复索引(应该避免)
# A& K. `4 Y6 `5 C. m
8 {! P- V% A* q6 P* T) d多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
" n9 f& v% U$ O( U: N! h# D上有索引,那么另外一个列(A)上的- g- A& X# @, b
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
! S% Y5 c- N) v: w/ T% K然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。4 Q2 [  }" S, `; E

6 ?$ Q& y  A4 j: R5 |要点:
. N' U) C/ p! R4 z2 R- ?在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.1 q7 Z- D6 c( \  E

6 ], I# v4 j' z9 z+ b8 X2 G即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行3 \) Z2 U% f+ j8 U* p* P

! T4 L7 |1 J8 y3 a" Q4 o( p8 s1 r9 z: B
0 [& {; |+ z  v9 Y" w
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,4 _$ z% {8 {; E" o6 i+ }- T, i
  ?+ V1 A; ~( k& ?& y
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引6 d) g7 c! z- d/ @0 W
) K& Z4 G9 R- ?
2 K) m0 ?$ @, Y6 [, P

8 ^/ h6 W! o. O. G2 r) O& Q/ @一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索/ K# [# r8 z3 D7 J( h0 c
6 f: |/ I9 c$ j; M- v" j/ ^
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。. g8 U) R# |7 |- m) ]; H! ~2 f+ Y

% _4 T7 W7 _- `; s0 H  I" ]1 _8 L" S' r

& V' f) K$ s8 s3 G一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。& `  i6 S0 s9 m" p
# r) j7 ]' l1 W& h8 ]7 [5 v
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理) J1 d/ g' K4 ]7 U. \( O
4 m( R+ T, \1 q
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式6 b3 U, t3 p/ k

& I: u" w. c" Z' Y/ \" ^' `$ G4 E# A1 ?1 b$ k/ e

% L" I! m3 o+ r6 V3 q9 c避免多个范围条件,只能对其中一个使用索引" L$ c& i  r3 g

$ G& v+ r+ Z% G9 I$ M: `& s+ F6 w! H- b. E( @( |

) _6 ^; G) Y+ [0 ?3 j2 a( Z索引和表维护- V: i7 d: H: b* Z, h$ w' l
+ ^# d- K$ E, Z
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
8 @) b3 O9 t  r3 x, F3 g5 O
0 U% Y9 R/ x  y1 L) B8 lcheck table table_name;
6 m2 y: u+ v3 z( y$ G: krepair table table_name;
$ n4 }% \, I' f# _1 }; P/ S5 P- [: mShow index from table_name;检查索引的基数性6 `# @! |  A* T+ f+ C- b! X

8 z# G1 ^6 y( |6 A. c主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
7 ?0 t" s  o7 F8 A+ `0 J2 E! v+ c' A! q
! S# D+ F6 }. n1 x' C7 \

& S% N2 A- G& Z- |# cB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。4 v) v! Y1 Z$ x* h; x" E. m

1 V% x3 K: f3 t( Y' C; D7 E- t, d% k表数据也能变成碎片化。两种类型:
+ d, W) O/ O6 n/ O, g' m% k# o6 x$ P! l/ X- D( @
1,行碎片9 Y. X( v* M0 ?+ T- D+ Y( f" J

! D- E  U# ^# U当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
6 S( Q. s7 a# V9 a4 W, g4 E% V% z8 S3 ^% Q# D
0 W' }1 @2 B9 u9 Z/ A* Y# }

' d0 I9 b9 {. D0 \3 \2,内部行碎片' e8 R* j: u/ i

% h  P, z2 H( T5 V% F当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和8 r3 ]9 N$ ~6 P& z

7 ^' A4 V- r0 j( J, Z! I6 j- q聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
: T4 _* h" Z* `( o! ]+ y1 l' T
) `; x7 `" `- j2 C, r  M2 h2 x- N' a, o- ~/ _2 {8 H

- `3 T7 Z7 h% g" H1 V为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。. m" N& M# F5 P9 X, @& I

. ^- p% a( l) k6 h; y* y% T4 `$ E/ i6 \9 a
' C2 u, P9 ]. x% c
ALTER TABLE <table> ENGINE=<engine>
3 W" W# g/ b1 J$ l2 L. Y1 H8 I) {, ]: b* O3 Y1 b% `6 ^

: B! x1 @* W3 u" I+ X: q( a7 ~: W; I7 A4 Z
加速ALTER TABLE8 l6 b1 D1 H9 I( Z: U8 n# @# n. V

+ \$ T0 W" q5 R5 d8 E
+ b' D& ^) g: J+ \& N% o: u; B& Z
) ?' w8 I$ {  ^, K6 DMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
1 z3 A6 e. A" a% ~( }
7 a" O9 L6 K9 w) T, E8 F8 R要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
0 @6 G& v" M8 ^: Y3 s% i; z% S1 Z, a% Y- Q* T5 K% G. T6 }
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
9 I1 v% B1 y4 `" W5 \6 o/ S+ k* a
传统:3 Q1 K5 o& {) ~- v0 `8 n* C5 u' [
9 T4 E+ }) U  \5 R
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
2 P+ p* g8 n0 Y6 d0 M理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
) F. `" p1 P" X改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。5 m) L; I4 z7 ^, P& q% ]' u

. i5 h- g/ M) k# A, b变化:& y8 m& b* Z' u
) u# t3 u, ]2 p1 K! B
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
4 f% k" b7 T+ z8 S' ^4 w这个命令更改了.frm文件并且没有改动表。它非常快。( S( L* X4 W9 W9 z4 h
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2025-12-25 16:04 , Processed in 0.047518 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表