召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3066|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能! I& ]( }% y/ ?, x( a* Z
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
0 M( `8 |  Y0 O( k8 ~: S一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列/ e  @- r$ H" }. a7 O! q7 K- `
在InnoDB中,只有事务提交后才会解锁
  u/ F3 m: P5 _$ q6 e+ V
# t- d" E. M9 F2 x. I8 B' l8 t索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只; L% E) X) U6 f0 z" I6 C
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。1 o4 Z4 U: Q5 A, S
7 m8 h* O% C0 o6 {& _9 L" O
B-TREE
- i0 o9 Q6 u% {/ _4 A能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找% m! ^/ U5 l2 d, j( X7 [' N
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
, z" P! u1 Y  x% ]! d4 c- I$ H
  1. $ A" `; Z1 R- q1 J3 g! _
  2. CREATE TABLE People(
    : X5 }! ^1 B2 l
  3. last_name varchar(50)   not  null
    ' r  d' v: _% m* J
  4.           first_name  varchar(50)     not   null
    : w* Z$ b: S5 l6 m
  5.           dob  date      not    null, r) W  Q5 a% k2 r* p5 y5 P) ?
  6.       gende       enum('m','f')    not    null% _9 H1 h9 O' Y& [- R
  7.         key(last_name,first_name,dob)
复制代码
匹配全名5 p  R' U5 P7 B  V# G6 e% T2 K
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。1 `; A/ l: C  a. B8 ]: O
的人。: X. Q! R% j6 j
匹配最左前缀
: e7 r  z; o  }9 c7 `( V2 W+ m; VB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
+ \2 ^! D* G- {* \% i3 _匹配列前缀
! P3 p8 o8 [5 p可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
4 J) ^# W- c' H5 L$ s& B匹配范围值
% n3 `+ z8 X& P3 y这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.. m0 Z- V/ I6 ?1 ]& f4 ]  B
精确匹配一部分并且匹配某个范围中的另一部分
. l( |7 i' n7 a' n3 g. s2 t9 ?. x这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
$ O8 s" E& O% K' F5 z+ x列并且对first name列进行了范囤查询。$ W; b* Y/ i# b$ i# `  I" f" ~
name
# W' v* Y' s6 l* L/ N9 _- A2 t3 {+ U5 w只访问索引的查询
* Y1 S0 a7 d1 ?& n! e5 m# @/ k& H- jB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
% X* M' |" J3 L' z; j+ K2 Z& S" I: u3 @
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,2 _! [1 n5 A% |: f
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查4 r  ~1 K9 U0 c% T
找方式也可以同等地应用于ORDER BY。
# O" c* f5 o$ r: B- E" \, o$ B* X. j2 a
下面是B-Tree索引的一些局限:, v, x, S% J4 D8 V/ p/ }& V
/ s# {8 r$ @9 F3 Q
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,( l+ m" r$ F# `6 K3 h0 u
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓7 h0 Y5 A7 ?" g
氏以特定字符结尾的人。- ~0 @1 k8 O' D. D0 ]
0 k- L+ ~* R- C  G6 I
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定% ^; t/ }) B1 R* I1 q  ?  z- f
义first_name列的值,MySQL就只能使用索引的第一列。
; M2 r, W5 _/ s; S3 |0 W0 [8 K3 R) W% ~* p
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是2 K: W  _. J5 b/ q
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而; s6 ^2 @. Y6 v* T
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
+ T6 e- @. }+ c, ?3 l' H/ Z6 Y* ^+ G- S
哈希索引,空间索引和全文索引等,暂时没有设计
: ^8 |1 R) z- W+ Y7 y/ ?% r. n+ u+ ~% z, i1 r
高性能索引策略
1 y* M9 f" T5 s
8 D! B0 d* Y( y5 l1,隔离列,意思就是不要对查询条件中列进行计算等操作# {% s* y' l; F6 @- y& O. D- I
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引5 U' l$ c6 Q9 O6 a4 ^) S
Select count(distinct 列) /count(*) from table;
; v5 R$ _$ K3 Q看看这个值时多少,如0.0312
4 x$ ~5 Y2 e1 F: |" N那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算1 \& ]6 {3 c9 {, m/ M% R0 c
,这对于大表很有用。# ?3 ?; _6 R) T4 b
Select  count(distinct left(列,3)) /count(*)  as  sel1,
* ?( [) W9 B7 O- a& b2 @7 n7 ? count(distinct left(列,4)) /count(*)  as  sel1  ,! K5 K5 X  @; n5 ^, Q+ o! D
count(distinct left(列,5)) /count(*)  as  sel1,
1 _: @; S  v% F: ^ count(distinct left(列,6)) /count(*)  as  sel1,! A9 A! u* Y% `# T1 F
count(distinct left(列,7)) /count(*)  as  sel1   from table;
6 @9 i3 ]! D9 E* I- l找到接近0.0312即可。$ K' f% ]: O% L# D0 L3 T9 o

# p5 E7 X  M" e( h* I" RAlter table table_name add key (列(7))6 b" o3 ?+ s6 y0 ^
3,覆盖索引
7 {* @+ R* `# @5 x' r包含或者覆盖所有满足查询的数据索引叫做覆盖索引
) f9 m+ i' C( I! h8 cexplain时,extra中的会显示using index+ e6 \" h$ i( V  x' a
这里一个重要的原则是. `5 k* h4 o" y( Y. Z; _, K2 ]
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列1 n: K; x# E" e) ^1 C
如select id from table_name;
2 c6 U" k$ n' k8 j0 O3 y7 U7 t; b9 \+ C. n& y( i7 c0 [. O
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
- Q7 D; u0 P4 U$ G) |一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
0 V& X& t& L# L3 N
) T: _/ h0 G4 u: s1 ~
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    7 a# Q* g1 \! J0 D5 h  C( K+ X
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
3 I8 x8 p9 b2 W) q) x6 o( d, N1,7 I1 P: B1 C" [/ \# a6 V; P
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。# C5 g/ B* c/ [
2,
/ z. N* u6 V8 P2 l+ Y1 `MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
  k" Y* Z- w8 A8 z- i' |有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
" E1 b: q/ z& N# E: [0 f" \* S
! N5 \! ], ]& x4,为排序使用索引扫描
  t: m; P2 s6 cmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。$ |! r5 t( n4 g* O4 E4 L1 h
explain输出type为index,表示mysql会扫描索引/ Y4 Z) X, t5 i3 b0 g
7 f* [- `: Q, c# w! t5 u
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
* c' d- n# s+ V) G+ H; y
# h  ^  @( U, I! m" cMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。6 G' [9 ?* P  ?8 A$ s; ^/ x  A; U

. e0 D5 x: m) k+ v6 ~按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。4 _& _3 P% z/ i* x$ X, R+ s
, ^! B$ l! {8 E4 ^+ H; M; e
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
$ h: ], J# h# U2 ^$ N; o2 z' Y$ F0 `, F+ v
使用join可能情况会有不同( b* |9 ~# R. E$ p" N( _

7 B+ K- ~$ y, C5,压缩索引(myisam)
% ]7 O7 T. d8 l6,多余和重复索引(应该避免)( X, P2 F. j) J+ c, o

0 d! w7 p6 O7 o! ]% k多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
7 ~' N8 J# N% K' C上有索引,那么另外一个列(A)上的$ r: @* s+ G' @6 r( j, f- Q
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)) R6 h- J( r1 I9 r& W; y4 W  H
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
& e3 x* V) o* r9 u0 f1 r9 J8 L- _: ~1 g) N" [
要点:8 p! B$ {$ R2 h; x( J5 A
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
3 O, E5 J0 d. I9 c2 w" l! S
" r" F. I/ D! n! i4 M即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行$ i; X7 L0 z+ d, p. J) G7 t, {
* L; O- @% f6 ^$ k
5 H+ o8 u9 E1 f5 z! z% v

: ?5 a3 o  O( S$ F1 C
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
, m' w7 }+ J" H9 P- r) K4 r4 {7 I/ }- v. h$ g
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引" m' m5 y/ B7 `, B$ i1 u

  m4 p! w- {/ A4 }/ b' p- X4 u' f7 P9 b  w1 J- }& \

5 }9 L7 R7 H) I4 A$ m/ j  n) F- S, ^一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
' }* M/ \+ K% |: Y6 k0 |0 w4 K" |2 J; F. V! g
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。( i. o: Q% Y6 p

# p# y$ g0 p$ t1 Y* b) l; n2 F2 C& ]9 \5 @+ w) K$ p
8 m1 H+ {! p# g- W5 E4 i
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
0 \" X( f- M3 f! J, d. z& r9 D* ]* Z8 K3 P8 n# T6 U8 h5 _
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理/ v4 H6 ?7 ~3 S, ?
+ n4 }+ q4 a5 m- t! m4 h
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式. l9 q2 U0 }1 m$ T* d0 d( x

$ k. J. f( T. g& w& `
: p- E. y/ I. r6 q- e( Y  u  d1 S" H9 {7 M: `5 g7 X
避免多个范围条件,只能对其中一个使用索引+ c5 Q, [4 m6 k/ s2 n$ o0 p

7 M( }6 L3 L3 q% P& E# m/ t5 {* S  _& S9 X* c( f6 ^  S

' u+ _! V( i( h  ?2 P& P" P索引和表维护
2 `$ o6 A) D" c7 b! v
+ b) {+ q& x3 v表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.7 J' K- f7 Q4 m  N$ M

9 \$ M6 S0 a9 A! U/ \9 lcheck table table_name;6 A5 t4 B! O8 D9 s* }( f
repair table table_name;$ M: x. L, ]# Q, o: ^1 D8 H, i6 {
Show index from table_name;检查索引的基数性+ b# ~* ^. x& ^
3 x, V. Y6 c( y8 k# y
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
9 i/ ^+ y( t! S* |$ A, Y- ~
6 H! b' i8 L7 n# L3 L4 ]3 M! p) T& F5 z% K& u, `
8 x6 ^# c+ w4 P+ I$ Z
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
1 X- T1 E4 \9 I! h. C3 M5 P  J' B
表数据也能变成碎片化。两种类型:
- x; R* Y8 `8 ?1 Q- ]7 }  I6 h/ Z1 ?, C! m9 ?. A
1,行碎片" N( G- l6 [7 ~
9 Z/ f7 n& l) L9 N$ f
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
/ F. l+ [% H, A, Z* G; ^( K8 J7 E" }2 G6 l) w" E6 N- K1 j) Z, ?# N3 E7 X
) i3 P: d1 Z1 s

8 G0 V0 J5 ^7 a$ S2,内部行碎片
$ P- V3 Y$ x& ^  e( j1 G  @1 S3 p7 H8 I7 A$ n% W: x
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和& w0 e9 F3 l, w. Y5 f
  V" W( `" T/ V  B! ?( m
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
) @* f6 }, q/ F- D0 F( h
* L! O6 m0 T! y( A- e5 L
, `, I7 z) Z. A, N4 `/ |5 W8 s! i0 G0 W+ A$ H
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
4 Y) k9 H. R8 e+ `9 e6 q
3 ~# t5 j% |$ I5 c) P$ M6 k' o5 w- Q5 t/ o
+ R) `' T7 x! S0 ~/ U, U
ALTER TABLE <table> ENGINE=<engine>
0 L; i# u2 j: v9 a! ]
/ U8 S6 p5 \! |, O6 K  ?' ?! f  c
8 h$ y. r6 ~/ l$ h6 k
8 A1 [$ T: x. P' x加速ALTER TABLE
, m& C* r$ |' K( p6 g& Z
0 j1 k( P# t2 n3 \; ~/ p, k6 o
) D& t4 B+ u) v% V0 }& y' `8 \6 |- p; v, m; x0 Q
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
& j( j, Y% u: `5 e. L& D3 e* w; n' y  V# e1 O# {, }7 ]
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,: |' k4 m5 m7 t9 M
) A1 o' X' p- k/ h2 c4 x# G5 d
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。8 d; H" F# o* ]
# b$ @3 N9 [: |
传统:
& G% K( |6 M" o5 J9 W+ \/ X
( v$ y2 A' C! LALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;. l9 S( j$ h9 M9 t* Q% u
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更9 A" _0 X) h: \2 W
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
1 ?% j# e' e9 l' K5 b5 v% {- P+ y; ~$ u, `
变化:
3 I# |$ f% L, D5 r3 o( R
$ V* d# ?& t* q) z8 n! G+ V3 z8 EALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;0 U6 A2 x/ T% G' q
这个命令更改了.frm文件并且没有改动表。它非常快。
% k" o1 T/ g) j: S还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-6-13 19:38 , Processed in 0.037265 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表