召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3362|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能& p0 ~) N+ }( b- w1 q0 U3 F9 }
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成* I  ^; U' L3 z+ W  S1 h5 G
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列1 z3 I* T" e# u3 A+ u
在InnoDB中,只有事务提交后才会解锁
# |7 O5 V$ r# R5 g
6 D0 `1 ~/ d7 {9 l  x2 ^' {" l索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只5 U: f1 m( D2 `$ a; s
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。* w# u3 o+ l* ~. k

6 M: G/ x, ?- @7 n: A( C, EB-TREE
5 P% Q+ q) J" K能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找3 q) c' P6 `3 w6 `0 L
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。# h: ~+ z2 W* E  ]
  1. $ ~8 a3 v4 n8 A- @1 H
  2. CREATE TABLE People(
    $ u5 G  \8 j+ N( N; L% T1 L
  3. last_name varchar(50)   not  null
    * C1 D& Y/ @. b/ h
  4.           first_name  varchar(50)     not   null" C. X1 c  g8 }0 U* \
  5.           dob  date      not    null& J) U7 X* z. X( h! _- _
  6.       gende       enum('m','f')    not    null' }* R" _, Q. I' {4 y- }  Z9 @
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
% z  O2 h' n2 G全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
. U' K: w2 V1 Z9 F/ A的人。
0 j( [( ^7 j  X  }5 @8 o' o匹配最左前缀
/ |  V1 h& t7 ~B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。3 l- A4 x4 v! k1 V, p
匹配列前缀* [. Z, A6 |, Y. |2 b2 [
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。% J; u1 |/ ~  Z* S6 T$ J4 B9 W2 \
匹配范围值3 D+ @) O+ K* g
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
3 t! K  n4 `6 d( o精确匹配一部分并且匹配某个范围中的另一部分9 u4 V) h, m+ w" v) s
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
  I+ t( y7 h8 S# J5 M列并且对first name列进行了范囤查询。
3 x/ I: g. h$ L% M% F0 O2 Mname
( f8 P4 [5 m1 |# w只访问索引的查询8 M+ Q# q" o/ H5 c4 n/ _& X" o
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。+ ]+ ]$ I' Q& b; A
& n. ], U0 d; f* j6 S( J
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,0 ?! f  T! {0 {) f2 A# T
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查, y1 }# B5 A$ E
找方式也可以同等地应用于ORDER BY。0 @# v6 W4 Q) \
  w, }2 T! D5 }7 e& y% y
下面是B-Tree索引的一些局限:
4 P" U5 Z/ Q0 p0 v
" o% q* z' N4 ^8 Q5 ?% b1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
( X& ~# M. ~; Y也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓5 i7 L( S9 O4 L. s' ?) m# M* |8 f% d
氏以特定字符结尾的人。
. ~! Y8 T2 ~' y. s0 H! s7 \0 |& Y! w0 |3 `# j
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
/ P7 {5 I9 p# p8 `义first_name列的值,MySQL就只能使用索引的第一列。8 D9 {- |: ~& q

& z9 l/ n. t  b3 o% {3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
: E  T9 W, u0 l* l5 H2 ?范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
, F: l+ d6 S* N  |2 Q" \8 D7 R不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
/ k( l1 N0 G. P# O8 j# I3 x$ S) ~+ G4 }1 \
哈希索引,空间索引和全文索引等,暂时没有设计1 Y  `" K* u, @
$ G$ d- ^' J5 ~# W
高性能索引策略
# i; [* ^4 s" o" o' h; d4 Z
' c0 S" i* u; x6 ^# Y' O3 m9 k1,隔离列,意思就是不要对查询条件中列进行计算等操作) Y. u, \+ K- q& b& u
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引4 H" f4 W* m+ S3 e: R0 d
Select count(distinct 列) /count(*) from table;4 J+ W; k7 E. u; V; t
看看这个值时多少,如0.0312
  e6 W& R: k5 D, N- ^那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算( F) r' |  x1 j3 |3 p
,这对于大表很有用。4 ]% ]. H* R- l! e
Select  count(distinct left(列,3)) /count(*)  as  sel1,
6 T$ G- Q$ E8 U; y count(distinct left(列,4)) /count(*)  as  sel1  ,
3 C/ P" }5 J- t# R4 V. K count(distinct left(列,5)) /count(*)  as  sel1,
1 |+ b4 r' d4 Z; t& r( W2 x# S count(distinct left(列,6)) /count(*)  as  sel1,
- N' O2 Q+ ?4 y3 t- j4 y count(distinct left(列,7)) /count(*)  as  sel1   from table;6 B* r  ?, L: h+ F
找到接近0.0312即可。  I( n# y" O2 k8 W
# n* F2 E1 ~2 \1 U
Alter table table_name add key (列(7))
/ L) S: F1 V4 [' V& N& q3,覆盖索引8 @, \7 M* D2 z4 l- ^- {
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
+ {7 K- x! i- v0 z% n" y. D: H' zexplain时,extra中的会显示using index
; z" Z5 P* m9 j/ }: S; `4 w5 [8 z* P这里一个重要的原则是
- q; c0 |9 r/ y- ]5 I# Lselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
3 p2 _6 r) w  a' }& p. B8 t  e如select id from table_name;9 l7 Y6 B- v4 h, r

; d2 a* s4 I# B- B很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不, ^7 u& ?7 u8 l) H5 K4 F$ n
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。( K' [, i$ d: z- C3 }0 z. X
1 F, C0 M- o: H6 Q) d# \% V# C. k
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    ; V, d6 d- h0 Z  ]9 d$ H4 \' }
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
) n3 U2 J- Q3 p0 g# H( [/ O4 b0 r1,. {. T- M* B& d: D+ ~7 z
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
, Q+ E( q  W/ R4 t( o2,  L3 w/ w) v0 k1 `5 Y
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。7 I, X5 U" W4 {6 i( R8 C
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:9 x$ C* ~8 c8 F: E0 p

5 F" k4 L/ S) h/ S3 g& L  S4,为排序使用索引扫描
: f/ P( S' j$ e; n+ ^mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
% G9 j- D# S6 texplain输出type为index,表示mysql会扫描索引
8 N7 L1 g  c! @/ a1 E/ R- S, e' g: f+ M! N/ l# X
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
* }' q4 ^! g! x! d% I; m& I1 \& J! w( V, l( U
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。& g3 @. X! u5 H* h" _5 ]" [  W: [

- V; `. @6 F  C- }按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。/ [/ P2 b( s$ C8 i' W4 S& p
7 n. H: M) T" ~4 b2 @. \( |
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
, \' A0 j& {0 @  m+ i9 a3 b% E- l+ a- Z! \& S
使用join可能情况会有不同
' N) ]7 J' U4 m7 D, V+ `. z  Y8 i( f+ v
5,压缩索引(myisam)# i8 i& O' \" U& M/ m. T9 t
6,多余和重复索引(应该避免)
4 w! {, _% z" Q3 \+ l) p. Q7 G, _' Q1 H. v# I
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
0 |" W2 u  M) D. H* b/ C$ J上有索引,那么另外一个列(A)上的
3 A7 f& ~  R0 B: s1 W5 H4 n) V9 i索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。); r* G: j, ?2 r' U$ p
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
7 K5 e0 ~' x$ @7 J& \/ j: r9 |5 P& w- `( E1 ?" P' {' P
要点:' O1 z# v, O! D4 K5 z, y; ]+ B
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
9 [3 J7 m, \  i$ K
1 U- o/ n$ Z1 Q' M: E: f3 R即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行0 W( u9 t: A/ h1 O9 {- O) t; E

+ j$ @' a, F# B- \) H) u+ a% R
( J7 C7 y3 @9 j5 z1 k& z0 A. A  z6 F! ~+ ]' d" N2 ~/ m
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
* j! |  t! d4 X( V1 Y5 x7 n2 P  O# _6 f
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引! t3 Z* l$ m1 g. ]6 z% }) k5 C7 e
- S: k8 G' w5 @3 k+ Z
# L( e9 o* a3 [9 o( G  r/ w
/ \$ I/ s/ q& p0 g0 W6 \
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索! d$ }" E# }/ l9 }
5 F: X1 s- [& ?5 H! t3 o
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。' b1 }' [* {; G5 Y+ G) W! [

5 z* U/ O. S; j) [' e: |$ L
' x' f1 h9 H+ ]1 R/ I2 g0 t8 J0 H
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。2 u% D) `3 H0 J. z; j
  P/ V( u# m. k+ S
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
% b. Q+ e8 Y  y/ A4 D- g" i4 c- I1 {% {* a$ N5 A
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
. q; H5 _8 P( g& ~" b" r
  D( ?7 |2 s5 s! r2 B5 s
( Q" S4 w% k# x+ c( o. k/ Y  S7 k( ~+ Z! X! [$ c" z
避免多个范围条件,只能对其中一个使用索引
* [' V! e5 y7 R5 @: K1 M  [: q& S* i2 w7 V7 s, N( ]' A/ |8 z, p0 u  X
8 h% q% H$ A/ a! Y! S+ i7 y

: U: K5 J( o6 U, w* T' a索引和表维护
: g- i9 k* l2 j/ [1 i) W: E9 f- Z, @/ s7 i' s+ s
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
0 L  d  e0 H+ \) U0 z0 y( s( Q
/ w7 `2 M8 t, t. xcheck table table_name;3 \' O/ P$ C2 {5 K, E1 m
repair table table_name;' r7 W/ p  X/ r" g
Show index from table_name;检查索引的基数性
% t" u6 E1 h& n; h% W+ q
! Y5 Y. J+ a3 k# I0 w* {; }6 Z主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
) `* B4 N9 w, ?. E7 v
/ ]3 N) r* y& \& W0 m  E2 p$ Y' S8 v/ T: Y4 s; ~0 B( E

! E) Y- O# L9 ~' C0 IB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。9 X4 J- u  I! Q$ Q7 e" K# n
! S* ?9 X# {) k9 a
表数据也能变成碎片化。两种类型:( \: o- q$ x/ ^

" F' \! [! q% Y: H1,行碎片9 C# \* h7 j$ o# |; O

6 i$ ]) D, v6 Q1 q7 A5 s0 R( O当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。% ]9 D( r8 G. |" i! M9 G

+ o3 b7 w. T% P; y
6 P% V7 P4 r0 t. z5 L
' H( j- `3 J7 K. t! y2,内部行碎片9 I) x. m. p$ O' N) U4 y4 T
5 G5 W8 d" u7 U4 z/ ~2 ?
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
. x$ V$ i  i4 ?6 g- @3 W& G0 T
* l# }$ p  u, d4 m- C聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。) g4 D: q/ ^) M7 h! x+ r
  L% @3 r1 k5 C- {; E  h& H  i3 w

; C9 @1 _7 G0 r- j7 V7 M* s' [  M% ?" |+ ?  X/ P$ k8 y! e- T
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。5 \8 N- u0 `! T( y8 I

# I' u4 H8 v& \% r" R: z, w# P# _' B

: f8 e0 ^& c* pALTER TABLE <table> ENGINE=<engine>* Q# N8 P- z5 k# s: ~  G; a
: W* X, E2 W9 R  f, j
, h% e* s8 j) S- F* e

! g# `2 j& s7 G加速ALTER TABLE
+ B# [  J; M4 o3 W: J" l' r2 c8 ~: x

- _& |9 m  W! b, [, C: B4 p
# A; u) P; A- v1 ~7 u" AMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
6 v7 M6 b, G7 q# S  l# ^$ C! ^( d, W% r4 W9 W" s; c8 D
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,* R- E3 c( y! ^

; L0 I3 ]& y" B1 {而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。/ q1 w' W/ I; i/ h

% u! J, \* G, R6 G传统:4 w' d- r1 I& O1 ]' Y# D

; U; d. [1 @! v9 XALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;0 c  O5 R* ~1 E' E% \# k( R3 z4 E
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
$ Z2 `! m5 a6 v改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。( W6 q2 `1 \8 I2 @0 \" _2 c, U
& ^+ S. f0 v9 @5 Z. y  n% I
变化:! e' V4 D0 Z5 M
3 ^: n: T# U" ]
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;3 `) Q& Y9 o7 _" {
这个命令更改了.frm文件并且没有改动表。它非常快。+ N  z7 ]  S( l  {- }: z
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-10-20 13:46 , Processed in 0.036750 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表