召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2963|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能/ T5 o. _, @4 E: n- U6 j4 @7 Y" ~& }
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成6 N, G# J& G0 V1 [+ p2 B
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列. ~( i& k; n* l7 W3 }7 |8 J; g
在InnoDB中,只有事务提交后才会解锁. h* T: @. W5 Q

$ N' K! @8 a7 S索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只1 s$ Z! V+ i* L3 \: T
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
3 {3 s9 l/ T: U7 Z* |8 q
" ^, v# ^' q# V! o" g8 XB-TREE" Q5 E3 M5 r5 L: G  P
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找' i" m6 w; N/ v. e7 h9 E2 K! u! ~
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。) M. G; o; x- r% h# S9 T

  1. ' {# _3 u8 W% T
  2. CREATE TABLE People(
    + S5 }+ v$ h3 I7 {
  3. last_name varchar(50)   not  null! k- o, f; L- V% M( p
  4.           first_name  varchar(50)     not   null. M% M! p0 Y3 A/ T. D1 u3 ^
  5.           dob  date      not    null
    5 i$ E) J% x8 o) M. r3 h9 G( R
  6.       gende       enum('m','f')    not    null! g9 H1 M, C) k( M4 o2 w! R/ K
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
0 [: o" x9 j* ~& H3 ]/ L全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。6 G0 J( y$ |. i. t- e7 X
的人。5 a2 L( F1 p. v' h
匹配最左前缀! |# s0 Z5 v2 D# J5 u/ K/ A
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。- s% k" F* ^4 q9 H) y& o
匹配列前缀% u0 `" |8 X2 B# {
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。3 y1 S* L% k% v: B9 N7 `$ H
匹配范围值9 N* F# {' p$ w: [% T% u
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
- C, V; `- D" K9 v; ]精确匹配一部分并且匹配某个范围中的另一部分
/ n( c- Q1 W; {, f3 S; ^这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last5 v2 a- O: c; E6 G
列并且对first name列进行了范囤查询。
2 V6 q( P& {" J3 _0 U4 x3 w8 _name
" j7 z& Y. {+ @( n9 K3 B6 Y# o" w( e' U只访问索引的查询
& e% G  q3 h( F, ~. vB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。$ [. J& U. [& y' M, B! k$ M- x

8 `  h+ t( i% Y, ?  m- r, ?8 n' n由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
" z: `/ l* e7 Y3 M如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查& ~2 Y5 S7 X; G: a
找方式也可以同等地应用于ORDER BY。
0 ?& }" G0 W8 \/ |
6 t9 c+ r, Q- e0 k下面是B-Tree索引的一些局限:9 |; U/ d/ s. G9 `# i

% P( P/ |& J% I* J1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,& a' @( `5 |- @2 l
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
/ K6 ]4 |* k0 [1 O, J' }氏以特定字符结尾的人。5 Q! Q5 i( I% |/ D9 q  [$ B

, ?, T9 E8 q" F% a) X) c4 \2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定7 e" j2 i/ Z# D# a# V; W( L' K" L
义first_name列的值,MySQL就只能使用索引的第一列。
" `" ^3 R) A  v$ M+ A7 }
* h& _& i4 }3 N: K( W3 x# M' i3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
. A! {, [5 J+ C+ p范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而# `0 J8 s3 M8 g* n6 N# C& E* P
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
+ y  L. h8 [- @. |
8 w0 D/ h/ f& i7 \: [哈希索引,空间索引和全文索引等,暂时没有设计
/ o$ h5 ]$ w% T, c: m+ r6 D# k# u1 q. u
高性能索引策略
) h/ d7 N6 d% @1 u
( Q8 n, C- X* K7 f; p1,隔离列,意思就是不要对查询条件中列进行计算等操作* Z  o) ~/ q9 _
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
% _+ \- E' f3 @" k5 ]/ jSelect count(distinct 列) /count(*) from table;
# C6 G1 M2 j- K. Y( A- a0 w看看这个值时多少,如0.03129 I3 ?9 I- v/ Q5 b8 A
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
6 {7 x' E8 @7 }& }9 {2 A,这对于大表很有用。3 ^, W; A# A' Q1 l* K& u+ Y
Select  count(distinct left(列,3)) /count(*)  as  sel1,
2 L% B8 G( u: X& e count(distinct left(列,4)) /count(*)  as  sel1  ,
+ Y) ^& j9 |9 H3 {  E; q1 E/ j count(distinct left(列,5)) /count(*)  as  sel1,  j8 q/ m. D3 R4 X! I
count(distinct left(列,6)) /count(*)  as  sel1,
. K7 T& J3 L2 l2 ]2 `7 a( i count(distinct left(列,7)) /count(*)  as  sel1   from table;/ ?: v3 ~* t, x$ }
找到接近0.0312即可。- k* C. T% j9 ^% O4 r* U7 \

8 i* u! S. x. p9 c% BAlter table table_name add key (列(7))5 n  T1 Q% ?& Y) A  _
3,覆盖索引0 ~9 i) A. T" a( e' e
包含或者覆盖所有满足查询的数据索引叫做覆盖索引) ~1 k, T' \7 ^) S! q& f, ?$ _# b3 U4 m
explain时,extra中的会显示using index
6 h- R6 P2 V3 H) H8 |. B. f这里一个重要的原则是3 I3 b7 ^6 k' Q
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列2 P( \$ S3 Q! U) {
如select id from table_name;
/ j- G. f: b  k
1 q7 s% ?) O7 n5 T! `8 d很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不* q0 u& J$ r7 b. B/ _- B
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。6 g- [& ~7 w# K' [' b# C& w

1 E7 F+ j" p* h& Z
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    6 Y$ k( v' [2 _4 J$ H7 y
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
( U9 P7 f) \+ K& r6 Y: D/ m, [1 B1,
9 n0 ^2 ~5 s8 V5 m$ c没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。: O, Y: A) t2 o
2,, @- q; K3 B* d# l% t
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。8 q5 U( }  q' T$ e8 R1 G3 l
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:  g; [0 h5 X, [$ |

+ a/ _# ]. X0 l1 Q0 j7 I2 o) t1 `4,为排序使用索引扫描
1 D$ g: E# B- l( O$ Smysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。0 k) v2 L& m4 u4 i
explain输出type为index,表示mysql会扫描索引0 E7 r. I  [" _7 q

% L, ^8 G4 }$ R% s8 {: x扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.: Y) ]$ B" |# d' U0 h# c

- C4 w# |4 Q1 U* @MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
& @4 k1 |4 H: Z7 w, n+ `9 W1 g# j' ^$ c3 g, q
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
; ], r6 ^6 U! W9 E* [% y$ k7 j9 n7 N4 S
6 P3 [9 q0 p) aORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
0 ~& c( J6 _& {: I$ \+ W0 {# y  I* h: ?: Z
使用join可能情况会有不同
1 h0 ?$ r) F4 i1 v. l0 D& i8 M, D7 P
5,压缩索引(myisam)
3 M4 `% n1 P8 S% b% {! d+ X& J5 |6,多余和重复索引(应该避免)' ^8 m$ q1 A* F' O# P
. E$ |1 G% {+ `& @$ ~
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)3 H; u$ }+ G* g1 D2 N5 v
上有索引,那么另外一个列(A)上的: s  ^: J' c1 R( x
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)" i' |; s% ~! q6 L+ {, K# _
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。- @5 e) W% [. k( m4 `
' T( u4 k1 z5 ]# M; E! g- D% i
要点:- N) {' c: H* D" |0 `
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
* n# m3 ?7 u4 y
7 O5 x3 [' W2 g6 c, E! \即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行9 i5 L6 ]; L  W$ k# K/ O; E

( M2 _  k% t+ t$ D  k2 @/ c; H
5 M$ Y" T& W6 B) x( y; d/ y- E4 Y+ G& e1 v, v, N
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
# _# P2 F, c2 e( l, u6 u
+ y1 \! w+ o0 X拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
" ]' N( y7 y+ J. a! d: L0 r# b
6 e  a2 }+ I* E" c$ j) p6 ~9 }' n. K! B9 i4 p& H' p" m4 D

9 F9 z. Z: B3 ~( Y一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
1 Y" h/ r6 \6 V3 s5 w4 F6 K0 c) D  d1 B* _1 ]
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。/ Y! L& P, U1 o
0 }$ V7 R! o; i4 o

1 D; c* A: |2 b" _9 ?2 X; i. v
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。$ Y# B0 Z* W6 S! J: U! g
* e1 h% B$ }3 P# }7 w" g
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
2 F7 W# m: t5 ?( p+ T* Q
1 {" N/ V; Q0 ~+ d8 {) n这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式. J& }# G) `# ?9 s! r: t( l

; ?5 Y' h" K+ G# ^+ j5 a4 @% Q6 _8 d8 S4 [: R# z0 s
) A3 q1 e$ L; K- h
避免多个范围条件,只能对其中一个使用索引$ R  D% \# _  _

* C. C: N" r$ [1 R1 @! n
7 o" @( d2 m( Q2 [- A
* r7 O3 @% x' y3 Y6 h索引和表维护2 M. D( I* |% }! z# j# I- Q6 @
1 ~( U& O5 y8 i
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.2 p8 v" t0 H: i  T) O7 D2 `
( W5 p) U; l. }, ]. ~4 M6 l, x: H: {
check table table_name;" \" c1 U' d5 c) @. j
repair table table_name;( i0 q# L3 h$ m& O: r
Show index from table_name;检查索引的基数性
' c7 R) o% P7 D$ i( v/ D  i% ?# F' A3 z" b. m) y
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
3 Z2 K! a0 ~1 D" y+ U3 y
4 w; O3 r' ]. `5 q' D: p4 }1 M# P. d: i  v+ i1 ^

4 M/ f3 q9 g' J/ K: ?B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。9 V2 N# F& W2 q3 e+ q
8 e( y+ t: e2 _$ h0 ]0 B: G
表数据也能变成碎片化。两种类型:
) V* d. ^# I' g8 _1 Z
" w, L: A8 v6 D+ g1,行碎片
$ K: @% j& s8 L  J; U- _" d; i9 N% v5 l- H
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。: S5 k8 O1 b& K' b  c. P& |2 D

: l$ ]9 ^3 p2 N* z$ B
. _# V4 Z: R& R) Y# T( m7 z  U1 ]+ j) V
2,内部行碎片
* O) C0 I9 Y5 k$ X, h+ M
$ ?6 F+ T  w$ m) n. b当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和* Z* U$ t) S* w
& f1 d+ v$ K- c% w, }
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
* Z/ M& |% X3 R4 p6 q& L
* [! f' N5 T: s" X% Y
$ d5 G9 E+ Q: A3 y# K# K0 f
' C" K. H& p0 x- S% D9 D为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
6 p. M" Y- l) x8 y' p0 a
" g/ F8 d; N1 e) }/ k& x
2 t7 k5 S. _5 j9 f5 O) L8 _. ], g, Q9 f( N9 i& o. T# x
ALTER TABLE <table> ENGINE=<engine>
& c/ ~" E. x5 M( V" Z3 N6 q' a. ]9 J  W6 F; t, m$ X7 y5 ?

* J( A, p* p# }7 @& U3 {* V3 y8 k- J1 w* `4 k; W' P* K
加速ALTER TABLE
9 q& R: w- [/ v$ N# O, O0 z' U! Y; p8 K1 \" J- t% Y
! r: D9 n/ _' D$ h- S

9 z' W8 a0 m/ L7 kMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
1 d+ Y6 q2 Z& B, L
9 g( r0 g- p7 g, A' F要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
" j# Q3 X9 i5 ^5 q" e
# S3 t6 |. J) ~而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。4 r5 D$ q6 ~; y
$ i) M( M; X9 Z: I! C1 _* j& a
传统:$ I0 ?' V0 ]$ y) X" O6 A: J! z

* u( g/ g9 V* S5 g" G% fALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
' i+ ~3 @  k# K理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更5 u, J5 C6 Y! B5 }+ S9 p7 j& A
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。. M/ X! r. ^3 T& @+ w  l7 m
9 Q3 c: w0 B/ V- J$ i' H7 G$ w
变化:$ r0 i5 o  u: P
; }% ^) s7 r) @- n, o7 c
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
3 d, @8 L( ~) x/ S( v; [' u/ @这个命令更改了.frm文件并且没有改动表。它非常快。  ^) y' [7 B6 F) m4 a
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-4-25 15:35 , Processed in 0.039452 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表