召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3068|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能. e  z7 R; }8 C  g. ~* j* t; [
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
5 L- J! W5 {' |一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列5 y- h. [# w( s. M2 c) A( {* b
在InnoDB中,只有事务提交后才会解锁
0 O( S' H, X1 R4 n6 d6 n$ H, W  S7 r8 H
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只5 u9 T$ J% H; _1 c6 \
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。/ S6 q$ e& y: P! r( x- c% |5 W

. Y# @6 l: n7 p) r+ IB-TREE5 v0 A/ D6 N* X, p* ?; k, Y' h
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
0 C/ ~( K" J- I$ ]% k( u使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
: J" ^. h* `- j1 C8 `5 A

  1. " ]& G' P' l% r. \. J4 t
  2. CREATE TABLE People(
    6 U/ V% S( A/ }; E: C
  3. last_name varchar(50)   not  null( u1 f. O% H# s# u: p/ H1 w" {
  4.           first_name  varchar(50)     not   null
    + o# @7 M' z. @6 H" x7 C" c) ?! |& U
  5.           dob  date      not    null% n; P& s6 M' L) {' ~1 a  |, m8 u
  6.       gende       enum('m','f')    not    null" B% [# j" L/ D% p4 b
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
2 o$ t- ?$ i- b' h% j$ `全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
4 ]9 A, q4 {6 U. `- I的人。
6 C' ], x0 O7 L, x8 @: [9 {7 k% @1 d匹配最左前缀# \3 X, ^& J) n3 }9 o1 k1 Z- f) b
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。7 V$ L* |9 E- t1 O8 P. T
匹配列前缀
6 y  {# e! G; X  @3 b可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
: C+ U6 y) }% }, [0 J9 D* ?匹配范围值9 c# X: B7 c9 B6 l4 _: _
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.5 {3 E" `+ h, D" H* S
精确匹配一部分并且匹配某个范围中的另一部分
4 J, N+ H# t. S. T0 o8 a$ ~- r- R* |" `这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
) E  s' L# i& D& z6 O  q列并且对first name列进行了范囤查询。
1 I4 I" }- k1 M1 ~' u* S( q) Qname
& N/ K& B3 n# B0 W0 s4 m- S只访问索引的查询! a; m) @* M& ^1 x" x+ C
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
9 L3 n5 C* a0 X, w% L
) k  X6 m: u2 {由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
: f+ K/ q, r6 q( f如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
2 I+ K) s$ t, C1 b找方式也可以同等地应用于ORDER BY。
# Q( p3 }; j( P6 V( q+ [. c
% F( X+ d0 Y6 l/ h下面是B-Tree索引的一些局限:! G6 U' j/ j/ i

, k; ?3 f3 Q# t1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
# ^/ I- M% j0 b% j7 y1 p/ {也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓3 {& u; m7 M, Q2 \. n# Y; n
氏以特定字符结尾的人。
5 |5 w' O' W- G+ s$ N/ R
  C$ O6 s% Z: H0 l% K; z2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定# i( S+ d9 B$ i6 T4 ~1 D( S
义first_name列的值,MySQL就只能使用索引的第一列。
# f2 y+ X8 X1 |7 b/ g' g0 v: b: u3 M' D- Y, y
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是% D+ A3 `0 j9 E, f
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而* A7 B- s( W7 @. N# Q& W. Q* k' Q
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。- r& v: f) y2 g) l8 R- p- v" m
& \1 l4 [, ]8 C- g% ~
哈希索引,空间索引和全文索引等,暂时没有设计
9 L8 E$ H" o& `7 V8 U. l! W4 D2 J( e5 f% r0 _8 v7 I7 |" u
高性能索引策略
( Q/ A: i* G) ~$ `9 r9 a( d
5 E$ t; z) s5 a9 k1,隔离列,意思就是不要对查询条件中列进行计算等操作+ y0 f, O8 L' c6 R1 e
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
- Q$ c  ^  w& |* D' _! X6 ASelect count(distinct 列) /count(*) from table;0 f) D* D, _9 |, M) a
看看这个值时多少,如0.0312
: H: i/ a3 v! t. V那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
% N$ e6 m- r* R,这对于大表很有用。/ U# `# l2 a7 F; j6 K: _, Y# O
Select  count(distinct left(列,3)) /count(*)  as  sel1,  I' p% l* s9 |* T/ ?" K' m
count(distinct left(列,4)) /count(*)  as  sel1  ,
6 Y6 Q6 \* o7 A count(distinct left(列,5)) /count(*)  as  sel1,
% R% Q3 a8 j; e; g, J' K' M7 f0 w/ f count(distinct left(列,6)) /count(*)  as  sel1,
) K) B+ U% [, f! m4 `3 U count(distinct left(列,7)) /count(*)  as  sel1   from table;
- a/ L; W$ {% H' m  u找到接近0.0312即可。1 C: Y6 ?6 k9 z% G+ s: v

; X6 w% }* K) C+ S/ z; S. YAlter table table_name add key (列(7))( V4 d/ ~; F0 c2 H
3,覆盖索引
* T' x' G7 K4 l9 j# W, v& @包含或者覆盖所有满足查询的数据索引叫做覆盖索引
2 T. ?2 Q; }1 i6 w4 D: z; t2 [4 {/ texplain时,extra中的会显示using index4 Z; z- _" g; h+ k1 E
这里一个重要的原则是6 c  H6 g/ H" }! Q! E
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
* }# `7 |7 |, |" M如select id from table_name;8 q; B$ x; w# I' h% {

$ k4 c: C/ ^9 O( a0 s) \& \6 m很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不; O2 O6 d: G. a7 s3 C
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。1 V; V/ x. Q/ ?$ ^. u7 Y' A
' m5 W% ?# D! U. p$ \$ {
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    & ^% s9 G( N0 J) I1 t
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:# S+ X# x- T1 M
1,- U5 ^. R0 `4 J7 M$ T* Q
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。9 H  M6 ~0 r: Z; J# l6 m
2,; S7 [3 {9 x2 e, q2 h# N) O
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
: q. I  t  f# b5 j! G有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
2 s/ T7 E- Q2 b8 |
4 Q; I4 _0 e8 |6 O. N. F2 ?4,为排序使用索引扫描5 N: I% C/ |1 @  H
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。4 {5 Z  R' l( W% N5 T
explain输出type为index,表示mysql会扫描索引8 ]8 K3 C6 \* o$ u( R

9 c! ^1 q& b/ b: P扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.+ V4 i+ _8 S! t- U* Q

5 J% G  \9 L1 m$ RMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
" c5 ^( B0 w0 I/ f! h, U, Q4 O
6 s( J: _5 u) H7 T. E: e按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。5 [9 d" g9 t3 C9 {/ P5 M8 T0 U
  ]1 G- B& [2 P5 h# P# j6 z
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。  a2 P0 g# \4 B

" \0 ]2 G- c  v使用join可能情况会有不同9 W# i, b8 e! p! h5 n; U* @  g

0 i( L; B( z3 @- c/ Z  e/ O( @5,压缩索引(myisam)
- W. P+ \" W$ c% o/ E; G* a! _" @6,多余和重复索引(应该避免)- \- _7 l( l' `

; s" K6 Q9 f/ r& @多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)$ Q$ R8 ~8 _9 H5 h  Q& P, `) ]; I
上有索引,那么另外一个列(A)上的
+ S3 F7 T# _* j3 I2 X索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。), a; M/ s& B9 e
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
7 C1 T& [" o0 s" _; A! x# @
( x. m* O9 ]. [! m要点:; B9 ?9 K( u  O4 u
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
) I, U0 G" [0 e# b" I
3 k) c4 n5 ^2 F: Z4 b即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
, V7 O8 G+ `* I5 A6 \
( `+ z8 C' `1 l& b  L  I& v
" Y: y6 V1 A/ Q3 w, r  D; e. G8 T1 y4 A1 l; S
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,3 ^% e6 F0 G+ B& ^

" P5 f  l$ B( D: w$ V9 E拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引5 i  v! _" G" H
3 ~: h2 M2 t6 d, E( H

0 h! w4 G- F9 _. H. G  p2 W- B5 o9 B; h' {
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
8 m1 Y$ C% Q# q  F) C; U4 ?4 ^! x$ u0 s5 g* [% I4 L: B
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
* }/ a+ D; Y$ e  e7 v/ \: u! K  ?8 x1 j' W4 D0 u/ }: p

9 l5 Z5 ]" ^9 {+ Q
9 \; B, U( W. X3 m& k% M/ v一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。% A! f, N* b7 p! P8 k9 Q' v

6 b" B; b+ Q+ |9 `/ c例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理3 I9 ]$ t7 k) P, @2 R- p
- t& S7 v0 @5 D4 d3 _# Z# L, }
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
1 x: @$ i) m: A3 q; e
. W& M7 ?& Y# x9 K! G- L
: m3 S( ?$ L# K0 I% ?/ X8 g$ A, i
( z) n3 f, E, S" E+ u/ f避免多个范围条件,只能对其中一个使用索引
& G4 `, r9 s2 ~/ i5 q
; P5 z; b6 Q/ d) o
9 z& A9 ^6 ^- T
+ ^) i$ V2 {- ]2 o( Y索引和表维护. r; v; U) B0 L: N0 }
, @# G& ?& p( Y$ n% _
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
  m8 x2 J0 V, j9 B& _) N6 G7 C
" j, F; O& K  Z9 v2 J6 Q# Ncheck table table_name;; S9 z( v; `/ m6 a4 a9 z' |. T
repair table table_name;
, v: C6 B% b4 O. ?Show index from table_name;检查索引的基数性
# H+ c$ ^$ }  b/ Z8 _3 h; Z" p# P, V3 H, C5 g
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量' }  k1 e) c! Z! T8 c

1 s7 i- y# n7 a* o, R& Q2 m  I  Z3 o1 k- p$ P. V( d

: S0 q  B) K' P! s8 sB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
3 g, H4 s' G: u+ i5 O- E9 e, J6 h3 A/ r
表数据也能变成碎片化。两种类型:
& R6 r7 ], \6 b( c$ k+ C
% q# F& ^7 j' b& y# A1 h1,行碎片
+ m' C4 ]7 I9 X. L8 U2 I& E& ~  v, `% ]5 x- ?
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
% ~+ h! h; A( j* S+ n3 z' R0 r' D* X# \
& p5 ?( J. \' W+ P% v' E6 A. q% q* X0 K4 o% X
2 G% g; e6 l# u. M2 F' d) @/ Z
2,内部行碎片
- [) B6 p( J! S; I# a: @! l* s
+ ^! D9 d8 q  l& Z" `0 A2 m当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
- v/ j& d! S7 |1 _3 Y4 U0 w) j1 P
8 `+ s0 A0 E7 i& B% x, v聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。! W$ m4 E$ [  ^+ z) l- b( q
  \% i3 w2 e/ u+ y, g
, ?! D: q4 @0 q/ \" O$ Z! ^3 H

& D; A4 G* v0 E% e为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
: u. v4 f6 a& s( |
$ Y+ e* i- D- |- W% F  u' V, `: s. ~+ k9 O

9 o. q( K4 y5 Y9 f4 CALTER TABLE <table> ENGINE=<engine>
% n6 X  Z  r5 T) Q
* _& v, T3 d* H5 A* Z  k  C5 J/ B0 w2 K4 \

* }& M9 I1 E5 ~5 L: Y( J加速ALTER TABLE( `, j/ D% W5 c% s) \+ P
( B4 C) l7 w) l8 I
% [8 F' S1 V1 h" O- B, Z
  i9 `  s8 L, M6 }. E8 ]
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
" C+ V$ }7 E; \) w# [! x
. }1 i' h/ Z% F6 G0 i/ n( ]1 e7 F要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,) g6 z/ ]9 S! F4 _" M

) {1 W# b4 a1 t8 j而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。% V# y2 E: z; Y$ I* |+ d0 S: W
9 Y( p1 w+ n. v( u( [0 w# |
传统:) c1 }. O8 m) k$ q) t
+ r! g( T4 ~' r4 ~: M* B
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;8 G/ E. m) ^2 K/ `7 t$ N6 U
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更4 |* i4 k0 p- t0 E/ V) e5 Y
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。+ `7 ^+ ]5 w" [* W( l. J/ K5 k

, _$ w9 u7 H3 ^9 C变化:0 E2 w3 W9 \7 Y  z

  y+ K$ q3 u+ f" ~6 ^4 ?ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
% h2 U9 Y$ `# n) O" u+ I! o- `( _这个命令更改了.frm文件并且没有改动表。它非常快。& X3 O: I" P3 X
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-6-16 20:19 , Processed in 0.073356 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表