召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3192|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
- Z; H) B7 y3 ]1 O有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
# V0 {" `& P0 ~4 d8 C一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
8 q0 k; d/ B0 S3 k* U在InnoDB中,只有事务提交后才会解锁
, K: [! {( K* @& T4 C  D' A
7 M/ _5 |0 H& |5 V: t索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只) C7 i% P% G/ ^' O
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。( m, w( A' F( C4 e5 {
& N, N  y+ l* k; C4 w! j: S0 I* I
B-TREE
) l3 M3 |4 z% ~% c  v0 _. I; f能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找( J2 W" z9 ?0 O2 t$ N" ~
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。% z3 V  m6 M. q+ f
  1. . h& l9 s; }- q
  2. CREATE TABLE People(/ W' y7 i9 e0 L& l4 u1 L6 Y( C
  3. last_name varchar(50)   not  null
    ; t  s: c! [; Z$ U$ D- S  h; \* Q
  4.           first_name  varchar(50)     not   null
    ' v2 ^' I2 w2 X) f, p6 R- M
  5.           dob  date      not    null% N+ w* r9 k. E2 [" \1 ]
  6.       gende       enum('m','f')    not    null% S  g8 c  D' {2 D; `/ z5 ~. i+ @5 m
  7.         key(last_name,first_name,dob)
复制代码
匹配全名: l/ p& K: W( v6 S/ e
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
0 A. [0 L2 o4 n  r) `) ?的人。+ l! H3 K- D/ j/ Z' j
匹配最左前缀: Z1 H8 z4 K, O# Y
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
7 `# A1 n3 H! `5 r6 M4 J4 g, G匹配列前缀
4 L6 @( X; M0 R0 m可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
- k6 ?1 x+ s0 L- D匹配范围值5 H/ F; O5 o2 I" t6 X2 K0 \3 U
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
- m+ W: N" ~; \: J8 V精确匹配一部分并且匹配某个范围中的另一部分
& m0 P* l0 c% |. }3 k5 j! Y这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last9 Q- R  e% a- j  G. t
列并且对first name列进行了范囤查询。, I( {5 X8 r  `5 Z2 ]/ [  a
name
0 z3 e2 z/ S8 R! Q; i" \/ ]1 s& P只访问索引的查询6 }. X) _$ P* H7 d# ]" z: f
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。1 Y! h% \0 R1 t9 |3 n" z

+ W  X0 j4 C- _7 {; F* I; Z5 Q2 R由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
- g9 ?7 u( S/ K3 w7 T; W如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
! \8 f- x3 k4 L, [3 j1 M# d找方式也可以同等地应用于ORDER BY。
' q* U. ], Q, S4 z& f) ?
. \  E5 `& j: ^$ F2 \. o下面是B-Tree索引的一些局限:
' n8 k2 x( _% P3 @  D  k( b3 A& q3 n2 G
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
; l$ ]8 D) @, C' X+ M, D0 |也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓$ x  l  G' |6 G* R0 F4 D# @/ q; F+ r
氏以特定字符结尾的人。
0 {" r# U7 q0 h' S% O" |3 Z. Y/ j( P: F7 ]; W
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
" ]# `8 ?! E! ?义first_name列的值,MySQL就只能使用索引的第一列。8 `& r$ c: G2 \3 R: ]& k6 t0 c
- b8 N+ l, g5 y" v. G+ \
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
: G  [, e" a* c范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而9 D2 J( y0 f/ w2 b( V
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
5 K+ {7 B% w9 O2 Z7 V$ e$ E  [4 y! w/ ]
哈希索引,空间索引和全文索引等,暂时没有设计
8 U! ?# |5 ~2 [5 w8 k! T
0 R2 e8 z& }! I/ G高性能索引策略
8 b# X) c1 k% @! _% F" I# Y! H* h, c# a0 [
1,隔离列,意思就是不要对查询条件中列进行计算等操作
+ U5 z; G: }! N2 x+ \2 c) I2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引* {+ e8 ?: C. q" c, D- G* N
Select count(distinct 列) /count(*) from table;$ O: h3 ?  ?9 Y' W) H" c: m
看看这个值时多少,如0.0312
; A( M; f" ^4 g" g) C3 f# G那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
' s$ |% m: a7 ?8 F,这对于大表很有用。7 T( G8 b$ a( n: b% W
Select  count(distinct left(列,3)) /count(*)  as  sel1,
( ~+ i% Q2 ^8 X count(distinct left(列,4)) /count(*)  as  sel1  ,
" r4 F- Q5 H1 X  _ count(distinct left(列,5)) /count(*)  as  sel1,
' v$ |" w, r. N count(distinct left(列,6)) /count(*)  as  sel1,2 V5 a6 c2 w: S+ o6 i0 M
count(distinct left(列,7)) /count(*)  as  sel1   from table;; V2 y6 \5 D; D! p
找到接近0.0312即可。! x8 V' G4 D& `  K

# @- m) g3 E$ wAlter table table_name add key (列(7))5 T; n; B: v1 F- q9 K( j# X
3,覆盖索引0 X3 i& u1 ]2 V$ j8 a9 r, D
包含或者覆盖所有满足查询的数据索引叫做覆盖索引8 u" ^0 ^8 A: v# |; n7 |2 N8 V
explain时,extra中的会显示using index
5 K" F$ t: f& W5 G这里一个重要的原则是$ s# l: R- w7 u- [( ]' R
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
0 D& b' C. Y0 n! b/ m2 l如select id from table_name;! Q+ z- z" M8 N' f$ {
8 Q( e, f  G! A
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
9 Z" w6 Q# C3 E& h; V一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。! l2 S# A7 @, `0 v8 T
' y, n) o# ^  R* h, J5 _/ T3 e6 j
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    ) w( W% G- u9 o& e8 w7 J
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
$ j  z6 \$ v7 k, O/ Y, Y1,
0 X8 {3 D4 V  S  D& K8 o$ z; o  o没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。6 F2 v) d' P+ w. F  P( p
2,8 y1 t3 R  y4 A& m! \3 \$ x
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
6 @! g0 X) `0 {6 z有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:9 P  ?( V4 R2 C5 b. L
  i/ C, z5 T/ X# s7 e4 A
4,为排序使用索引扫描6 Q- \) e' W5 X) T2 ^# Z/ i
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。$ O/ u  W" @3 z9 Y. h, K+ L" j2 O( p
explain输出type为index,表示mysql会扫描索引' B0 B- }& h) k; l: Q
# u! u1 c% o3 F
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
6 A6 X$ ~: }1 M2 |
3 u5 v- [; O; q6 {/ P: }MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。" J$ F1 W: u9 m. d  w! P
* T0 v8 V! S3 f7 J- z- r
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
3 e1 E7 j; {! |2 [2 c7 M3 d6 q) G0 `( G4 z' D8 O' s
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
: |; ~; M3 y& `% u0 h5 |7 W( s2 m
# K' e5 ?# n' y. K使用join可能情况会有不同
8 q" q0 Z% m1 K) Z1 C% ^0 b# T- A, h  b
5,压缩索引(myisam)
. @1 V" y3 n! B' a6,多余和重复索引(应该避免)! f- d2 o0 X  [5 @+ g, u

8 B: X' Z" G: |7 f. m& y多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)4 N& r4 J" g7 P- z4 |6 R
上有索引,那么另外一个列(A)上的+ F6 A4 I3 X: `9 y+ E" e* M9 P
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)! f4 _( R: ^- |- W: |" q
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。( X8 p1 z% X8 P" Y' S
( q2 @) T' w* ^- D7 Y. k; T
要点:$ S  b, H# a% ?2 R% }
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.! \; e9 k' F) j1 `
1 f% K; c; ~: c
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行* m5 J6 l8 H, a7 Y: T

8 t! k0 r' q0 l  K9 ^2 N3 M
6 Y2 t$ M. v' B: h
& a, y, I) x; x- J1 ?
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,& b8 S& F- X1 W; D# G

6 g5 g( W  e1 _% N9 U8 U拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引& a5 @# \9 o$ j3 l4 m

* Z% Z! i( A7 }1 o% n0 B/ c" j3 E$ c. |! q$ p, ^$ |: ^& W  S

8 S& B9 s) y' @一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
6 u% c0 C" b* m$ ^  h
1 b0 k3 L8 B! ^& d引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
0 ?" h* _. V6 `! n" C# |1 |- p- Z: |4 p5 ^) d) x5 i; Q

7 ]& `7 i  a. B0 t: ^2 i  T# m; ~% n, B! U5 W7 I( J) W0 b1 k/ U% B6 d
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。8 k- d  s2 R2 \4 A3 j
6 F0 K4 x  q5 K5 C$ p
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
2 i$ ]) z3 p( m% h
( N* P4 k) u, w0 Y这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
# V( m' w' f: d" \' ]6 b, F0 ^( g4 q, o5 s
2 [8 C* D9 U8 G0 f6 f; w8 F" w

) K9 w, S0 w  W! Y' w0 m1 z6 p. {避免多个范围条件,只能对其中一个使用索引: n% \, A% A5 z
  h( q4 \" O! i) A% S; w3 s

6 f: ^& D0 l# s% T" H3 o2 @& z* S* l
索引和表维护* H! _" x( P" H/ t" d& \
& i) M( }, F" G: {. a/ s5 e" J
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
. `5 C6 I+ U9 x, @- m+ k
# _8 T& O$ J5 D' Q2 J) Xcheck table table_name;
3 ~& c/ M/ s  t6 l/ ^5 E7 ~3 b7 M  F4 Vrepair table table_name;9 f; A* s4 R1 d! z  I9 Z
Show index from table_name;检查索引的基数性6 `, Z8 _3 b* a% w

: k$ j# O& h! B3 ^7 C. o主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
- ^$ _0 j$ V- P- Y% \7 i% n1 G8 M# o3 V% m- i8 i" e1 w

) q; J: q+ o8 [5 P) ?+ r+ F' c6 b' b; c) c! x; @- D
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。- C" D. i& m+ G) ?6 J# v6 {9 R

0 n# T, R# {. l# ~" c表数据也能变成碎片化。两种类型:- I  s6 @3 ~) w# h1 {& W

/ s! l( F4 Z% D1 D1,行碎片
8 g$ L/ n( s3 D9 y  {+ B- V3 m* ?8 f( J9 F# @
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。. d# M& @7 T# \: o: Z, h
: w1 n* ^4 r% @

% ]/ Z0 I. H2 R. n/ x6 \$ {* v# k; t  B9 Z* J
2,内部行碎片& b) a7 g( B& R: h
9 ^" x8 V* O3 ?
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
& x( f7 @) ~. x" I$ ?! b/ Y# B5 c9 U
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。' R- w% m( l9 L# B5 u/ A

2 R$ h( @( f  d& \  d  o$ J6 \0 s9 ?+ m) |2 Y. c2 w1 d, [/ N/ f, O9 z% p% L0 E, ?
( O) A9 I( u, r% v( K
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
* b5 g: D8 [: ?& i; G
) g" m# y, E% K4 |" O
8 U( P8 @" e( U+ L7 o* }4 _  b# d8 T' d+ y8 ^* h1 t5 v2 X) c8 O: e! Q( Z
ALTER TABLE <table> ENGINE=<engine>: G1 E* p' E" I% d7 P) D; S
& e9 B/ n) N1 M+ h$ b8 z

% q& U1 V7 s* z" D1 X$ A1 o- Y3 m$ N! R6 B( m
加速ALTER TABLE' |* Y9 x; y4 s. d3 A" d
8 Z& \& q9 P  v' n8 z$ i3 q

5 J) E% i; V. u" `3 c2 Q4 g. k! e/ S9 s/ H0 [3 i
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
: D/ M! H3 {0 Z3 m$ n  W) D; a+ V9 i* V7 e( f% u- [
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
. [$ ~% J5 x7 N( D0 c$ o8 |( F. J: f3 l8 k# @% v
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
" V& O: B- O; |  s% [9 q  S7 N  ]$ b7 v$ i! ?) p5 [" d; g
传统:4 J* m1 ?6 S  l) d0 ]- i9 d
; Q- }5 Q  a5 l) b5 v$ g& l" B1 |
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;' n$ W$ O# v6 d! v
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
$ [% ~( ]) M& e* |( K6 e6 ]5 j改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。! Z0 U' E/ Z, {5 _- a# k- {# J/ _
# m4 j3 ?' K6 N
变化:
- k% L8 Z/ }5 k% I2 m) ?$ j4 u  z5 g+ t! Q9 @! u% f
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
1 p) O0 G3 d) ?8 n这个命令更改了.frm文件并且没有改动表。它非常快。
. K) z# D) Y3 u还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-8-22 17:29 , Processed in 0.037442 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表