召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2851|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能3 M0 ?' P& F3 Z
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
: @7 ]8 F1 R4 D% U- y一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
5 z" \: X5 R' Z/ e+ M  N9 W5 T& D在InnoDB中,只有事务提交后才会解锁7 V% H& G5 \; F# G. P4 o! O( e9 `% V: A

# i. |) z, t+ G, O. L  c索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
" G+ `  O$ B" r4 z& M/ Y能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
8 G/ `# f! Z+ k' B& L
% W4 K, s6 E# k& y" y8 n# p6 HB-TREE
6 q4 N  Y4 n. ~: H7 w2 U* a4 W能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找4 C2 F; E/ n/ y; C. O
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
: \1 h" Z" q( S  m
  1. 6 n0 O: @2 T; P
  2. CREATE TABLE People(
    1 U+ Z/ r1 i8 Z3 u4 w& T; m# f# r
  3. last_name varchar(50)   not  null
    $ H8 A/ P  F) ]. I
  4.           first_name  varchar(50)     not   null9 H$ {, S( \% r- S* G( ?- ~
  5.           dob  date      not    null
    . ]. [: a( q! e1 M/ F0 x
  6.       gende       enum('m','f')    not    null
    & y) A# a% a4 t( J9 @# w& O7 C
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
+ r( \% n! v" r: B全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。* H+ K7 C. S, Z% o
的人。8 f" |; M# j0 m+ b) y
匹配最左前缀- A" s* g- l8 z' p3 c) n- N
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。* b/ x$ o: `; C5 g
匹配列前缀
  L5 C" j' {% }可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
7 u6 ^+ B6 Z) V匹配范围值
, ^! ~$ l) V7 P# B7 g, p这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.( ?. x0 G7 c/ k, t3 l
精确匹配一部分并且匹配某个范围中的另一部分. M2 f3 i; E, C
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
" A( n% X& I3 U列并且对first name列进行了范囤查询。& X9 |( g1 H8 e6 X% u0 O
name1 ^! N4 b5 I8 {% s5 K9 L; W) `
只访问索引的查询
' o0 A9 L4 i" Z7 ^# L/ {8 MB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。1 N. O* L# p: D

5 Z  B5 `0 N4 {0 _# m由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,) V; R: h9 f0 L
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
. W0 t  J$ ]0 _3 O; ?- n找方式也可以同等地应用于ORDER BY。1 ]+ {0 _) k9 A% x+ |* E/ Z

' \' n8 t$ q9 d% i下面是B-Tree索引的一些局限:+ h( k9 X: F1 A  d, y0 E

3 w0 @: F- q2 _$ Y! w) T! U. v1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
% q* D, Q  g7 k也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
- z3 n% q2 n/ A% f' ]$ L5 y氏以特定字符结尾的人。/ F3 g* J/ p$ ?* ^" p
* d% m3 M. E2 \( |7 B; R
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定' q" y: K. C% P0 R2 i! ^
义first_name列的值,MySQL就只能使用索引的第一列。
8 E8 ~4 Q# w" \
: g( C; u. T, y' S6 ?3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是. P2 v& p. D4 Y
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
. H2 ~5 r, V/ T. J7 }7 W' d不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。- e  e/ W$ S3 S7 t

+ B) `% V, J! Z2 D6 f哈希索引,空间索引和全文索引等,暂时没有设计
; B( c9 ?- Z7 D. q1 W
% Q1 o- @% J$ `. I! P: a高性能索引策略$ K: F% H7 c* m! Z5 q

7 F/ s9 v7 W  U# D8 G1,隔离列,意思就是不要对查询条件中列进行计算等操作7 U6 t+ m$ e3 L2 N( T
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
, z* H% P0 @& _  D- A$ t, WSelect count(distinct 列) /count(*) from table;+ R: J/ D; I7 x
看看这个值时多少,如0.0312+ n) `8 |6 [& a7 {
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算* R1 r! d- |) l. `1 m
,这对于大表很有用。
1 r6 v! E0 Y3 m& A) v2 s; V3 Q; c2 QSelect  count(distinct left(列,3)) /count(*)  as  sel1,
, k2 I9 |) A7 k" d count(distinct left(列,4)) /count(*)  as  sel1  ,
; v. a' ]. E$ Q- Q* U& y& P" o count(distinct left(列,5)) /count(*)  as  sel1,) g& s% L% D' W4 _" S
count(distinct left(列,6)) /count(*)  as  sel1,
% p% @& P6 O( C# N8 M) c# v count(distinct left(列,7)) /count(*)  as  sel1   from table;0 v+ b; B+ M) w. ?( f6 ]' F  \9 L9 [! J
找到接近0.0312即可。
" k% b. [! I8 y6 s/ [' e6 N) ]
Alter table table_name add key (列(7))
8 Q9 r: n3 k7 K; I* F3,覆盖索引! `) b/ w* @) ^+ J! D  E! ]7 X# {
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
2 a' }1 z+ M4 O. i2 z  V) q' Jexplain时,extra中的会显示using index5 e; }1 z) A' h) h
这里一个重要的原则是
* q7 u4 V9 P: [select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
7 w& F2 K# j9 D! w如select id from table_name;8 c' J) a) E9 V7 \* G

# X# K, C) }3 O1 a, l很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不6 g+ E: D+ y' s" M7 H# v7 R, P
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
, O, W! |0 p" g# W% ?% f% r& X2 r/ y
  w% T( Y% O7 t* W7 r/ R1 z
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    7 r. ^: ?. p' j2 z, C
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:: W& J' [# Q. N* D* c
1,
: G- }) f! `' ?3 Q; H* s没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。5 Y% S/ b$ B$ N; K- g3 p6 H
2,% V1 H1 F& f- d
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
2 X8 A) G- V. F有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:) Z' N* Q8 N+ w  ]& E+ |

! l- e$ V* \2 k9 @0 e4,为排序使用索引扫描/ j& z! {" C) H* m+ F
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
5 p6 q" U6 D- F9 T6 Lexplain输出type为index,表示mysql会扫描索引
# g9 ?8 Q2 `- k6 N9 M# ?( }+ F" u( y. m: ]
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
3 q# t. w7 @( Y* d
2 d% ^. z# O' `. L% XMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
0 J0 D/ S, _" _+ F- |8 q/ N
5 h$ |2 R8 N7 \- X1 Y按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。% e$ Y% C& \' h5 E3 b
5 w# C! r# {8 B6 [
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
8 L" _8 e8 Q0 ~/ |/ t- F! `6 n9 \" g
2 @4 u3 d6 v: p9 E5 E" v使用join可能情况会有不同
% w( c1 `6 r2 _7 t+ k, f/ g: r+ ^6 s; E# o
5,压缩索引(myisam)
# _; \' p9 S: ^4 k6,多余和重复索引(应该避免)0 v* q1 L% k4 V# H  K
: @* u- N* M' ]) N
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
  n% u' D# a3 w. R! w+ V上有索引,那么另外一个列(A)上的- X5 R8 R: R0 h+ s1 D* P1 q. }7 N
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
2 c: V: `* c. Z然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
9 B% E6 |$ y  W. B0 D; X) b; y( X
6 ^# E8 J$ c4 _要点:% j# [4 |4 w6 V2 L, r3 _  f, Y
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.' H' D$ @7 u+ y; Y# N3 Z2 Q
6 p4 K+ U7 C' t! e" ^9 b; Q
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行. r: u5 C/ @0 Y2 ^. N

2 i& [8 g2 _% x+ k8 l6 v% D' _" G: }6 f$ g. d
* }3 a. S; S7 F, H9 x
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
% O0 ~2 o$ P; x0 b
: H" _" Z2 h* {2 w拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引" W! ?# i" q, i
0 s: ^0 K0 e. |5 X* Y

4 ]5 {0 d+ B) g8 T6 V* A6 i3 u$ M* c  q
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索! s( R/ a1 U8 m1 G, j
! d7 `" B: k9 N" y; O9 Q% }7 D& b
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
( d: A# B0 ]( g% q2 n" p# o( L- x6 c2 i9 |' B: A

% \% z" C6 \1 d4 [" a5 n7 V6 E  P( X9 y
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
7 |  s0 K9 y& I; ]! K: m7 d9 S
- n6 W7 J; q  j0 z' e  g例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
' i  k: B2 A9 I9 v, k! ~
9 T7 v7 j" M" T9 G- u+ y这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
- P( K( Y9 ?2 r- e# Y- ?0 `# i, s! u0 {

4 _, c; Z4 H, q' U, x2 x% q) ^# p9 W: b! _
避免多个范围条件,只能对其中一个使用索引; ~4 Z& A- w1 q) `

0 b' T, H8 b" W+ q& T& b# n# F! ]7 f, W# \; g2 l% @
+ }3 d- E- }6 O+ g4 v1 b
索引和表维护; u0 N1 |. Y& L, p+ n
' Z, ~2 c& k; f
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
; J# e- B7 e" d. [) b& P1 l2 `- k# s  @- U
check table table_name;: o( _; H7 W7 K
repair table table_name;" ^$ @- O* N  c- B' ~0 a
Show index from table_name;检查索引的基数性, a& n5 `, |) }0 `
6 l5 {2 P, z+ A2 H( m& x- m
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量6 g5 r7 e% x+ ~' Z& d

, C) J3 E0 }' Z% Y
3 ~+ Z! S3 h) w4 i. O( S# m7 o9 @* U; Q, _
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
$ i$ r6 ]: f6 H) a- E5 F; a( }1 C$ h( Y: b  v' x
表数据也能变成碎片化。两种类型:
+ z5 E5 p# U" i* \6 z$ ~* M* F5 t9 R4 A# f6 ~0 o& V/ }) i
1,行碎片
, J1 O' X/ L/ O( }
/ [4 O4 U2 C  w0 B- L. T- g当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。- ^& V; u& _6 V+ |% s% z; }  ?

% P4 w; o6 _6 o2 c  ]/ d: |6 d! z
# y  V8 o( E- C8 [9 L  J
3 T" o$ n1 `/ {2,内部行碎片
2 ]& d% i/ b' e4 f3 L. r& t; g% K) q: k" ?  x
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和# S( k  R3 g; M; Q

) ?& ]/ s6 A3 {$ f  K9 i, K# v: d聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
' C. |4 J3 r* X2 x7 ~( e/ `- b8 S& }  d. z& d

' i7 G7 Z, z2 b6 N
: ]1 z$ S1 U, x: ^0 Q0 |3 C2 K为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
9 O% q. J8 _. s" B3 V+ ?+ g( `* X& J

4 O3 {  {) b& Y6 q: k* \5 l* J2 Z5 X) ]6 s* M; c6 u& W' [
ALTER TABLE <table> ENGINE=<engine>/ y/ E, n' w) S" g+ n% E
: ^9 h8 x# L, z4 J/ g) ^

5 k" o# u/ H* k9 S  p& w. q& n5 h. p4 l  _9 v+ u7 P. u. R- g
加速ALTER TABLE
% V4 w* C  c! f' _7 [3 I* b9 j* G8 F- M6 E0 ?

1 P- P4 }9 B  v. U+ a* M. _9 k
! j( m) U' L" F5 m/ K7 m7 XMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需1 p% s9 E# W$ l/ d8 t, ^4 H

- z1 y' o) M0 Y) Y: x1 ~要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
0 q$ v) Z0 t3 \/ ?8 ], x1 `6 ]. G& R( `- a- _. N, [
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
$ H! ?( ?7 x; x% E2 l7 x
& {( w% T  [; N' _0 [4 m传统:# P7 _5 n6 _& V; E& J. B
* Q4 e! x0 D" h+ L( P9 w. U
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;6 H2 P, l, b7 h, K
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更. W; d  h" p) w# v
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
* a% V9 t5 G+ _! \' m' E3 [/ l0 c# j' Y' N+ u
变化:/ v* m2 B9 Y5 U+ H; _# t9 u/ A4 o, C

7 F$ g& c# \: N! GALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;" [$ Q/ x" u2 O+ h, u8 l
这个命令更改了.frm文件并且没有改动表。它非常快。7 t5 t+ i$ L1 M$ o
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-3-14 01:39 , Processed in 0.047427 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表