召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3075|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
) Q$ x+ v4 e# q3 W+ X有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成% c; F5 B9 x% f# @2 I" j* h  e0 p
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
# d/ s9 A2 ~& F& M在InnoDB中,只有事务提交后才会解锁
' b9 P: {- U7 r" m' d4 p6 g
/ S& i  W- F- I1 L$ X索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只$ Q- G: O* a/ Q8 a! v
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。* [: _6 q3 p: }$ v
' \! ]3 ]/ V1 V. p: h  _
B-TREE1 A, W# I4 z: t& c8 h+ r* _" b( i
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找! r0 W/ w  A4 i  a
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。. b! ~- }; k- ^9 X

  1. ) V, Z3 z9 F! n, A3 U# A
  2. CREATE TABLE People(4 a9 F# G- _7 r
  3. last_name varchar(50)   not  null
    6 O. ~! S1 F7 S7 Q
  4.           first_name  varchar(50)     not   null6 S: y" @' \! D& U+ ]8 A$ K
  5.           dob  date      not    null$ k3 p1 s- q. Q; t
  6.       gende       enum('m','f')    not    null
    ) b: {, {9 L  [) V7 ]* G; \6 v2 v8 r
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
. g2 D. M- U* X! }5 z, c, M; D全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
; t7 D# `+ V  R' w5 V的人。) \8 T$ f) l  p* T3 F4 I
匹配最左前缀
3 c  U! Y% Z4 `B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
, [% l8 D; ], J, ^匹配列前缀' B# I! h+ Q, [' j2 d# _
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。7 A! O& x) f0 D8 B: L5 \& G
匹配范围值
/ V9 D, H: r# t, c' d. b$ `这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
' Q' G+ o% x# C* _6 l, L! w- M精确匹配一部分并且匹配某个范围中的另一部分8 W2 V6 G6 W1 l1 R' l& X
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
* t- J1 H# C# g: `; l, Z7 {8 W列并且对first name列进行了范囤查询。
4 T' |2 d& E: X  K' t$ \' w5 Mname
8 X, g' P, {4 p% ~+ O7 S只访问索引的查询
. v0 y# X- P: J, x8 WB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
4 q& w; J) t3 }' D' u( ^8 M- Z- \9 J9 |" o9 F- B! e0 S. J
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
8 q8 d: U! u- b7 C: I) W如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查$ Z; R( q. E. C+ T
找方式也可以同等地应用于ORDER BY。0 f" C  {' Z5 j/ p
1 \+ Y& B5 I) x1 b& Z5 a& ]$ G# t
下面是B-Tree索引的一些局限:
: b7 i6 r: n5 J* ?+ q) w1 d9 U* l6 r  t) V) A1 ~
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
) k3 }2 i: K' J- u也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓  C4 O# E+ k* G+ R  e. O+ K
氏以特定字符结尾的人。
& D& I; n# w+ e) E
  C, x( E7 M9 n4 z, K2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
  y! ?2 E, w+ U# e5 N& L义first_name列的值,MySQL就只能使用索引的第一列。# v' l4 W' c, j" \# c) @
4 p" g) m3 r6 W6 }% P  i# Y3 w
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
; o5 }5 C4 N$ K范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而, M% Q) t5 o* e9 s" ^/ {
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
+ b3 D! @- g* x1 y2 l" W
5 e* ~( i$ t# Z1 T  _& O8 t( {哈希索引,空间索引和全文索引等,暂时没有设计
& x+ [) e/ [# Q3 Y6 t! _4 A4 _& Z1 ^; H) d4 {" b7 W) |; M% |, u; ^
高性能索引策略
/ `  y6 g5 r: j8 |, ~% r% B# N( t# N* H6 w9 s( F4 p# U! m2 w6 V" ]; \1 e
1,隔离列,意思就是不要对查询条件中列进行计算等操作
# j$ g7 @: U4 v2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引4 x8 `; f5 T& a
Select count(distinct 列) /count(*) from table;1 L8 f% a  Q1 s% C  g! i
看看这个值时多少,如0.03122 D- ]4 s, F  J! D/ i8 |
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算1 K) S' b+ V: a$ _2 w4 ?4 v
,这对于大表很有用。
  N* ?2 B2 q8 g7 dSelect  count(distinct left(列,3)) /count(*)  as  sel1,
0 T) d# u$ {# t/ |  j count(distinct left(列,4)) /count(*)  as  sel1  ,
" o. A. M+ K* ^0 k9 H- p( o! P count(distinct left(列,5)) /count(*)  as  sel1,. g3 O% D5 y, H  \' [* Q
count(distinct left(列,6)) /count(*)  as  sel1,- E6 E- ^" Q! |; Y7 k
count(distinct left(列,7)) /count(*)  as  sel1   from table;
7 ^  g, \" n- W2 S7 W找到接近0.0312即可。
" u0 \4 c7 J$ D0 u# [* k* K" E6 K- t0 l% \+ t: U" K
Alter table table_name add key (列(7))
4 ~. F5 o( X1 R# `3,覆盖索引9 ?5 w, }) B; r5 w- c
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
# v, _/ d  F6 L& fexplain时,extra中的会显示using index  ^- e; S; e) @1 W" M8 S4 R" ]
这里一个重要的原则是' _- B& y, ^! i9 g
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列- E. G1 P& A1 s! B
如select id from table_name;0 f* b  u9 b% _3 s( }: U

$ E9 f# x, J3 C4 F很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
3 q5 d# p$ W  ~6 v* Q一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。- M2 [' v3 Z& A5 d  x5 ]; X

' [8 H0 ?0 Y  g# }
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    - r* H! d  {2 n! w
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:, F$ L( M' b7 s
1,
/ m4 q+ v2 j& U- ~没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
# _0 f- V' c. Z4 G2,2 J$ ~5 L9 a1 S1 g, s
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
9 O( m" [  h- n7 T8 \2 B. Q有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
4 b" u4 o1 Z. U. L3 T' X* E& \, b& z+ X$ W1 h
4,为排序使用索引扫描+ W+ y- h/ ^/ X4 O
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。: f6 K" r; ~0 i6 c. S' c4 {
explain输出type为index,表示mysql会扫描索引5 t9 J/ a/ X+ U8 N9 D
! S; F6 t( u9 Q$ {- Z' H, p  M
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.7 l0 g% f  g6 D& R* ~
. ^$ |: C* U/ i! o
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。5 ]$ b( u* d5 c9 K6 h/ V/ @
0 a( E/ m8 j& z
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。  ^( N4 j& |2 \3 f: a/ [
& R8 f1 {7 T9 i  t$ \& H& e: c% e0 ^
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
7 I- r+ h" P! v0 P# W7 S
( u1 P8 U4 b& m6 m使用join可能情况会有不同
; c. K& q5 `3 Z- e( J8 ^6 }" f$ O! C2 J: f5 L
5,压缩索引(myisam)9 M: G! I4 X4 Z5 J) B3 G$ P  G) r
6,多余和重复索引(应该避免)4 S# o) }" n; N+ Z- J& T- E

1 t5 j# P; I' ?多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)  x+ H; e$ B0 D* d2 Q( O- ^
上有索引,那么另外一个列(A)上的
$ m7 u% Z  ?% c. g$ Q7 e# j! ?索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)3 m0 E# P' v& g4 e, g2 w; }
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
3 d& P& Z5 _1 g: B! o  D
4 j$ L5 M$ ]" H3 L要点:
# i+ R: I5 j- m在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.) b5 ^  F; g% V! Y! @3 W
: b9 W& ?- X" `2 U& g/ |
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
4 [3 n) B( z+ U! W
* X( n( X0 A: k5 \9 ?2 _
+ h; O* x+ k3 B& y& ]% U' u
" y* t" i0 t7 G% p8 p: Y1 H
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,  z4 c$ ?. e7 N% R; [

3 h; R- X' n; D1 ~3 p- k拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
$ `4 i5 R& u9 T6 X/ j
5 A# F% ~% w( r: f  O% B, v0 Q  a9 V, t9 T& A6 w. F

( m4 ~2 S, z9 t3 B一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
5 C* w* j, a3 }5 i: B/ q8 [
8 r% ^6 q% A6 w6 _+ n/ ^: N6 R引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。+ r' j# E3 Y5 D" H# H9 `$ R$ P2 ^
' n7 F$ K: e# h3 k5 M, l
$ k' y+ ^6 E) y

* h; `! X3 A) G" n. n2 r" z一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。6 L' w$ [1 Y1 u3 C0 a2 F. C" G
0 C/ y2 t( h9 Q5 I
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理" s; _; _  l; [

2 I2 @2 ^6 ~' E* {3 O这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式4 m! I* O! V0 o3 X# v* q
4 b4 W/ d2 W* z
; p0 Y. y! x2 n) Y( X) g/ I3 L

& ~* V: X4 C, U) |( A- r/ w避免多个范围条件,只能对其中一个使用索引
+ f& N& @9 g: k8 b: u
8 s, m# N" S5 `) o, |) B9 D) a8 F- s8 \' n6 S' U
; K! i, e3 y0 \9 `% ~# d: H4 i7 |
索引和表维护& ?7 X+ h) B- g% C% |# B
7 ?2 F6 u  Q7 u* H' J1 {0 t
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.$ L3 e" |  Y' D5 [3 U
, z7 B! d4 d- g
check table table_name;9 K/ Q7 V" Z1 ?- f, O2 i" ^, |  j
repair table table_name;, p; E6 K" A% X9 _
Show index from table_name;检查索引的基数性
" _- r0 L! y7 g- o: W
) n% }# p# U( e: L" P主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
9 |, I* D4 g) H1 f2 q: U8 l$ z) K8 s& L% k: f

: F6 _- a$ V6 k# D: Z9 z% `( M& [# m) m& c' ^. ^
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。- h+ L7 }- j8 V9 \! }: l. o* ?$ o

3 W% M+ O0 B$ x2 a+ ^表数据也能变成碎片化。两种类型:
7 s; v$ D! i' i4 h) i0 ^! ~9 j) |$ F; r$ M( q9 u# y
1,行碎片0 i0 F" i' `, L( d

" ~+ ], T; s3 D当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。$ {0 M& W* \* g

  l# n* j1 m, I8 |: a) s- l' F9 |- I

5 _3 y7 n1 w8 ~: h2 n2,内部行碎片
9 P/ G& \3 c8 T! c2 {2 _
; b! r& x3 e  b0 g当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
4 `+ V% l! H+ l" C. F& X( `4 s0 x4 E1 E8 V2 a2 I, b
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。! e& v& L9 n" b2 k
* x1 v2 K7 F1 ~* t2 Z( L

2 ]9 p, f: G8 h
& u) P* a; V, M+ F" X: R( G. |( ~为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。% g2 A, \2 f  Z: y

7 N% O" P. E  ^& }3 R* w3 M7 X' E8 i/ x+ ^! V8 {

% H& ]* T" w# dALTER TABLE <table> ENGINE=<engine>
; J! Y" U  V, E/ I3 _: L: x" L% G/ o# O
$ S7 b; P! [6 P9 J

3 g7 c" \% D0 ?; j! L4 k2 Q: R加速ALTER TABLE
' [$ A1 `' x' T. H; ^0 s  y; e/ C/ X! G& ]

6 a& [) P$ x# ~) }' y; X" `1 h1 R6 O1 ?3 x+ d
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
; t4 ?' u' A' t2 _& n9 V, M9 \: W& {4 v) o, R* o7 Z5 ^( y( s$ w, }
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,  W1 O8 G) ~8 ^9 |! w, S
& [/ Q9 g8 `* R  K+ ~% V9 H2 \
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。& A! ?6 k! I  n4 s

+ H2 H9 Z; D. |% P. T5 j6 y5 d传统:
  W( R' ~4 {0 y5 z3 P$ j5 G( M/ P3 b+ b$ b: D. n0 v6 e; b
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
# }0 k2 M% J: k理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更" I' _3 c* k* q0 a4 L' B
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
% S& o" h( ?4 d0 L- _9 M/ q5 Y% i) y2 }  o9 b
变化:! Q' b  o6 u9 y2 L* X
" w1 n5 |2 H* @6 {# }
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;7 D9 _6 f8 e3 f
这个命令更改了.frm文件并且没有改动表。它非常快。
, v2 T7 q9 r# ~还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-6-22 21:59 , Processed in 0.038284 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表