召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2808|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
' C7 B6 i% F: s. X- e有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成! ?' u9 d3 C" t; ?& R* A" U
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
. J6 N  m0 r/ s) h% @+ w* n9 N在InnoDB中,只有事务提交后才会解锁
) I$ T9 d( z7 e) K  |' u
- E$ U: m6 T& X. G/ x: L+ V索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只, h2 {: k1 f8 M$ g( t6 u; x
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
/ N3 Y' x. Q8 ^- {( r) y" [- {+ a9 Y
* h, I& q/ k6 _9 c& z$ y( ^B-TREE3 m9 l5 L+ e& o- n. a" a$ G0 `. q
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
- _; M) g( ?: j& s0 K使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
3 G0 t) f$ v- \

  1. 3 F8 s% H2 J! A7 a- M+ W
  2. CREATE TABLE People(
    6 I' P* K9 p/ \8 N' W  E9 N
  3. last_name varchar(50)   not  null8 x' ]' p& C0 {
  4.           first_name  varchar(50)     not   null
    1 ]) F; ]* F$ F- T, A9 |
  5.           dob  date      not    null/ |& u, V: x7 R7 Y: _# e( q7 h0 M
  6.       gende       enum('m','f')    not    null
    1 W; A+ w: ^4 w7 t+ [
  7.         key(last_name,first_name,dob)
复制代码
匹配全名9 c" w0 }) U+ E! x. I: d$ S  Z8 @
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。# |0 m; F! E: x* Z$ v+ L
的人。1 }7 u4 [; i7 S3 V
匹配最左前缀
- }3 c) H4 V+ @4 v; l& C4 pB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。* @% Y, M+ ~& ^. ~! u. f- \9 E2 g
匹配列前缀: Z+ C5 e5 j7 U. o& ]$ f5 F
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。4 I2 T7 A! ?% F
匹配范围值
+ s: z0 [4 c  W: ^; d" s- d" `这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.: ]- J* }4 i1 x1 T7 F: J
精确匹配一部分并且匹配某个范围中的另一部分
* m4 o# h" i5 c7 t* t这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
& W: `* r2 o4 Q列并且对first name列进行了范囤查询。
  t5 `5 h2 P( nname' I  J/ o8 W3 e* _2 Y! K
只访问索引的查询
( G! g' J2 K, s, O  ]7 h$ ^2 M. KB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
' J) |# O) |; I) n; N3 }5 N& F* `9 t; u3 @7 v6 z; @
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,6 b$ H6 V3 Z. A: u' @5 k1 `% P$ w
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查8 G4 [, A, T& u5 t  p6 ?: S# L
找方式也可以同等地应用于ORDER BY。4 B# H0 ~; s' b- @" I7 b
* l3 u  O/ [% W, r, S
下面是B-Tree索引的一些局限:# w4 L/ M% A7 X
* |: B3 b$ S. O5 D# B; n
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,0 z& \, E. S5 g$ s
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓# |! F9 n' ~( q! ~5 E! X, Y8 u
氏以特定字符结尾的人。# C! N. G; ^# P0 X( e5 B% o' D

1 q4 ]+ n- w0 B- }. [* t2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定( V3 r7 U3 m- ^  \6 f
义first_name列的值,MySQL就只能使用索引的第一列。! p0 R* g& a6 I3 D& j* W
% b  o$ U1 X+ v7 Q& p: n
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是' |+ o3 ?+ X) m
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而% H6 ^" Q5 d4 ^% \
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。' m1 X4 I) \" q* W* ?# O9 N- a0 _

1 [) `4 q2 z( M  h$ r哈希索引,空间索引和全文索引等,暂时没有设计
2 g0 s* n9 p. M: k* I; ?$ G9 `0 L  ]1 q5 u
高性能索引策略% }, m* T$ h/ g
1 K7 _8 L$ U8 a# A( d
1,隔离列,意思就是不要对查询条件中列进行计算等操作, x) L+ G  ]1 C2 ~% ]
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引! h* S4 t% p* B, [6 O% _& e
Select count(distinct 列) /count(*) from table;) i1 W; ~+ L0 F; d: n
看看这个值时多少,如0.0312
4 n9 g/ Y  }% @( @9 [" ]9 ^那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算  E5 |* }' ^) ]
,这对于大表很有用。
) b* }( G3 W* Y! ?- ~* u' Z: MSelect  count(distinct left(列,3)) /count(*)  as  sel1,
: t. c2 r% h) F: ]1 j, [# o count(distinct left(列,4)) /count(*)  as  sel1  ,
7 l$ f! C/ Z; W$ @8 l# l count(distinct left(列,5)) /count(*)  as  sel1,- d& T0 R; d& W# r& \" H7 ^  V
count(distinct left(列,6)) /count(*)  as  sel1,9 k/ v' B2 t* b& Z0 P. c6 T! s- W
count(distinct left(列,7)) /count(*)  as  sel1   from table;
) |4 R; w2 m$ g/ }找到接近0.0312即可。" C8 a# `4 o/ P4 g8 M  s

9 ~, k8 n) |+ [% l. {Alter table table_name add key (列(7))! k: D0 E5 n3 ?; h5 t) k8 q
3,覆盖索引
0 t& R* o8 D4 C$ I  r包含或者覆盖所有满足查询的数据索引叫做覆盖索引
1 z3 f/ G$ c4 H" \% aexplain时,extra中的会显示using index9 F  F; _, f; J9 Y& k6 }1 `* o/ X
这里一个重要的原则是
* G0 R. P$ y5 ^) C1 Kselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
9 }, v; Q9 H# N如select id from table_name;! ?3 b- j1 M" N& {* l  v
7 T) C7 A; Y1 K8 y: ^
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
* i! s! [$ S, Z( ^8 i( y) h$ w( a一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。" n& t8 Z" U2 R; T

% g- f# |7 {$ ]6 m. ^# @: C$ h
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    - G- v2 a) p- }2 @& E4 R" f
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:( h* _6 L2 i8 Y- S5 H7 O/ t# \% Y
1,
: n% O: V8 p9 O没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
: v: r% ^" L/ c% {4 Y# S) {) D, b2,2 n0 ?, f& H- t
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
* b: Q' C# a( G5 L* h有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:& ]. e: Q. N; W. r6 X; ?6 V$ O" k

/ x5 x0 }( [7 u: w" ]4 Z4,为排序使用索引扫描
2 h" s9 a. ~$ y4 ]. I6 z' O# Bmysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
& `2 T/ P3 J* D1 ], O! wexplain输出type为index,表示mysql会扫描索引
. w9 v6 j3 P. r' r- T" l% V6 v& s# b" r4 D! K8 {' p
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.  i! ^4 R! P$ q- i# d' C
4 w5 v  x" E) G
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。1 F$ G6 A+ b' s& K# _1 x  f: E2 d

' t, U0 u7 e2 K按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。  b2 [* S& }1 D3 `2 O# |
8 Q0 t$ }. e  x# ]9 v
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
6 ]# S+ q% L- N# q7 Z! j0 D- ?8 ?3 N6 ^; O8 v
使用join可能情况会有不同7 O5 \4 Z: _5 ]4 o! e
* g. P$ t3 u4 @
5,压缩索引(myisam)/ E  `0 d2 G* Q( x5 Q
6,多余和重复索引(应该避免)! q1 O# i5 k' U' o
& Z" o& C; Y6 X3 i$ i
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
5 y* o8 i7 h) z, c" M上有索引,那么另外一个列(A)上的
( K" G/ s9 F2 n# x* q* {6 Q1 T索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。): G( n; W4 z) T4 ^5 R
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。5 C0 I6 F1 B% s! K) q2 ^% B

3 i( V* ~( a- |6 [2 o要点:# S9 X; b/ h( W' |% T
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.9 }0 s( y( L' Z4 w& u& j# n- |

" A* u: m  J: N; b& z4 p- ]即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
  R6 f0 M7 J1 P( n, m8 k0 M5 X
4 z" l( j2 y$ z/ u) H0 \8 Y* i
  V) a; h0 b# `. \2 v; a9 w' \: o; a& \
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
/ Q# R0 H9 J% ^1 P3 k) }% o
: T/ s8 n0 Z. |9 u+ g拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引7 ?' A2 V" Z/ u$ c( O5 f& ^& F

3 x4 c/ T7 P) I: R! k# ^6 z* K4 C- W" L0 n; o3 i' l
# [. Y) t/ O- P) `6 @  o7 r
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
$ k; t; v( T% L& G, g1 f0 q
" C, @! B- G# n4 u8 ~' v引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
4 J9 P& E2 b2 L& t7 o. j
+ a$ A+ a9 e+ i  M, O- ]$ e6 j0 X3 U0 o8 n- D$ N! ^7 S
, D5 X& G3 H2 g$ P5 x8 a$ Q/ H
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。, W( L! p  {+ H# x

! w3 ]+ q9 c9 R* Q- }' V, F例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
6 C3 e" W" t, g% ^( a# a7 e9 }  E% V' F8 D. W% S* x) ?- k+ ^
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
2 U4 U5 Y, `; Q' ?, a. ?2 H# W
* U  H- X( L1 Y
( \- F  k( [, T. i  [8 t3 Y# K+ v3 v- @4 V7 b" n- m) d
避免多个范围条件,只能对其中一个使用索引  N# u: ~6 W" p$ c' g# Y
/ u$ ]- W' a" r4 N! i, \

0 }% Q  ~) i: H8 M$ m& W/ K  u
  E9 V  N: q% \+ L& p$ {索引和表维护
3 I/ ~3 I7 g4 t2 L* ?
9 I9 G4 A5 n$ s1 ]0 E1 F表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.& M6 ~4 u2 g) j# P
% \7 p# }' |9 M- K# v% N+ v
check table table_name;6 @# @( c# G/ U) F6 L1 H+ R9 W
repair table table_name;. ~* G, V' M! [. K( I0 s
Show index from table_name;检查索引的基数性' Z6 G* O7 o3 S& d5 f; x3 V: q5 j
7 v3 _) L, |3 ~( F
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
: B# V- H8 q' Q: u" \% }. C- o. Q1 x

0 y6 q8 O8 V: H( P$ E$ E* Z8 r
$ k1 [- a$ H" x6 }" f4 HB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
% V( h7 l5 B" }/ F/ ~6 H+ L+ X% [& }% s6 `; W
表数据也能变成碎片化。两种类型:" q- K2 P$ Y. n" A; O8 p

# H3 A9 n$ f" E( @2 \2 t1,行碎片
3 c  T9 J8 ]& \! T8 }
# u# p( h, I) s5 _1 H, r当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
" e3 e# Q8 z) v7 t$ x% `. b$ X' k9 k' q

4 A5 D. X% y+ s2 `1 y; ?' b' d0 o* Q1 A3 Y
2,内部行碎片: b$ S# f9 M, z- f. Z3 {+ H& b

0 U4 [4 ]; O0 u( |# a当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
) n2 L" C* S  _- R% ?" \9 H# h9 o$ S& A4 R9 [$ F% G
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
& Y1 ^5 ]2 W+ p3 x: _& H
  u/ @) c' U1 D& w/ Z: k/ z; ^9 F# J$ j& f0 \( F; ?2 B

8 B4 P: R0 N* Q为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。( M: Z0 Q% ^* o! g# N
6 U, u' ~9 [! p3 n7 i2 \' \( c0 I
1 p7 K, S. G3 g7 p0 l6 A5 c
; v' \6 y6 N% \
ALTER TABLE <table> ENGINE=<engine>6 {  k$ l- e* V# G$ F
/ c1 D4 ]; K+ l7 D( l
- d+ L) b1 Z2 J0 u  o
, H) O. s7 R; k) Y% Y1 P
加速ALTER TABLE
! m, N) t: @9 _$ r; O3 ~$ h% r
% p3 Y' v/ t6 U' J* @0 ?8 g: s: s: r; b
9 c  y; z8 _& {
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需2 |1 k# K4 ], A+ W* e
1 _! b& b* k1 g" c& M, O2 B
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,  a% M- N. N0 `, u! Y" s5 Z

/ H, F, f! P& W8 Q而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。6 D* N( A2 a/ y

! t( r0 }5 F$ J/ m传统:  x& T' t/ d5 h! D5 L

0 |6 D* o- z1 l, H( o. }ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;/ p5 l$ C8 O5 r/ n- Q% u
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更9 A( b  P- b6 |! A
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。9 f$ t$ i. U1 j: C$ w3 o
) D4 L; R8 _6 }! U6 e, }
变化:+ E4 [4 Y  V% t) {9 w' t; o

# w2 y4 a9 j& l. i6 C# MALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;4 {8 }; Q( H- D% X' ]
这个命令更改了.frm文件并且没有改动表。它非常快。8 p& o/ {- A4 U: A! z( o
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-2-3 00:32 , Processed in 0.040727 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表