召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3039|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
. N9 z9 J4 ?8 J6 C有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成0 Q9 U$ ?* M  R4 C) n
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
) T; R' \$ l$ S: b' [# U在InnoDB中,只有事务提交后才会解锁
% i8 z0 F( I7 s$ }& q$ ]2 \/ A, ^( ?6 W% Z2 S
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只% r& T. k% p& w6 {5 [
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
/ h! R" D. B* q1 Q! L  s3 Q) H
. C$ P' ~' l8 s5 C9 n' ~0 e6 @B-TREE. {0 j) ^/ q. P. N* W, [& r
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找9 h6 y: D/ q! N5 `2 h
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
7 j% C8 b8 f2 s! R0 {

  1. ! l4 m3 n" y5 B2 n% Q
  2. CREATE TABLE People(
    8 C% Q- k: u% j  K8 n2 c2 `8 q
  3. last_name varchar(50)   not  null
    2 S- X' q4 ]# \
  4.           first_name  varchar(50)     not   null1 @: U1 H+ Z$ b& R& I8 c, T* Z, D0 m
  5.           dob  date      not    null
    / c1 k6 h7 w0 c) p" [
  6.       gende       enum('m','f')    not    null
    / |- |: K4 [3 @$ ~# W
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
. t; c: Y- d5 i全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
7 |2 m3 l  o2 b+ C9 L+ Z的人。- p& U" ?% u. w/ q& x. T
匹配最左前缀: N( @- y" k: N0 ]' f
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
# K2 n' n, c! [匹配列前缀
5 [! b" n3 T) Z- L+ o可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
, i  M2 K( [& [' E匹配范围值
* n. C9 d$ z9 D  f, i7 H% b这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
. Z- Q( w4 O* _, J! g, ^精确匹配一部分并且匹配某个范围中的另一部分
9 N/ V& J' m% D/ Q& l  F0 y# O这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last$ }; M" r2 c5 r0 E
列并且对first name列进行了范囤查询。
- q7 Q7 I6 b6 C' F" jname  M$ z" z2 k# j% L3 q  A' H: |
只访问索引的查询
) S+ x7 t5 T! tB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
$ M, }9 h- u9 z6 j  t( C5 I; x2 J# E
7 G% u+ X* L* Y% e* W/ ?+ s. S由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,$ x/ |* r% N( E" k! `* _
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
5 k' r% S+ }, s9 B! b/ ]找方式也可以同等地应用于ORDER BY。
7 y9 Y: {" c! @* P9 I) A9 G% G9 m% `
; k% Y3 b) t- r6 M下面是B-Tree索引的一些局限:
7 P6 B$ H" X1 k2 z
* u9 @1 K$ E& e9 w- e& _7 v1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
, t9 _! g) F! O% c0 U9 L也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
' G5 M8 c( i, T$ T1 I. }& U; x氏以特定字符结尾的人。3 i5 y  Y! p% G3 ~# o" Z7 b! l) J
) i, N) k$ _8 e; N5 G
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
2 [+ T5 ]; Z! E9 v义first_name列的值,MySQL就只能使用索引的第一列。0 [# D( Q) j. I& X  N
) M# I7 V2 Z6 H9 t. W7 F' ^
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
6 ~/ G5 R8 @: x+ [2 v* y范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
+ a4 P+ ~. @  P  u1 y* A% t不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
; j9 \& G3 j/ i2 c  x7 v2 g5 N, s, d0 Z% L
哈希索引,空间索引和全文索引等,暂时没有设计
- G0 k  K3 c- i  ]/ ?" s# W' p8 M8 e& I. D' I
高性能索引策略' D/ g0 F6 A! v) w  V7 w

3 T2 S' Q  Z! V' ?2 u1,隔离列,意思就是不要对查询条件中列进行计算等操作
/ ]/ S/ E7 e# t& A- q# N# c5 ]2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引1 M, n0 w( m* |/ _
Select count(distinct 列) /count(*) from table;0 G8 L6 i& _+ E, u4 Q
看看这个值时多少,如0.0312
0 z( m" c% W% ~5 [" _2 B  x那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算9 L$ a, p5 a6 K% w  H% r* x& B8 v
,这对于大表很有用。
1 N0 t( C) E: g- L1 B; r1 s' DSelect  count(distinct left(列,3)) /count(*)  as  sel1,
& U5 F2 J. b$ @" B0 J/ e& C- m count(distinct left(列,4)) /count(*)  as  sel1  ,* {' T5 }# d# Y! Z* n$ z/ s
count(distinct left(列,5)) /count(*)  as  sel1,. l4 }# D  d. F* z
count(distinct left(列,6)) /count(*)  as  sel1,
$ {# L+ k% F' i count(distinct left(列,7)) /count(*)  as  sel1   from table;, D. G- ?$ I% ?/ {" m! ~1 t& ^& ~
找到接近0.0312即可。! s# z( i2 B& \# N4 ~: H8 a

, ~3 f" ]+ k# b! i, K; Y7 T8 b: KAlter table table_name add key (列(7))
- ?' _& T% ^$ _3 {3,覆盖索引
4 r! A1 ^' |% B9 x' T. ~包含或者覆盖所有满足查询的数据索引叫做覆盖索引2 Q$ S+ B5 @8 k' S8 s
explain时,extra中的会显示using index
8 B( Z/ o" F, L& R2 \: o8 B+ ]这里一个重要的原则是) D4 e* @$ s% J) Q
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
+ i" o: u: s$ b0 |! N如select id from table_name;, p" d) U. Y8 Y& E  S1 X
" u* }/ H+ ]1 _$ T. z" K  p, z9 M6 w
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
" P+ G2 V( W" n+ T* N' a+ ?一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。3 j0 ?+ z8 K6 @% U

: G! Q5 A5 j; g# B2 Z+ i0 C
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';0 h9 d7 @6 g) R# Z- T/ e* ?
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:# I; @* a5 e) m) t: I! A" ~
1,
% Z* m, F; x; p) ~1 n! E没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。6 c3 r& {% L: O  s
2,
! q, e' c. y: P" S% pMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。& `2 U0 G; n* x$ `: N' G4 \$ a/ k
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
: R# C0 Q6 C6 C/ u5 ?/ ]3 k: s7 s5 b/ h
4,为排序使用索引扫描  D1 e, o+ ?/ E# N
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
/ H! _  C" B5 m4 t$ j9 texplain输出type为index,表示mysql会扫描索引7 \4 `5 ?" F  A) d) @: n

* M$ T4 [0 _- X* `& M扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
# ]) ^- N  ^" M) u# n
# r4 J. J, \* `- u7 l: [7 D" k5 D) vMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。0 R5 e6 X8 t. O2 S

% f8 M; d: P" N  r按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。* Q' f1 b3 K3 R2 f9 t0 I7 w( z* g) J0 r
8 [" W7 [" ^& F5 w$ S
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。& P% b1 |( x0 W# U' }% t

9 D: t; C$ k2 e8 I# d3 V9 R/ O使用join可能情况会有不同
, J( g% Q7 Q# w( S* c- Z' v5 i
. E9 \; U* r* {4 Q) w5,压缩索引(myisam)
: k( z* h8 ~; q8 n5 f" [6,多余和重复索引(应该避免)
" P$ m! R" ]  W( H( E# U
$ @6 {* s; ~. }! T" M# G# \多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
* `" h! d6 p& k5 ]' \( H4 b* \1 b6 h上有索引,那么另外一个列(A)上的
4 ]6 y4 D' ~! m7 k2 J( ]. i% `- C索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
/ L- [/ f; t( B/ P4 k3 b6 L然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。6 p3 M/ ~# D) B; Q6 v$ |( Z; J
$ y# S' l. z" F! D. l
要点:
$ k. N# r$ H: y6 X3 ?在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
+ D; H, S0 p$ e& h, I3 ]5 r" @; D0 o: S% Q5 `
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行+ ]/ Y- e1 N5 u

) h1 r( h4 c; d. U8 p8 {' j/ P$ M
, I8 ]: f3 {, w" n+ D1 E" i- w
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,; x; t6 }, o. O

  Y+ Q! p( O. V' \拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引; t# |+ K5 L, y+ {& c
6 V8 Y/ R4 ]( |9 q0 u- F
+ j" N2 g- l! f& `9 Y+ O
0 C! P( M% L% M; l
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索1 R2 r: |# ~$ x8 e& w

0 Q% o6 T7 d( S8 M引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。; l- q- u& U, M$ C  L  l6 ]
9 g2 P) Z$ u; h9 Q! @4 _1 s. a
- R/ L, f1 A- \  u( ^& c4 T+ k+ W
/ ~" S7 p% s' O1 a- A
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。+ n- }( @" `# z/ T8 H0 d
  {0 N6 A; K  w/ h8 t
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
, }7 R! z2 G8 y" T( Z' E! x8 t) s1 ?3 g! m
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式7 e: D$ B& N* k/ `! J( m/ f' P0 I
$ ~* m3 Q& b  ^; c2 A0 |  w- J
7 S5 Y; H' b5 y+ n8 v9 l- T% w4 f2 s

0 b7 ^1 t8 Z% Q. E避免多个范围条件,只能对其中一个使用索引
) c% T9 ?( y% g8 a4 h' k6 u# r' m$ U$ t2 i8 L* p
% A+ Z" s, u8 i, m& K

$ P7 Z  I* q; }0 D' U索引和表维护% w0 ~3 G& n0 W2 g- Z
/ ^2 A* X( Q8 P( i" ]# [, W
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
5 D  p2 ~1 }0 {" a' M  `8 e( ~7 `
2 @- a2 a: q/ lcheck table table_name;" P0 q( {" p! s# b% u
repair table table_name;
  v& B; D  ?: V% V  gShow index from table_name;检查索引的基数性
" @/ }% C' ?2 [5 C2 l: i& f( V9 w6 \! I
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量# ^/ m* @. S5 E% q. I
. `, D' ~  ]5 o, Y+ I/ s# ], i4 _. G
- L* @: |  @) R0 P. B
! z5 m& m! m5 }% C4 E
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。' u6 N8 e1 o0 A: ^

" Y8 X& _8 a. ?表数据也能变成碎片化。两种类型:% u0 k5 g' Z/ @9 {: C
( D' T) s, E! _! x8 }
1,行碎片9 D/ d, W# M- j" E  G: V/ `" n

8 d) o5 d8 s3 f# ]& J* u当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。. ^; i8 }- f# p# T& F6 P
# i; ?7 Z# Q4 `- U& k0 C

/ {% y" _; E! `. x
" v( Q+ m' Y! I( _  l2,内部行碎片/ r  H0 [9 o; q5 h) ^3 ]$ J
4 J& `  ?/ Y; h2 Y0 z' ]8 w
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和2 r. h7 w; V( z  X+ P! W  G

+ q- {' k' Y0 U0 O聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。) {- W( G2 v3 g+ C( j

3 I$ ?  ^+ t, D: C8 U+ C$ t& G& g+ g# g" Y, K- G. H3 e
9 a) p3 G0 e; c
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。$ k- y( I% Q% U' W
" N1 U6 x; b3 Q! e. T3 e
0 w) n' z/ _; X1 \

; N+ N/ z! H  V  r6 }ALTER TABLE <table> ENGINE=<engine>. ]- q$ Z% k& D' w4 W, U3 u
  W( i* A& x! k. v, x$ c9 T
0 x! t- q, ~; ~9 [% C
/ U, V& w# `. @7 t0 c% v  q
加速ALTER TABLE
% X. j  F: }# j9 m' S2 O" a1 z) h/ K' w& a/ X0 @9 o9 m! \% Z# R7 @3 B/ K

' c" |' h( ]3 `. F. z) I# ?$ l
1 @8 ]% l0 e2 i8 Z6 F/ d* A: j9 zMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需$ X" ~9 x  p2 H1 g1 l; n
. u; C+ m  o; Y( @9 B" C4 X
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,1 F/ b  f# r" Y

$ i1 m+ O# d, u4 {+ x而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。- |' u( r# O) a' B8 L: t
$ g+ Y0 s' r7 N8 l  f& V: }
传统:/ M$ T7 \7 t1 R& y' g# k

8 n9 l& P4 ]  W. fALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;+ q4 k! I0 U4 Q) C
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
3 u9 Y! U( R  W改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
4 W1 r6 E" o# f- D0 j8 {7 g9 ^9 {
变化:* C8 \3 |0 d1 h1 ?; o3 H
7 q4 w; t; n1 T& S
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
% s3 }0 w, n, @7 `这个命令更改了.frm文件并且没有改动表。它非常快。
* B" N* U3 G6 o% r1 F, X1 z还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-5-30 17:50 , Processed in 0.041742 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表