召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2940|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
+ j. M7 _8 C4 I8 z有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成. N+ h- M4 m+ J* ^$ r6 z  P8 _
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列  s2 U  U& ~# C7 w
在InnoDB中,只有事务提交后才会解锁2 w0 Y1 S( a+ F0 Z* a

* `1 H. x0 I( s% A8 S索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只$ C- t; W1 T/ y( Y1 I' H
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。8 ^2 q( j6 Q! f1 N. C
$ Z  v- P* D. v" R* z. [& M
B-TREE
' k( I* P( ^: n( Z能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
- a6 P7 d( j- G' X' ]  h使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
+ E4 T# B& w: y, z
  1. - X% q6 t: B$ H3 L4 X7 t4 t
  2. CREATE TABLE People(
    5 ], O" T) t* `# m" f: \5 |* ^5 J5 z
  3. last_name varchar(50)   not  null8 O6 n0 ~# R) n1 ]
  4.           first_name  varchar(50)     not   null
    5 w6 [) M- P' _; s
  5.           dob  date      not    null. N& r. k& a* J! K$ p1 f/ h: o6 C
  6.       gende       enum('m','f')    not    null
      w5 f2 ^0 Z0 }/ W
  7.         key(last_name,first_name,dob)
复制代码
匹配全名5 F2 _1 U  C8 ^) ^) ]) m6 c/ s7 B
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
7 r# F. P1 O1 ~1 q7 c- E3 s+ G的人。
+ O! `8 m2 i1 B5 r0 F匹配最左前缀
7 k  u3 o. v% v$ zB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
4 A9 @, Y+ m% y* ?- _; {" L; l' J  v9 a匹配列前缀
$ a- h/ u' o! ]' ^* d2 @( B0 x可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
* T- n. c, v  o. w匹配范围值$ E, _  ^9 g% z* \5 M$ N# M7 S# }
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
9 E; n: g$ ]5 D3 ?) G. {: U5 H# c精确匹配一部分并且匹配某个范围中的另一部分
0 G5 t& R  U, i  B, c, p. ^这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
7 m) ~# k8 f. s8 Q2 L列并且对first name列进行了范囤查询。
) I  I4 m( A4 q- ?' Y( ~name) x; P/ W, {: l% L& w
只访问索引的查询
' U: t9 p/ p) v; vB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
4 b: O) l, K' V  ^. y0 g* A5 S& ~+ ?$ j9 y6 G8 t
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,7 ^$ ?/ \4 c- i' X2 V
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
* j. H8 x* t" Q0 ~/ R5 |7 j1 p找方式也可以同等地应用于ORDER BY。
( `* r1 a& n  H$ q' ]
) }/ u, d$ W) g下面是B-Tree索引的一些局限:. T! P8 D! H  w1 x+ c( @& k2 r) a3 \

2 c: w. F. m8 h1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
( M; y# |- A4 T7 J; `也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
4 ~% v: }0 X% S  h" n. U4 u氏以特定字符结尾的人。# @2 w* g5 f( H7 ^
; u" k8 p5 H/ b, k# G
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
6 j  N% }1 @1 k: f义first_name列的值,MySQL就只能使用索引的第一列。; r6 |  p/ C2 @2 w& ^( A$ c2 t
5 `2 T& O  u* d7 z0 s
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是& i6 X5 ^  X5 v3 z
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
7 _7 ]7 R1 z( ~/ m5 Z  \0 t! Z不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
" v7 |6 _. N& B, ]8 }6 a! c, S4 t5 @4 J
哈希索引,空间索引和全文索引等,暂时没有设计6 z  Q; Q% F+ N7 {
( s  G4 {: S! Q# u6 {$ a8 z
高性能索引策略: m  p- l" q/ Y8 e9 w9 ~

. v2 \, s" `% ~6 E0 w5 i1,隔离列,意思就是不要对查询条件中列进行计算等操作
) a" J2 F6 E* _' n2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
" r1 k7 \( D7 CSelect count(distinct 列) /count(*) from table;
8 s3 U" k+ d  K: ]- l' f* X( n& w看看这个值时多少,如0.0312
% i. y$ X& s4 Q2 N" K2 q那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
. r% }8 j! ~: D* Y! I. D,这对于大表很有用。; `. I! ~2 \: L9 d+ H
Select  count(distinct left(列,3)) /count(*)  as  sel1,, B6 K" S- C7 i5 V) y$ S: F3 y/ _
count(distinct left(列,4)) /count(*)  as  sel1  ,
1 Y2 N7 F# g! \6 D* [9 u+ c count(distinct left(列,5)) /count(*)  as  sel1,
3 ~" A, |5 `, k- c count(distinct left(列,6)) /count(*)  as  sel1,3 n3 ^) w; r/ e; f1 a- L( p- h
count(distinct left(列,7)) /count(*)  as  sel1   from table;  k& W) q5 @* o- v  [9 `/ y! X
找到接近0.0312即可。9 w6 q% n8 K( r4 Z: O5 }
6 W5 W  _& Q7 S; B# ~# `3 `0 t  Z& |& F
Alter table table_name add key (列(7))$ O4 O/ [8 ~  n; x1 n8 e
3,覆盖索引" x5 \0 ~" [3 ]! X' R
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
- I: o5 z9 M! ~$ H1 K' y- W4 A* Texplain时,extra中的会显示using index" }* g( l" x4 ]1 r/ ^1 \8 ^
这里一个重要的原则是. j. G# X( c9 ?9 }
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
) E6 [- y9 I7 y) J" Q  z" `, d; ?如select id from table_name;& R5 \6 b/ M8 ]5 C: p( f3 F0 ~

. t5 ^4 g3 |: U很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不: {: X8 g  ~+ k" {
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
* @( c' Q3 X8 {5 |. V! e& S5 s- N8 P! D" T3 N+ n$ v/ h
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    9 `: e0 p+ q0 \3 n
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
2 e. A  q, ]/ e. A, {$ J& G& t1,
- K: s% m; c! B! D' J8 L8 D没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。1 @) O0 R% j) V0 O: K
2,
7 [" E  n) R$ u9 eMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。1 J6 b3 E( Y% X
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
7 _# @5 n1 g6 n# ^$ K' B
- O( b, |: U- Q1 I7 F2 {4,为排序使用索引扫描3 ]+ l* D1 b; I; B
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
4 t& f9 W. ?2 A, Z+ K$ Zexplain输出type为index,表示mysql会扫描索引& y* b5 t4 B: a

2 s. t3 N( Z6 E9 g" \扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
. x2 O4 Q/ M$ l5 F, n7 O& `& y' t0 c
' U9 Y1 c, P1 B$ u& s. O- J' kMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
9 r4 J' v) l# P0 h# ^# P+ h0 N) s( G: ]) q
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。( o; V% h* M+ B

! n% _4 S; F  B/ V( B+ yORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。4 Z" {) m3 d7 C7 N4 L& e) g
$ h5 l; |. ]& u0 N
使用join可能情况会有不同
9 T3 b8 ~. M0 K! v! R5 M' b6 Y) |5 Q1 e' M
5,压缩索引(myisam)/ G9 S- v, ?# f8 L
6,多余和重复索引(应该避免)
8 F% q4 ~5 T& o+ Y7 |- n# k  S  F& \4 H* S2 f* L- ^: Z  |
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
2 I+ \2 f. g1 e, O7 F8 g上有索引,那么另外一个列(A)上的
" U) s( w2 ?. J索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)5 D" y. q0 ]% p- p
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
3 b/ r4 F# f  |+ t
7 j7 J. _, ~$ A6 Y1 |" {要点:
! _; C! v8 a  [' ^) j, M+ M1 w在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
/ R4 T. |2 G$ f4 H! e% ^3 x
3 @) a5 ]9 Y% ^6 }, b即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行1 A  `5 S; [4 c6 P) f; J, {# }

2 k, ^9 k! h  Q1 |7 l1 q6 T) M0 h$ f# ]8 x

/ Q- x6 N$ ^% e! u
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,9 e" d4 m4 [/ m3 q& U0 o
$ U/ J6 q& G  M
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
& `' ]* t4 L3 T) z: ^7 @- i+ t4 T" b8 j* L/ v+ M

7 V0 Q/ C& l# n! `5 o$ w# c7 _* p
  S: m6 J/ c' b  Y0 s8 S一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索& Q) A( v! \& B1 v
7 {8 Z7 x8 m6 |0 d
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。
) _0 z4 [& G: q
( o) D# z6 J, n% _! }* k" r1 x' r* A! q' _/ \. O

, ?6 m3 K! B+ Q' a+ a9 M一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
3 U; A9 j, Z8 K9 c+ s* [' w5 @: M! D3 ?; D
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理- K& {+ \% k* Y* I( K

* F" F: l  Y: i% _2 i, J这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
9 b  l0 h) H) l" l% h
5 _" M0 l, `0 S' n* [
' q1 A4 L7 w  ]; j/ V3 S4 B4 `: R. o' \- k3 O  h& m
避免多个范围条件,只能对其中一个使用索引( T# ]0 r$ H2 k1 Q
) n6 j$ D  s" s

+ Z# Z; t4 b; ^0 f# A9 M% k. n! U  @0 j8 H
索引和表维护
7 ^6 L) T  |7 O: F% p3 o- ^2 w$ ^1 n
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
; c6 d, A: Q) J/ w. D& `' D6 j4 L6 g3 D0 o6 X
check table table_name;% b, J7 {" }4 g
repair table table_name;
  y- k) q2 t" k4 g# T; v" pShow index from table_name;检查索引的基数性
: d/ V* Y9 F# R; h$ r/ G
  S: Y0 F. C8 Y主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
7 S3 e+ W- i" {0 i6 S7 z5 k8 n$ e
2 n0 R/ [) o- R* Q, {4 \% a: B  h8 l) I3 I: k8 D# l
2 j. N  ?. n, @( |% n- J6 z! P
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
) B' F- P4 q% `! P; s  f0 v, H5 J# _. M1 D  V, k5 C, Y5 E
表数据也能变成碎片化。两种类型:1 u4 I; L* t2 {- D2 J; c

  W- x" x& ?' e5 v1,行碎片
# a" v( c0 Q: X& D$ a% e' v# _7 f1 A) |2 k( e
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。% l' s% z# z5 i1 t
; b/ [6 d! c- E4 k2 x" l! J

9 O0 C! C! W) b9 g+ t( C5 n: P5 G) k8 Y* F6 p; a; |% q
2,内部行碎片- h7 E0 L- }  Y; G& }

- D4 |: ?# S$ n3 Q7 {! R当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
4 A, r! J) m/ I4 y( r
! O4 I4 M& e( _+ `1 b8 |/ c聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
. @" ^: K& g# f9 j4 @/ F" Y* K. E8 G/ n& ?" @2 R( \8 P$ b

8 s5 E% z+ _; G  @9 d  {
$ v  ~& G9 }4 y) }: h# K3 L3 ]为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。( V/ ~$ K1 O8 U0 }/ N, S

6 i* v/ b% |- t1 y0 B
+ O5 L8 z1 f2 \+ i$ l# a
" ]# W8 ~$ `$ X. N! n6 d, @2 mALTER TABLE <table> ENGINE=<engine>
: g' I5 Q* H0 _7 t: V) U( ^
, k1 L' V0 J9 E/ x7 D) ^1 `% W  E8 ~" O% I6 C

( p* e- r( U: B/ k) O  S1 X加速ALTER TABLE& W% F9 v5 k) k. |/ O8 K3 Y  [

: Z. q5 M9 g% T# x! v& _6 U7 _" k- D
& Z# Q* t; {1 D
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需/ N3 y3 N0 a# o: V0 f( V/ i# ]* j, h, ?% O
5 i6 ]# P! m; m; e4 K' {
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,! \' }) s& B0 j. B) v4 @  X

8 V2 b3 Z. i( b( F# j1 t而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
* \. H4 Y% i% g, N6 I& N2 V% n
9 ?) H% k( w/ I9 ^5 O+ d: B% Z传统:
% l& O. a, R* |& `% \+ U( j9 E2 K( K7 C; ?+ j1 {9 a0 {) x
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;1 a, w  P! D' u; @8 p+ z
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
/ {% e" ?6 [2 s% A改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
# l% v& M2 M5 K- r+ p1 z: x7 ?. c: G2 \+ y. C
变化:
& L# u, W& C0 k. g/ j. r/ w5 c1 i0 |* J- @/ q5 F9 [
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;; t8 m( v& L: I+ p# n" i: e
这个命令更改了.frm文件并且没有改动表。它非常快。# S( R( @' M5 m) ?
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-4-18 15:28 , Processed in 0.035789 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表