召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2876|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能/ u" E4 v/ ?) m! K* E( d
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
/ _  O! y: W, \! G! v! L* I一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
6 m: J: i3 a5 a# K6 I' D; u) [0 u9 \在InnoDB中,只有事务提交后才会解锁& ?; o" u8 }/ P; @1 F3 p$ K

6 _3 }: K1 O! X! M. O" |' A索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只$ x8 c$ q6 B0 v& H4 J3 c5 P5 z
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。  ]% U7 R8 V3 Y+ ^( B2 N7 l

* }# \, V0 z9 b3 vB-TREE
; G8 I6 v; y( g- F' S/ y; R5 H能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找+ z) |. g/ B8 w, z$ d8 ~
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
/ a$ y9 u7 D" A) f! D

  1. 1 }, c, t3 ]& D* `3 `
  2. CREATE TABLE People(8 ~0 I; ?5 S6 J# k
  3. last_name varchar(50)   not  null4 w( b6 x& G0 Y- V: E
  4.           first_name  varchar(50)     not   null( Z5 Q# Y- B: m$ H# E
  5.           dob  date      not    null4 ^8 c  U' I- v* c
  6.       gende       enum('m','f')    not    null
    * Q/ _$ C$ D6 b  ^
  7.         key(last_name,first_name,dob)
复制代码
匹配全名: v  w' X+ I: ?( O8 Z& b
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。$ I' G2 v/ [. ^  ]
的人。
2 l+ B3 }+ N$ g2 H3 o匹配最左前缀
" w8 i7 k+ ~8 tB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
1 ~/ G- m% c7 F7 }. J% E  Z/ l: V匹配列前缀
1 f- L5 k$ ^) ~5 ]$ V9 ?可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
4 C: h) S: q* ]4 S5 k4 J- u匹配范围值" C2 }4 s) }8 Q1 N) g
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
* R1 s/ T: m. }精确匹配一部分并且匹配某个范围中的另一部分. d7 z  P+ Y- J) {# f* K
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last( U0 J) y1 J! v" P3 I9 n" W& Z. M
列并且对first name列进行了范囤查询。
# n; S9 a$ Y7 l9 t. b, qname0 e1 ^7 k0 Z& S- E1 R' I
只访问索引的查询
9 s4 P  ^& m( d, Z. r' W, ]B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
! w6 z( z' J; }5 c4 J0 D7 z' r- ?0 S; h, h9 o9 ~
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
. ~. p1 I$ w& {; U2 P9 _5 f如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查# O! J! P. j& \) u3 U2 n  ]4 }: K
找方式也可以同等地应用于ORDER BY。2 h& b$ ^; @/ J0 {/ ~9 F
4 |& V) D# \0 `/ s, B6 j
下面是B-Tree索引的一些局限:
/ c% ?% b/ v' I' u* F
4 R+ L9 ]4 o0 H  {1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,5 Y4 H/ v+ o8 }& g; Z: `
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓) L4 h5 \) P. `; A. \4 s) J8 ^  e
氏以特定字符结尾的人。
( T; `1 G  j3 q3 Q, }/ x2 k. v: y# j/ |& \" }, F! E
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
! L' o4 ~0 N7 f1 M" c5 M义first_name列的值,MySQL就只能使用索引的第一列。
7 `" u3 K3 V0 k, N( {: u! U) S. q/ s& `4 a( h) T
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是5 m8 i+ s; ]+ Q( T, r# _
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
7 t$ p& |4 ]( L: z0 v4 e# c5 G不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
/ P- ]" p) |, J4 w( P/ ~$ Y. e& ^8 V
哈希索引,空间索引和全文索引等,暂时没有设计/ C, z2 j4 \, W
* {, i- |' Z* `6 _
高性能索引策略" l& `* k1 C# a( N
. `' \4 j0 g0 p+ j
1,隔离列,意思就是不要对查询条件中列进行计算等操作1 b+ U  v5 j% o! u  J8 A- t
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
% V. `3 [% `0 R' _; w) \; j9 R- }Select count(distinct 列) /count(*) from table;( z* K. z2 M" e) B2 j9 Y
看看这个值时多少,如0.0312" j9 K% T9 Q2 J5 ~, R- o0 J
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算
  ]' c: v! O' e9 K( `* ?,这对于大表很有用。
2 P. Z" ~. [, `Select  count(distinct left(列,3)) /count(*)  as  sel1,- z% s; B0 w& Q9 N4 I- N8 v
count(distinct left(列,4)) /count(*)  as  sel1  ,
% F9 K# c# k5 k- v count(distinct left(列,5)) /count(*)  as  sel1,- k$ m4 q& @; v6 Y* o7 S7 y
count(distinct left(列,6)) /count(*)  as  sel1,* Y' H' E* S& c5 i2 j. t9 a; Z# J* M
count(distinct left(列,7)) /count(*)  as  sel1   from table;
7 i  b, E- t( o) s找到接近0.0312即可。
( G8 h; ]5 l9 ?/ R7 m
* C. e$ ^6 s; F, a* x. }2 yAlter table table_name add key (列(7))
! U) R% k0 v; W$ ~3 L  o# q3,覆盖索引
+ Y# I7 t0 F/ I. g包含或者覆盖所有满足查询的数据索引叫做覆盖索引
8 A6 Z4 b  x& @" x8 rexplain时,extra中的会显示using index6 {! V4 v/ b& p" Q
这里一个重要的原则是
- S' I- f2 e3 r+ D. yselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
1 v4 Q& n2 ^9 g0 Y" P" e6 c4 B如select id from table_name;
1 i2 n0 F' L3 `. s  e6 E4 @* S0 s# `& |
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不' s1 _3 C4 l7 E9 l9 Q7 d8 l; b6 B
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。9 Z0 q2 ~. y# p" g1 a5 d# v

/ B, A: o3 c( ?
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    5 y/ m9 d( ^* w5 |: H9 ^& L
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:5 `6 a/ s) A5 b3 C8 q! d$ K
1,, ^! P4 _8 O9 f9 _* a. |
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。2 n( x6 m* [1 s1 J0 X7 K
2,; Y/ y1 Q2 T& ~  x2 T- w+ U/ U! s1 `
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。) J& `7 x9 R' v5 K7 [
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
0 h/ P' O" b. Q4 K' `1 J1 q! q: l5 Y, h( f0 w
4,为排序使用索引扫描' ~( U" i9 o& o
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。: g8 j  D( r+ h0 S5 N* |6 }: @
explain输出type为index,表示mysql会扫描索引
! N4 |8 @! U  z7 f
* s  V, E2 X4 z$ v* q扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
7 o5 j* f$ i# J5 b" F# b
5 {/ x5 s6 F9 l' c: PMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
: ~# |* @% g# b- V4 n+ j9 J9 z. C3 H, B( ~
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。
6 Y; W: k0 z- h3 Q. _& \- z  d4 n" j9 e
ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。1 j+ j' r0 I$ u3 S9 Y' |

# U3 b6 {) I6 C/ G. V. {5 N0 m5 ?/ {使用join可能情况会有不同9 \% k9 G. X: U9 p5 L5 `! t3 u; P

$ I; N" X9 o" b) J2 {5,压缩索引(myisam)+ ]* g4 |9 q! U! J+ B
6,多余和重复索引(应该避免)( k1 q0 F3 B7 z' n& H

. g$ @6 O% j6 C& a$ G多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
  z+ j% m; _' C# E. P上有索引,那么另外一个列(A)上的
) U7 y9 ]4 g  o5 S) j索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)& {5 I3 M6 N2 T. m/ u9 J
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。  k3 M! s& P. ~9 M: }1 ], }  b2 c
0 ^# o$ d9 D, d& j
要点:
8 x  r% X0 u0 i+ K& j在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.$ E' }, B' G1 D

" T2 V$ u  R. Z! @8 ]即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行0 ~& r9 \& H" a; d6 ~! y0 H
* e  P2 Q5 ~. r/ ?3 Q4 h
$ n; o' Z, n  X" l

* G. J" j1 t7 e! m& }1 L. j5 K7 L  e
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
( M, b2 Z, I$ x) E6 |; B. }6 g" Y2 U
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引  q9 `. M! [* {
2 m4 u7 y; c) i3 i& G

  F0 Z( p; d1 ]& e/ t; I" Q0 A) a  D% F) N
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索- O6 a: `5 }8 C4 s  C2 N- l0 V0 ?% w
3 A$ c7 D5 S  K! Y" V" Y/ s
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。6 n& Z/ D, h& m$ }

9 O* G2 I7 |* _6 z: T6 q
2 ^6 a1 @4 p0 G( \  i- E% P3 {3 p% k$ O' [1 Z/ Y0 p
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。3 N9 |, Z& w& y" s; ]
+ @/ [) e; {8 F8 h& @
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理# ]& V4 Z  k3 P
' G4 l. R$ M8 ^
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
) K2 F( @+ a1 a0 H" K  s; q" h5 o1 b/ T& D3 X# ~
. `$ e4 f3 E( j
5 A# _4 D/ B% `4 {
避免多个范围条件,只能对其中一个使用索引
2 C2 d& @' x, X  ^/ I2 h  U. |" u2 t- M

4 T1 e8 G$ s# y# n' C6 i
1 g) {( N' B- z2 m' a+ p索引和表维护
4 ~+ I' o' v2 T& L6 E8 J0 z
4 a( r& c' E* N+ U% ?表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
$ w$ @9 ~4 U& Y" X4 X( N% s$ [; @. s6 _$ o
check table table_name;  a5 I& |1 x, O" f/ M( ]
repair table table_name;
1 c% d- }. F* @/ CShow index from table_name;检查索引的基数性
8 J. u6 x" Z, l, x. b' a8 s
. {2 D  I( ?& Y主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
* S) c# X# W8 M! w4 G7 o% R5 s) o) ]' o
8 U- D/ Q3 q% x( |9 _' t1 z

  |7 b) T& d) T5 e' [B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
5 H6 B, p4 }9 e0 G0 `
# |3 x5 c7 Z! @3 n8 j: X表数据也能变成碎片化。两种类型:* N& V$ p! D+ F  n1 k8 N) t

' s9 ~' Q+ i% s- C4 _4 Y$ Q/ t  t4 z1,行碎片" j5 P$ I' J" f2 w" I! d/ e4 I

4 g- }& T8 ]* O6 I当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
$ ^' a1 Q+ U! Z- p! ~: N; C
! G5 m: y$ @$ v) B$ J' e" b
& x+ _1 K% _. t4 `' D, X7 L. _9 Y6 F( q0 \, U
2,内部行碎片* e% Q# Z( R0 p/ ~! _3 L
$ s0 P- [. P. q; ?7 R
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
/ O0 ?+ N2 t# J7 K& _7 `/ J( I* d3 C
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。9 i2 w6 C+ l7 A  Q, z% o* ]7 r

  Z6 ^. ?7 A! ?8 S- v# @5 h+ R+ b+ x4 ?3 j5 Y: G# o8 L

0 B9 P  _- I! q) L2 X+ _: p- N为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。8 }, q8 E! `* \# `

6 @0 G2 X+ b. d% ~% ~* S2 N9 E
- r! {6 V3 U# s4 a7 ~; j# e0 L6 k, n" {9 f+ X
ALTER TABLE <table> ENGINE=<engine>6 e2 I! L9 |5 e$ s3 W5 `

9 `2 e$ R8 ?' q8 \* @7 p8 z* E
4 R2 Y& E7 T- [# V6 p! f7 D' l" T3 b0 H/ ~, e6 K* M) D
加速ALTER TABLE
, l6 O5 J) M' [: D9 d8 \1 z3 ~3 M1 M6 f$ ?/ p6 M" O8 o; x

. C' z/ N" S) R: v& F5 s  _: f
( a5 D; E( u- F2 {  t+ @- GMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需, X! \- |/ S0 `- {2 i9 q8 r# v
% c1 W# f  y+ e' F
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
, e" g* `/ g. ]; O4 t$ p8 j( ^, ~% w
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
! A+ r) ~: _( _* X
+ B% v+ X- Y/ l  n传统:# X5 t: i* W7 j" p6 Z$ h

/ V$ ^+ w- K8 o; rALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
: x1 c, \7 ?! b理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
4 v/ @8 T7 C' g  k3 B# g改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。6 I/ }3 D& ~  h7 t# N9 a/ y
) V8 p) @1 \( o3 r6 w' v
变化:, ]$ r; s' X4 D+ ]% \: {
! H' `4 \! `( }% ^" h5 n
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
! q5 h; _8 q  o8 C+ m9 Z1 ?3 O这个命令更改了.frm文件并且没有改动表。它非常快。( y( [/ q/ b4 \- W
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-3-22 00:08 , Processed in 0.037796 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表