召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2661|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
0 I  Z; C+ N7 B- M有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
9 g$ t. k4 D& a一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
  x. ^. W/ s  I* w0 x) I7 c在InnoDB中,只有事务提交后才会解锁1 P  M( F( {: [- o7 q/ o3 w

- X$ f8 T) |. A7 w3 s索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
- I& l+ I7 p: C3 Z: r6 D0 q能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。# \7 |: [; m( U1 o3 T0 m$ r

$ i0 M; J7 D2 }2 rB-TREE
3 d' S, @% o; X; O# R能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
# b: W5 F, y# i% {. y( w使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
( J& L  Y2 ^1 {6 U

  1. " F0 M! W6 j7 z5 p4 E
  2. CREATE TABLE People(; W4 _+ I% s. N/ X2 ]: N" U+ ]
  3. last_name varchar(50)   not  null
    - o0 ]* G* p% I! V
  4.           first_name  varchar(50)     not   null: o! n1 S' y% h) a; N* w- w
  5.           dob  date      not    null' ?  t. Y" n6 Y0 j3 t! C
  6.       gende       enum('m','f')    not    null5 V- w. p! `( b% X7 h% _) C8 j. L0 |% m
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
; r5 w! ^( G/ T! K) b( {: n- L% d全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
6 S0 p0 h6 k' ?的人。
2 O% o( S" B3 }9 Y匹配最左前缀9 D) |- z: h. y7 ~* u
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。. B& F9 B7 ?( Z# s
匹配列前缀* Q2 \1 K( T3 V* r8 J
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。3 P# ^8 F8 j/ A
匹配范围值. J, T# _" H1 Q4 g9 K8 }
这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
6 V1 A6 {3 ^7 ^. g精确匹配一部分并且匹配某个范围中的另一部分
% C+ |  V5 K3 N这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last+ g4 F% c7 g1 f! b' M7 _0 c) O9 I. O
列并且对first name列进行了范囤查询。: m3 H" g4 u* _% j* @2 [
name7 i* p7 d; u8 _9 L
只访问索引的查询
+ N$ S8 Q4 U5 H6 i4 eB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。2 ]  g* W! c. O
9 U, W- L( b6 _. F9 J1 M" D  Y9 E
由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
1 l& Y7 J) @  T( l( x/ |/ ~0 v如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查3 u. a: ^' N& e' p" U7 U
找方式也可以同等地应用于ORDER BY。; V1 B3 i$ f+ \

# m1 ^+ x, d8 }% Y0 s, \下面是B-Tree索引的一些局限:1 s- w! Z( }4 u; ~+ {

# m' O! m( z, u/ P5 A1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
3 a) v. V2 }( K9 |( S2 p' z也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
3 ]# K$ _; ~+ e8 E  W氏以特定字符结尾的人。
* i. A* F+ ~) m2 h7 d! C3 L5 h# b
* J! X9 Z& ]2 t" i2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定+ ]) }9 R% k4 C7 F9 @" H9 O- J# K
义first_name列的值,MySQL就只能使用索引的第一列。
" z& K6 O9 o" Y/ o0 L  ~4 `9 c% P% X( e) h; d1 L
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是7 \( S  S+ [# v, c; ^. k
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而9 d- h& ~# J" Z9 |  Y
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。; k( q0 o/ B+ ^9 z6 C

3 s4 r% w3 x2 Z( n7 z' y哈希索引,空间索引和全文索引等,暂时没有设计
: b( ?3 O& {, o! w' t  e, n# I
0 l  g5 G/ F% k! J+ L' l高性能索引策略
+ V, \* S! b' E4 x/ W4 b$ M  w- N. `3 y# X# K
1,隔离列,意思就是不要对查询条件中列进行计算等操作. v0 c# b& K5 A0 M. I% g
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引0 {- C! [9 Q7 [; L, q$ s& I
Select count(distinct 列) /count(*) from table;
% f7 W( Q7 e3 Q. M9 _# f看看这个值时多少,如0.03128 l1 ]5 i, t) W" q' w% l- K' a2 l% M
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算! Q2 q  r" F( X; A1 A
,这对于大表很有用。
3 o- O$ `/ U+ o2 m% w9 T: JSelect  count(distinct left(列,3)) /count(*)  as  sel1,
4 s8 Z# h# Y/ ^( U; W count(distinct left(列,4)) /count(*)  as  sel1  ,
$ t& g+ g$ @3 R2 r& l' \& W2 v5 A% z count(distinct left(列,5)) /count(*)  as  sel1,8 d; s- K( e( t8 A# j  B
count(distinct left(列,6)) /count(*)  as  sel1,
8 `% f/ L+ f3 Q' Y$ |! \  v count(distinct left(列,7)) /count(*)  as  sel1   from table;3 D9 ]9 w  j% D8 g3 E, K  S0 m
找到接近0.0312即可。
8 D' L5 A$ ?0 ]4 u* Q0 E
4 k' L9 Q1 p4 Z# a+ {% Y: ?Alter table table_name add key (列(7))) e% P8 P) l. n5 z! U
3,覆盖索引) I0 [. f7 I: t; c  _
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
4 r* M' @4 J* k5 u( h- Wexplain时,extra中的会显示using index+ N  c7 L8 u" j# r
这里一个重要的原则是
* q9 Y- x- D" D2 k# L! {- Bselect后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
6 n/ y# G3 v1 P' y( ]7 P如select id from table_name;
) R5 {3 p- ?8 x; s9 Q' y  n% A1 e0 b$ o' \
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
/ j0 n# V8 A; J$ S9 m6 m一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
& f! X3 t- C& \+ W4 E+ P" h9 O
3 o: u& f; a! ?/ n9 D
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    ( C' w  Q" U/ R' [
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
/ v4 }7 X' z& p$ K9 I1,
( c$ N7 x5 N8 a+ e没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。( e' R+ L- F( k* l
2,
/ j- f5 ~. h& _6 L# J1 _, bMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。" M) c' q+ [4 u: y% h6 C* S
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
" t, Y  \1 {' ?& d7 H' _' _
- @# _/ L  m$ B3 x( `$ C4 P4,为排序使用索引扫描
" T, W) |* [* E) m! y! Smysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
" n! X( Z, o" {" bexplain输出type为index,表示mysql会扫描索引- f4 }  Y4 B" o
8 {; S: z7 N! |8 B  M. I; N7 |: g9 ?
扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.( A  @+ n# `' T  {+ h# e7 b# b/ p

$ e- x- k0 {2 g& yMySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
& m; P+ a! Y# O( D# L: |8 _; P1 f/ i0 g' J
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。" G& Q) F/ N$ d# t" w

! O8 S6 Z) w9 p# r/ D# w! O& aORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
9 D9 S7 K9 q% O3 ^9 A; l5 u. i+ A
; G9 q( ?6 B7 _! s使用join可能情况会有不同& k2 `% ?( C) p, e

" k9 w* H' \# h9 q7 K5,压缩索引(myisam)( p' H/ x, c" s# H/ A' K6 e$ r$ n
6,多余和重复索引(应该避免)0 P) Y- h* c2 j& k: o, }1 i

* O" L. Z" t# s+ Z( N: _0 c1 ?多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
$ [+ e0 Z) H: U" E! G; H# A上有索引,那么另外一个列(A)上的2 v+ k6 w  ?) i" T$ K2 U3 }
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
1 n2 ]% l9 g3 I( Y1 D然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。, m/ M; f) G+ v1 b! v5 N8 n
$ H" \# `: `! `
要点:3 P. C5 M3 ?9 c. n# \5 N# W/ R* j
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
, T) [2 b+ X7 C  Y8 k& T: O0 e% X5 I6 @& o" X& ^
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
+ \% c1 u; g1 A, t4 I' h- Q
4 e- X5 D8 r! P# o5 G/ g% H! u
" v' f( C, _6 ]  V1 m
6 E: U3 Y/ a; `
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
2 D9 T% G6 `+ r) X4 c& E+ i$ A: }- X8 R
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
# O3 S3 p0 X3 Z' ^- u) ]3 y, U9 Y" i. I0 x1 U! a+ u& q! o3 j

* [9 p' y/ i7 n
/ S- [2 ?! [/ @) A$ ]; \5 {3 o  t一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索  Q; x2 x4 p4 t$ C" B
7 h: x( F' x$ c. x( [  a, B& ]$ I; u
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。$ T3 ?. U: {3 s3 C3 ]& h% q
7 b+ F& k, P5 \* o4 ^
! ^6 \8 t9 [0 l$ f/ X: R5 v! R
: A; C- E+ N' _4 i* Z9 Q
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
+ v2 J) C* ^6 h  q9 b, k3 l0 I' b! p' B
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理3 y+ \2 w% x7 t3 h, }3 Z

! D0 J& c6 M9 k8 r这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
) J- [) w; {, u$ \! v" T
* P4 u6 g4 J1 y3 s' d- x- j9 B7 H$ Z4 }- M
8 q. ^+ n" z0 x6 D
避免多个范围条件,只能对其中一个使用索引
5 Y( q1 ^8 a5 g
. j+ r; j4 y* e) U% V+ Q4 q0 r0 j/ D7 x' L+ d' u6 L

& F- \& m( D6 t5 y+ d6 [5 X) A索引和表维护( [' y$ y* Y( ?) w
" H( t, e$ v. U  A7 w
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.  c; c& y# B2 E# x/ c5 P9 V
! }# q% U( V6 z3 r
check table table_name;
1 r& ^% [- H# D* V  @1 l) Hrepair table table_name;: z5 O( W9 U7 J
Show index from table_name;检查索引的基数性& Y' i  Z8 D3 c
7 p* Y! G  I9 {4 ^5 B" W
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量; @6 N* j' c6 f1 h4 N; P

5 X/ k! r9 K* o4 L, |5 r3 S3 Z
8 _+ t$ ]/ ?! R1 d$ t
8 c! e! h6 `8 @- f% W: FB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。: ?* t! A8 k0 ?$ C( D" S

0 ^4 j6 S; \0 l* V3 k' M4 m* @表数据也能变成碎片化。两种类型:
! G1 H* t" ?) \; f! J
* t& f# L4 g9 }- S. w1,行碎片
9 J+ ^( j' s7 E* ?1 o! ]; _, \% u4 `' H( q( q0 M
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
5 F2 q5 e0 l6 W. Q! t: i
, ~- W$ p1 U( S7 ]9 P  D  x9 ^% G) P  V9 N9 b6 \4 J+ }
& B# k- Q: ?; M
2,内部行碎片9 [; E3 Q- s' Y: ~
: P, _6 e$ T+ Z+ j) _+ G! ~
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
( s, a  |4 u$ a' w/ w
+ w& N9 X9 G6 U5 E3 s3 A4 P聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。! V7 K# [: J) ]' n2 m
+ ]; [( o# R, O$ Q
; ]4 V7 M) O6 ~
; M4 s* }; ~! q4 }" Y+ Q, K
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。* \; r- Q! h" U3 A

4 h; P0 V  B" Z* ~
1 f1 q+ Q$ h$ N) ]% j) v  X* V7 U7 k" |- x' V+ X/ D
ALTER TABLE <table> ENGINE=<engine>
% D; G( l0 E0 j5 X! P5 g! P; q/ d* I" e
: ]5 \3 Q  j6 f' p9 y1 G& M% L) M, p3 h  E! F( b5 g4 k

, H6 l7 l) L; `6 T) t加速ALTER TABLE
$ k' x  T$ E( s% v# P! J; {: b2 a
. C# k( |9 j$ B. l- y
0 ]# S: Y4 r: C1 Q1 f4 W3 w# v5 s- S+ ^' U7 S9 e
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
, G! A; |5 M% L) Q& U" w1 l
# L. A6 R" \0 l2 |$ H0 l, j) n要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
7 @, X& ]9 m. o9 \: E: k% k5 J0 @) Q5 B% B1 S/ N# w1 J, n" ?0 O
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。! v7 E& ~0 I* {9 ~  N1 d1 ?0 f4 T

5 V' j; c: v' j  Y传统:
9 s5 X8 z6 n8 ^- P7 D% A0 S" n) f( k9 m
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;/ d. x4 }/ G5 s* @0 R0 t9 s- q
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
6 L  }$ h% h; R$ ?. L8 `改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
3 ^$ _' x" k! P
2 U9 n# q, V6 {3 r0 N4 x变化:
* z8 o# X4 l) j" P' `! M4 R6 P+ M1 q0 b1 g- Q! F7 M' ~
ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
  G! \. v) M; D5 C+ m这个命令更改了.frm文件并且没有改动表。它非常快。' U* X# y/ ]- N) S
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2025-9-14 09:19 , Processed in 0.042405 second(s), 26 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表