召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2342|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
/ Y8 A+ W5 K" ]0 S7 w有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
7 C) G8 ^0 x8 O" D1 ^; `, J一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列
7 w2 K9 N& i, F0 V% L在InnoDB中,只有事务提交后才会解锁
( ^8 \4 w, k+ o1 z/ B7 |# v% E/ D; ?. F" X( V, M) `
索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只
; W6 n6 h# o/ d) ^- ~. y. s能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。, K: x: x, B8 P$ W) L. `

: J& }) C& y4 F9 u. [' dB-TREE/ Z$ Q6 C: u# Y
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找& S; j, l3 A, E: w" N
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
5 y6 V9 l# Y5 j/ W
  1. & g% V1 d6 b7 J( j! U
  2. CREATE TABLE People(
    ! ?* K1 j2 Q+ D, V, i
  3. last_name varchar(50)   not  null4 g+ B& y4 l/ d
  4.           first_name  varchar(50)     not   null
    " B& _: `" M9 \$ Z
  5.           dob  date      not    null
    * ~: X/ Q4 Z* a" S7 y4 o& @( h
  6.       gende       enum('m','f')    not    null
    % w* V6 s& A4 W, U3 |
  7.         key(last_name,first_name,dob)
复制代码
匹配全名0 U* y. L0 Z9 N) k- Y  k! Y
全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
) V7 O, b- I( O2 W的人。- d: F2 L, s5 L! U$ T
匹配最左前缀; Y( \  [% Z, l% A$ w' w
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。
2 q, L. f- _  z9 n匹配列前缀  {4 Y& c. e$ Y! I
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
* D* P: V- H5 ~* {; T6 l3 @匹配范围值
. y" ^& J. o, c" \" o: N9 g这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.0 V$ Z% A) j$ b& @8 M1 r. @6 |
精确匹配一部分并且匹配某个范围中的另一部分' {  u0 f3 K( ?+ S
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last' J, o, P0 D. |  D$ S9 k/ W' p
列并且对first name列进行了范囤查询。
- V5 J2 W0 Z3 c$ Pname
( G* E& G, V; `) J只访问索引的查询
! }9 q  H- t$ i, x2 mB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。+ }) h0 a4 o6 K% n& O* ^  \

3 P+ D0 }; q+ [6 ~/ V0 W  n4 Q由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说," E) _5 W9 i% X
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查) b/ o; j- K# \& X& T. i2 @, H0 U
找方式也可以同等地应用于ORDER BY。
) `/ V9 z- U8 Z& k; e0 C% X
+ \' Q  m9 i% \  A6 |下面是B-Tree索引的一些局限:  x  X/ w* x7 w; \7 a+ Y( Q

0 a' q# U- j) A8 H9 b8 y; W9 f1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,1 T! U0 r" U* x1 s. K
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
; V% L9 e& I# ]氏以特定字符结尾的人。
- t  `& K5 Q$ x5 b2 {" M! R" M# c
2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
( ]7 X  S" i* f! A义first_name列的值,MySQL就只能使用索引的第一列。
7 _* ~6 l) C1 E8 J4 `* J: c
( T) P4 S- |) L2 y9 d: c4 Z! j3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
1 [; j: ~5 V" ?( ]' c/ I' V+ E范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而5 N1 O$ p' j4 O) ]1 K
不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。, v" {4 }9 F( E' W' C; m
- X4 |0 R8 @! K
哈希索引,空间索引和全文索引等,暂时没有设计
" y0 U# c# j/ T* T: [$ e  g4 e0 ]" E
高性能索引策略
- t) P* B, t" d* o( v, \' Y" h2 e. a7 f, P
3 `: R! O* |& f! F$ S( U1,隔离列,意思就是不要对查询条件中列进行计算等操作
1 Q* g# s9 p- E( ^2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引1 j4 q' B8 n" q# I4 P  Z+ h
Select count(distinct 列) /count(*) from table;4 v: Z/ N4 o2 F- o- ~  r" k+ d
看看这个值时多少,如0.0312" r( a) S. _  F( c3 B' p5 Z
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算( y5 \9 |4 X; W- q6 H3 ?9 P% ?; G
,这对于大表很有用。
3 \  ~: l/ z5 @1 O6 X8 @Select  count(distinct left(列,3)) /count(*)  as  sel1," Y- h7 j1 y$ X9 p% o5 r
count(distinct left(列,4)) /count(*)  as  sel1  ,
3 f/ J7 U; h' r' G* L* c( d count(distinct left(列,5)) /count(*)  as  sel1,; D/ P4 W: G5 S0 @
count(distinct left(列,6)) /count(*)  as  sel1,% I+ ~/ c/ W. n) E# l
count(distinct left(列,7)) /count(*)  as  sel1   from table;" u8 Q# K, o3 P, a
找到接近0.0312即可。1 {. K' S9 K( U, u

/ V) Z2 S* u- N9 b8 `Alter table table_name add key (列(7))
1 m$ \+ v$ ^: R3,覆盖索引$ G( p) d) L5 o4 y  N
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
1 N2 q) _* w: y0 J2 ^9 f4 F  }. ^explain时,extra中的会显示using index: r3 f' f+ n& p4 ?; X- w1 ~' }
这里一个重要的原则是) Y) D6 q0 v$ V$ s1 ]
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列5 j3 k- v2 O- w. _5 N& P4 |* H! [
如select id from table_name;
8 N: h2 g  c/ @* |1 z* Y
8 u9 |* }2 F8 P* ?. D; M很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不' k6 D0 H8 U$ J4 k0 q/ G9 c7 l7 n
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。
5 Q$ w2 {* i1 t3 k
! O, h! J& @/ m# ^7 s
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';. v' {. g: r2 E  y3 h5 |7 m/ Q! S
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
9 s7 \  {! N) Y% D% X# d" w1,
8 P( M8 B3 X( R& f$ h; O没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。0 r3 Q5 L- ?/ G
2,7 I' }' d7 e4 G8 S) y
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。6 |0 V* N& s7 [  ?: l1 \' T
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:( D- q3 d2 i1 F' Q3 \

3 ]2 x  p, c2 }1 t+ B* J4,为排序使用索引扫描
& F& R( r- d+ F2 _1 S0 q$ x# l# `mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。  ~8 d- e, a' y5 ~$ E( ^
explain输出type为index,表示mysql会扫描索引! ^' z( S* Y4 Z+ `! {# T' @

  |; o. ^6 J3 o4 `3 G  o扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.9 v+ p9 p* _1 Z1 T7 f* G; U7 Z
7 T8 ~9 Q- ]7 c9 Y* o- I/ i) G
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。0 l, ?/ }: u: ]2 Y
- y: p! m, q/ |
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。1 B* f" U% O" S/ g, ]' ^

4 X: |& r  p$ O1 GORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。# t& D: M& q7 V$ n3 ~
. P  F* I1 }& \# q4 F* M
使用join可能情况会有不同% i! x1 I7 k# g3 ?% O

1 y% K% I% h2 K( a8 @5,压缩索引(myisam)5 B/ `! p. H* Q- w7 L* E  \
6,多余和重复索引(应该避免)
7 l# F( r2 M7 j4 A- }& a4 k$ b% F9 p/ T& ?" Y
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)  H! @4 `# v% b2 Y5 z4 ^# d  b0 W
上有索引,那么另外一个列(A)上的
2 s0 g+ S! M1 i) h, V索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)# M3 W* b4 t/ |# E
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
# v! o8 `4 m+ M; e5 w" Y0 n! D
要点:
9 f4 t# y3 i, {  X% k- w) L- O在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.0 C- H; A$ l4 d! e1 \% N, F
) @$ |5 ?2 V# P+ ]( B0 c1 X
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行+ A9 ]( u; G! B& u
5 I1 P8 D( M) z& U) z6 E5 |

  ^0 B% J: ~. G
6 S* \* B" R3 T' Q
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
% P  n/ ]! {7 A
0 i6 u* W4 H5 Y7 n拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引3 C' b% w1 q9 Q; j
! z1 g7 J7 Z! t- z
- k' p! Q4 l8 {: G2 l' E: z
% Y! P) ^3 @6 a1 b& z
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
! M) |6 P5 i8 s2 h" ]. X  B8 j3 H) J, d/ Y
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。: h/ R7 g' C# o3 b8 F
4 c2 b5 H7 }; ?* N, A1 U0 F& ~
$ _9 w3 h/ q: z8 Z% ?( x
. n9 J9 p2 W) U* h
一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。" V' W. G+ U7 ^4 }# ~
5 A1 P+ H7 j- R, F1 j
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理$ _! b4 ]9 l( j9 p- L
3 X! J0 G7 s. S0 A3 O! G
这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
0 @; V$ o/ l9 Z" W8 V! m3 n% x- I4 M* S& |$ H8 o
' d! s) [; v' y. y$ @5 \
/ m1 R+ V4 K- @6 b5 j8 D, P1 {$ @
避免多个范围条件,只能对其中一个使用索引. q0 H; C4 d. ^9 X

! ]7 c& T, i- K4 [. B, Z8 {
1 [+ L( F' L) b
7 c- C1 ?& r/ v5 L$ z/ P/ E0 ]5 n索引和表维护5 q3 E" Z( H+ q' C

+ L' M6 Y' r2 h6 q表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.' N8 R  I+ ]3 n& c# i* i2 M
9 b/ |+ I* c- `/ V9 e1 o
check table table_name;
& s1 \% h: G* i' l3 `& h) c' frepair table table_name;- [, \9 i9 L& i) M! V4 V7 G
Show index from table_name;检查索引的基数性, d, g8 p% `; W. p5 m

( P- P2 X0 h- q主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
$ [$ k) _4 W* g% v
- ~! j) j5 ^. E$ v5 p- L9 J  i* s3 q" K/ h
! [$ d0 G4 f# c  n+ k
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。2 r7 l/ m6 U% X# x, @" t% U( R
8 b5 Q0 I/ [& P# o2 c, M! d
表数据也能变成碎片化。两种类型:
7 O/ \# v8 q* e; k  W
# I* k3 F/ d1 I, a* A1,行碎片+ _% S6 i& w" ~9 d) M

& ~2 i8 k+ q; J1 g9 V. w+ P当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。/ H! {/ N- V' v( b* W# B4 y
. K4 Y4 _& {, J: T3 [

7 @- ?6 R4 Y8 I! C" J, y; U& Q* q8 v7 k8 K3 c0 y
2,内部行碎片
/ M* q; B, m, j% [& M5 Z! @
2 p8 W4 Q! H5 }* Q: g, I当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和: Y+ M" `' X$ N$ Y/ w/ j& ^

  b7 g0 R5 \4 B聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。( t8 i6 U# T2 E2 z! K9 y& K0 P
' Z* ?4 R: J! N, w

$ }$ n: [5 g" a1 ?: A& J- ^
! T! |$ {6 `. v5 C为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
: E2 b3 k/ q  S9 f1 W. f8 h3 [' u* |+ c) i

+ v" @+ h3 h; W9 @, s% Z) ~# S) d( g
ALTER TABLE <table> ENGINE=<engine>
, }! p/ z3 g2 u( u) g9 @! R1 H
0 ^9 F/ x: _# G1 \1 ^  ^) L0 U$ u
; R- F6 B$ ~% T) |- o: d% {" k5 @* [% W
加速ALTER TABLE6 @) u- N$ S& z4 T/ ?8 _
1 u! f1 ?/ w: A" D

, ~- L1 b, ~) Q+ w4 j' n( h% M5 X$ A3 k3 o
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需3 F3 x2 j& t8 ]; Z/ Y1 |
8 N& k2 ~/ l6 N8 Z" F
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
. ]# X% F4 m+ [
4 _! Y' J, l) H  ~9 q而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
2 r8 ]- |; r) {# ]5 W6 L6 J( z- W% B; H& b) t+ g, j
传统:
- g: h! z! A4 E, c1 z' h9 E) C$ n; t5 @& \
ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;* K* F/ {7 D& e% R6 d
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更; [# u$ @" m% o3 a0 K
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
- R* R+ Q  _$ U$ h. D; a$ E9 x5 Q5 S& E5 ~7 C
变化:) x2 H& N/ b- b3 Y; V& @9 x( l

- n5 ]0 l( r3 d" D. I2 ~# n3 {ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;. J5 H% C9 d8 E$ ?- R4 o! y( d6 z
这个命令更改了.frm文件并且没有改动表。它非常快。
8 w6 l6 H# Z  ?5 c: T4 p还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2025-7-13 15:50 , Processed in 0.035416 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表