召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2833|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能- M1 y- n& q7 s" E9 R
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
! Q7 n0 l3 c- _一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列7 J- h+ P$ Q8 {4 W9 w$ I
在InnoDB中,只有事务提交后才会解锁$ y8 ?# m( S  d& X& l0 Y

7 ?- y. A5 H$ k, t索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只5 T1 i  C' r$ ^4 e' m  q9 ~. x
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。, O7 S' ?2 k) Y8 `1 M; T7 E. ]
! S3 l, u: `/ M3 }/ H1 I& m/ R0 p4 i; i
B-TREE" }: o8 R) x: j4 {9 R" ~- o
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
2 ~; g7 ^4 [7 a; U3 _( E4 o2 U使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。1 }" r6 K4 Q/ }9 m( r  w

  1. ( A. D  }- J/ u& D8 L
  2. CREATE TABLE People(
      i. p7 u8 S2 v& u
  3. last_name varchar(50)   not  null0 ~. j& Q0 k0 E# u  o  z
  4.           first_name  varchar(50)     not   null
    & f% E7 W& {* {/ Y" C5 y8 `# b/ t. Y+ l7 S
  5.           dob  date      not    null2 ^( P- Y; |4 F* x  n4 Z
  6.       gende       enum('m','f')    not    null: f# G! l# e! ~( i& C5 v
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
/ ?- s0 h! I: P全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
0 z9 _3 S% P7 G. `; }! V. v的人。* T  }/ K% p7 ^6 u/ t4 p* L+ H
匹配最左前缀! y9 M/ i: K( k% D4 O% @
B-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。/ i1 m& ~* E  Y
匹配列前缀" O; N) d6 ]+ I( f: E
可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
* D0 |0 E  E) w7 f( `匹配范围值
+ k% Z9 O, _* K( z: q9 j$ n这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
0 a7 Q, Y2 X' ^5 Q3 w0 q精确匹配一部分并且匹配某个范围中的另一部分% D$ e5 u  h' O6 F) _: @
这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last- ~; x' T; A+ ^0 \) u- Y7 T! B
列并且对first name列进行了范囤查询。8 V) O1 L# O& c3 s2 c. A
name
/ V, H( M  y# L只访问索引的查询
# n9 u8 \0 `0 s+ P: GB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。
1 k" V: \7 v$ M7 y
) d; Y+ v- w3 i: j3 Z由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
- b; I" X- A! ~/ e* U) ~如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查$ ~9 m4 {8 F1 ?( J1 L1 [) S
找方式也可以同等地应用于ORDER BY。  ?# s! ^  r0 y$ f) {1 P) r
1 s$ s# \( W) Y
下面是B-Tree索引的一些局限:/ E$ g- A1 r6 S* O- ~8 i
) q+ w% B7 g/ s( o! j$ l/ L: Q
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,4 J$ K/ v' k3 j4 `' Y
也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
/ X+ {) z0 R# f% n/ j氏以特定字符结尾的人。0 C3 i# E+ n3 |4 L$ N% t! X, M" ^

$ G/ O+ |2 Y( ]2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
0 G$ G! i/ k0 l  x5 v6 H- S义first_name列的值,MySQL就只能使用索引的第一列。
5 i9 f9 L. @9 z- E+ P( S1 v6 `" p' P9 e# ]# O5 j1 `
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
1 S4 D5 T) t) J" N范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
* ^3 }) S7 q) }不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
' ~' t; c; l* E3 t1 a$ t" I
2 t3 n) N. u/ h7 r; m# G- Z" c) ^8 G哈希索引,空间索引和全文索引等,暂时没有设计9 H  I% x4 X: [6 [" x8 Z/ Z* L! [; e
+ t9 ~- R( [* `
高性能索引策略1 O$ ?- n+ ?' r+ ]/ e
- A& ?/ O% v2 F. q
1,隔离列,意思就是不要对查询条件中列进行计算等操作
& c: C: I2 f/ F- w2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引. d. ?" p8 Z: u
Select count(distinct 列) /count(*) from table;9 `. k5 \1 f2 D9 g9 P0 y, ^
看看这个值时多少,如0.0312
; J1 z% O# Z5 G" u' E! ^0 N" H那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算" ]% W* R& I* A" M4 L  [$ N/ X; c3 u2 f
,这对于大表很有用。8 R) ^( A( `% [  f( k
Select  count(distinct left(列,3)) /count(*)  as  sel1,
8 S0 n% _+ Y; U# Y) C count(distinct left(列,4)) /count(*)  as  sel1  ,6 X: }& k/ @1 m( `) M" G( m: C9 D* ^
count(distinct left(列,5)) /count(*)  as  sel1,
* _; c/ X, \' v" O& ^* r count(distinct left(列,6)) /count(*)  as  sel1,
2 V; f  q4 `; U; Q7 t7 e9 u- O count(distinct left(列,7)) /count(*)  as  sel1   from table;
5 b* N) R0 D- j+ }) d- Q8 r, s2 O找到接近0.0312即可。* t# q5 X4 O" q8 M

% U; m% f& O6 WAlter table table_name add key (列(7))
" h5 y3 `1 e& _7 F: J5 e- t3,覆盖索引  H5 \, F, m) v% t( L: R7 U( d! r
包含或者覆盖所有满足查询的数据索引叫做覆盖索引
4 |0 B$ }% ]2 d6 l  ?$ Bexplain时,extra中的会显示using index
$ e* S/ V) o' O! r+ E这里一个重要的原则是( B; h6 ~7 T: I
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
: ]' B3 @$ B5 J* O: b如select id from table_name;
. E3 m3 O4 g: @/ Z3 Z5 I! @9 ~" v! a7 I8 Z; [
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
" b; E6 u8 F3 d0 Q# M一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。/ J! B$ K$ H' `# _4 s; t7 T
% w% d) v4 q8 f2 {3 C
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';! H' w& C6 i  u5 k8 @
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
& c: F5 a4 x- E1,. O+ V7 i2 p# j
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。
+ L- n6 x1 `; o9 G3 y# M1 n2,
1 P4 `. |6 H! k& r1 E/ `! R! nMySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。( [* D5 e, }8 \  \" B  g2 p
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
! a' p0 w* d* S; e  T, u# `7 l" t( w1 E8 w
4,为排序使用索引扫描- d7 j7 A/ W' b3 ~
mysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
0 d1 u6 F3 i6 h" w; E& A- Sexplain输出type为index,表示mysql会扫描索引- Y" }9 H1 h1 t& B9 u

: v3 ^: B9 t5 B& g* `* o3 @( q扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.- H+ V" D' ~  m! x4 [/ L
9 N9 f: ^3 x4 ?- n, D9 P" T
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
, T- g8 p# Y! r9 f& ~7 j
' P7 j  Z4 l: e. f2 C, ~. ^. F+ D9 d按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。% T0 x* X( d) Q$ a% \* {  @2 c* \

2 `4 Q6 Z# \2 }- z5 w5 `ORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。
$ G, [, R! j" l/ U- j/ V
; ~( F( v3 r% u7 H3 l' t. t使用join可能情况会有不同- W, b2 m! L' L/ H7 W% P

; P: L5 v% d. `$ w5,压缩索引(myisam)
9 T( ~) n/ o. [# Z" n' c2 B6,多余和重复索引(应该避免): D4 c" ~& w# H* m  N  d
( ]) m& q9 ~' c7 M
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
: C3 q! T% j9 l- f上有索引,那么另外一个列(A)上的) l9 u, s, w6 v* H% _
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
& X' d2 R) i) M: m5 x然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
9 }5 Q' b- n& Q. ^. }. a7 ~. U! ], l0 p+ c
要点:
, \% Q" L/ A7 p" G2 p在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.% H0 Z. Z- G6 f5 h7 O! s
' E! f0 j" O) a* T; C; l" M
即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行7 E" q- \9 M5 g- f/ Z1 G9 {

1 U/ r" W1 H6 p+ y2 Z6 `, @+ n( ~8 n) M* i$ d. w

0 \; u% _, B% D5 H2 {
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
5 M/ X5 S1 Y% U% z$ v
9 f9 r9 n( X( |( P$ c# b" q拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引
9 J6 T1 K/ r) H; W/ e# ]% q
' ^; O% s' u5 s# f# K& D9 b9 h6 p) o' F7 F& c/ P# i" d: h: D2 z
- ~5 i5 q1 d2 M" [2 v3 Z% ]. T) F
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索
0 E+ y# J* I9 T
' p3 P3 Q6 F7 P3 A0 N引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。3 o! j, U" M& ?" V0 h

' b4 R/ v& ^3 o* {6 x. h
+ e4 g+ Y: L/ x! O2 s- J
% _- M3 ~* y2 ~  M8 d9 V4 w5 D一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
: \  D9 B! i/ j4 f9 ^5 j: }' B) Z' y% u. l1 ]& L2 p0 w9 g2 r4 d
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理+ _0 u, l2 W  O" ^

4 \; _* N# q  @4 P  Y: A( o这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
, N0 S. o5 o* A" p. z. \( u8 E/ k+ @5 f/ u2 X; I1 a: E

4 Z0 r& F) z9 K/ ^6 L/ @+ C
0 ]6 B( W2 \! H避免多个范围条件,只能对其中一个使用索引0 B% n) r6 y: ^
& r  L7 i0 Y( B% [4 A5 _
$ v; ]/ v2 ~/ C6 s: ?$ e& J

) O- X) H% y9 A8 _8 @索引和表维护
" f: G1 ^; j" G0 H7 f/ j
6 {$ y# o; P& x+ \2 L5 i表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.- }6 O9 w; {+ P. z1 g  m/ U5 p1 b+ j

2 N" j7 b& U& j" z. e" rcheck table table_name;  E/ w# \7 L0 Q
repair table table_name;
) Z: D& G* R4 }- M# P* K% g) K8 ]/ vShow index from table_name;检查索引的基数性! t/ Y' F8 a# u9 N) f
% c) o% G. v* `' W! q) a' ^. |1 W0 Q
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量' U* j4 W* o- |
. x* w& f- I; f6 T0 j" }  h  l

8 H, a" Z  r4 F7 M8 j, Q
9 H& _& K. O& IB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。4 [, v2 x7 H# g+ P" ^5 `& [! P

# V8 Z( A+ v9 {# k表数据也能变成碎片化。两种类型:
+ ~! l2 O- g- \3 I$ @" H2 A$ l- \0 \  b, Y$ [" V0 K
1,行碎片
1 i: M5 K* a4 j# N! b. T: D( n, G0 M7 p2 L1 z
当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。* P2 H3 L7 Y7 w: Y
- y: D9 e4 G  R% e3 a
$ z# ?" m. C2 Y: T2 n
/ R0 @% k( z8 }+ i/ J+ U0 K, P7 e
2,内部行碎片6 J7 X) K/ P* x2 i9 K* A0 `

" ~1 ]4 j7 `' P5 N当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
: l% F# z+ K& U/ e6 C- D4 s  J( |1 r9 ?, A: Y0 e% E' S
聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。
+ `# ?- M  K( D) E
( t) d4 z! S3 b0 n5 i
0 v; z* k' j1 u0 v/ {. u
% j& D2 Q* I- ]2 g- g为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
9 c5 O- X0 J8 D0 i4 P$ F. Q1 X+ E( y
, @6 Y5 j- {: `) G6 M

; r0 r1 j1 L$ s  \5 v8 ^! rALTER TABLE <table> ENGINE=<engine>' J, {! x, t# S/ l- X5 H& V! [
4 P. F% d3 ]# R" Y
3 S/ ~+ s; n/ ^3 q
0 Z0 t8 s+ u8 v0 R1 Y8 H% n# }
加速ALTER TABLE( b7 i) p2 a- Y6 [
  v2 F: g* _. M" w% ?

& S; }) k) H* N* p8 x$ ?8 y; d3 X! w& u/ V
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
& N' P2 C" V" I+ J
6 Y3 I4 P; \8 h1 ~) j1 S/ i要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,' @' j- K9 Y4 u  L5 U& m: f1 t3 j

- u  [8 D+ Q! m- a0 p0 R$ G: L而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
& r) ]1 f/ \8 P4 H% S3 T+ {
8 C; W0 G" E0 a4 O传统:2 [) _2 z% Q7 N" t! e+ L' F" Z! P  X

* V+ y& d8 I7 ]2 F; u0 @; m# j3 N- N5 @ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;& a. V8 e& r8 y1 N1 c
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更7 P" l0 n/ y6 n/ a- ^, c$ n
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
' x* `7 @+ ?, U- V# v
0 \+ `, X2 w2 `0 F: W( ~变化:* r+ q9 [$ U* ]

5 y# N" q! i) n# E3 T& k; IALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;
/ V  I6 C6 g0 K& u1 X1 Z这个命令更改了.frm文件并且没有改动表。它非常快。
& e! F5 _6 N; ]' c: Y  ?3 t. |+ B还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-3-3 18:51 , Processed in 0.038017 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表