召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 3276|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能
% Y' [' Y; `- |5 x; t2 I有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成3 E8 i- Q/ ]' L5 ~2 ~" D
一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列. v' h9 u/ g, {: v+ z
在InnoDB中,只有事务提交后才会解锁
# h" {# K" a9 B: K9 K* v, ]2 F
5 H- w7 \- f. Q! L- i. }8 e1 Q索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只0 X) S# J* H- h) [
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。$ a  t' o; q6 s9 m' J6 S
0 ]0 A6 R8 j1 R
B-TREE6 _) l" a+ E, l
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找' o2 \) s+ r, n- R. W% v, }9 n+ J
使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。
- e6 Y2 m* i# z0 e- r- W
  1. : C+ ?* E5 i1 q- ]2 V1 o+ A$ v
  2. CREATE TABLE People(
    " h% R, [0 E* M- A
  3. last_name varchar(50)   not  null
    * D. W. W) \9 }9 |3 d
  4.           first_name  varchar(50)     not   null, u5 N- D. n# V
  5.           dob  date      not    null- y5 t0 y3 x8 [0 H+ b
  6.       gende       enum('m','f')    not    null
    5 M/ w3 E* p7 G9 I# Z# o# F
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
( v; t! U  W! }; @全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
/ i  A; q- s- q# |的人。) U- }! |  X% k$ ]8 y" D" R+ @
匹配最左前缀
) K5 i- b9 W9 MB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。0 x0 }; K5 E( x/ E# l+ f
匹配列前缀
3 }/ r# v  T7 C) }) T可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。
* I* e2 @/ ^) B0 X, O+ P# d$ y匹配范围值
( C4 v" d2 ^2 y5 ^5 D1 e5 a这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列., t0 t1 N- \/ @" t' d0 \4 z9 C
精确匹配一部分并且匹配某个范围中的另一部分
% B& r" e3 M  C8 n! @4 u这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last5 P2 T" `* x0 M$ c$ G
列并且对first name列进行了范囤查询。
( c% B+ U1 B5 c- E1 i6 jname
, c6 i2 H5 m+ e& D, ^3 Z& T/ B& x只访问索引的查询
; S+ q( e! w& E6 S8 C: B1 AB-Tree索引通常能支持只访问索引的查询,它不会访问数据行。2 G+ D6 \; u9 t% Z. G6 ~3 u

3 @, x, O6 f! q, y* [由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,
! j& j! U2 A$ V/ v" |) @9 K如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
, r+ V5 G) R' e, o$ K' l9 ^找方式也可以同等地应用于ORDER BY。
% L% _/ J* M7 A& {% v& N( ?1 \4 n, H7 U& z/ f6 V
下面是B-Tree索引的一些局限:
! s* f- S; ~- E3 t+ T
! N+ o  f/ I4 M3 B" w1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
7 x5 d& D1 L1 _也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
1 t, m( V+ o; n0 u: v+ r/ I: I氏以特定字符结尾的人。
/ b3 z5 K8 R- G- C- ?4 F  ?
  p" ]4 z) T0 F1 a6 N2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
! y2 |- Q# G0 t0 B0 o义first_name列的值,MySQL就只能使用索引的第一列。
9 w& m5 X% p+ s/ V1 w  W' M1 E  e0 n& b) P; F! S5 g
3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是+ F. V; J" B1 H- z% R
范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
( r& U( ]5 [, P& `不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
  k6 y3 s1 D/ M9 [3 F6 F( m5 L8 s) M& t  M/ e, _
哈希索引,空间索引和全文索引等,暂时没有设计
0 |. s1 T4 P7 l+ J
/ ]! C, w7 J  r' @2 f$ d6 p' m# A# w高性能索引策略
- p8 [  s% c/ b& U! k4 D2 c
1 [# v0 G# B5 \6 r+ H' d- X7 s- Z1,隔离列,意思就是不要对查询条件中列进行计算等操作0 u8 d4 G& N6 s/ @$ t1 k/ a: w2 F6 U
2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引  o; \( i/ Z3 P. a/ \
Select count(distinct 列) /count(*) from table;
& w' Z2 I2 r: i3 l4 ^  [看看这个值时多少,如0.03120 ]$ K* C& g. H7 ~$ `* l- @
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算0 u  k" l9 w* a+ K3 v2 J, D
,这对于大表很有用。, Z4 G& p( o6 p, e: h
Select  count(distinct left(列,3)) /count(*)  as  sel1,
7 R% Q. b$ i7 k% k count(distinct left(列,4)) /count(*)  as  sel1  ,
) ^) m6 E+ [& D7 t% S count(distinct left(列,5)) /count(*)  as  sel1,; v) A  d0 O; p
count(distinct left(列,6)) /count(*)  as  sel1,) }' Z% ]0 A* n7 C
count(distinct left(列,7)) /count(*)  as  sel1   from table;
1 f) X- r. ^! @找到接近0.0312即可。  |% Q) `5 D. ]4 m6 m5 q
% `" \% h, Q0 C9 b  K- Y
Alter table table_name add key (列(7)), Q! ]5 O: ]/ y& Y2 V/ J# v# N; C
3,覆盖索引8 e& `+ x6 u* W+ }
包含或者覆盖所有满足查询的数据索引叫做覆盖索引- M' N1 ?7 k* J+ I% T, K9 N
explain时,extra中的会显示using index1 o/ f& r+ i2 _; j( Z/ S$ _
这里一个重要的原则是9 ~) Q: O' g6 {6 D# @& m' Y; c
select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
9 K1 [/ s8 u+ o. A$ S. S1 s5 h* x; V如select id from table_name;
! Z7 m, L- A) v6 g
, p$ Z" a1 S2 m* F- |5 t( c; z很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不
( S$ U! U- E3 K# [) {& Y1 y一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。, N+ }9 W$ ^. t9 N1 E& {' |0 ~# u

0 |- p! q% e' A7 P0 r8 v) m6 ]# L; z
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';% c' N' h+ d1 v! Q, y
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:
% K, X/ n8 r0 U, F1,+ ~4 e5 [% m0 W; h4 g1 \# V
没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。9 \6 z* p# v5 j; L; M4 W; {& [
2,
% @5 m. `5 d0 i' y/ ^% N5 B+ ]MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。" c7 k; m/ q: `# j0 Z
有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:/ J, _6 j4 I' p5 S5 n
1 m5 J" a: `7 K/ N' [; v" r: [
4,为排序使用索引扫描
5 Q1 Y' B% P& M5 g& Amysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
+ t  k/ O$ m! |  m/ Kexplain输出type为index,表示mysql会扫描索引
# d) _. H- P/ L( ?* C" t- C8 G. i* y
; @! f. i3 D( M6 t0 H9 \/ }& J8 Z( y扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
8 _' y+ G" Y8 N$ W/ k% z* ]0 C2 ?0 I) Y, ]
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。
& R$ x% }* N3 z7 d
+ l4 [1 s& l* u4 Z# Z0 L按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。& V  k4 J& }$ |5 \

- x$ W9 b! X: a. g2 U( N; c" T9 AORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。0 ?, V$ p; J; ?& R" \7 j* m$ I

5 u- ?, K/ i- }/ K0 \2 c使用join可能情况会有不同! x, X+ `1 B& J0 u
- l4 R7 p6 m# Y  Q
5,压缩索引(myisam)' G5 }8 n$ z' ~3 I9 m6 z0 W
6,多余和重复索引(应该避免)
7 U5 z) p3 f& J1 E5 g
8 G  W0 [( k2 u! h1 [' g1 k$ C多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
# a2 `! {- Q& g5 H上有索引,那么另外一个列(A)上的4 b7 ?6 Z- ~, j; c2 E
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)
- i* f( J5 U  W& p" f, ?3 |然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
) L4 ]% a: M6 [3 M$ r, B) u( ?! I; F0 B; L0 l6 j* p) v& [
要点:
9 Q; s; r) x+ r- X5 Z% R( z6 L在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
" F  L' i" r( F, D# t) {; N+ A, S: |
8 n, x4 t9 W+ [( N7 H即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行
) j- c9 c# g$ D3 J2 W5 _& p& D; E* c* U
( }# C1 \5 R; A+ a8 x
9 c6 r2 g7 K! H
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,
% s' W# l6 N' O# n, ~: g$ r! p- p
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引1 D0 B' c6 m, H
( j# }1 Y) i' c! o! I
2 I* ^3 \& n% ?/ {$ l0 q$ x

: @; `3 D& h$ @% d+ T5 J! s一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索% D3 j$ R$ a; T

* i4 F. K( j( k: I引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。! W3 N* F3 ]0 o, `# D5 k7 ?

, {- b; K; r5 }% T& U0 A% r; ^7 _. U9 @. O+ `

, T( g: r' H: m: k& @3 h一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。
+ U& L; Y9 s, W. U8 P# A6 C
: P# A7 N1 g  t: {3 `: v% Z例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理
1 N9 v2 F$ h5 L* _+ q. @
5 k0 A  L1 Q% a; `这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式# a+ i7 k5 B/ m  p; }
6 R/ L: k! t. U+ s% F; L! t9 d

" |$ Y8 p/ a2 o" o1 m1 y2 n
$ ]& D5 I1 d$ v0 x避免多个范围条件,只能对其中一个使用索引- v; w9 A% O' \( o
5 t& B6 A# H& ^1 Z2 S) \& }) J1 }, I

, r% o1 l+ a; W2 S: v) a( E! q& W
0 ?* p2 V# F* x3 }" x索引和表维护
& u9 q# q7 f. Z7 A+ s
" v( L/ N* B0 ?1 h表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.+ t4 L; S. {2 u3 n/ X5 v! D& G! c

8 W/ \8 J$ M+ c4 q. _: B  b* Wcheck table table_name;- f/ o; t2 e3 Y% j) h
repair table table_name;
& h4 \; v3 O# l$ Z* hShow index from table_name;检查索引的基数性# D: C% l6 L) L( ^

# @$ o$ j: C) ]* ]& i主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量6 z! j7 U  s$ Y) \4 F  [
- }8 W; o! d: U- d% S

* @1 m" t2 [- n# E9 S$ Q$ |# T
& r) s5 u& ^* x) \! CB-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。
4 B0 y5 L2 b6 B+ g8 e' r, q7 \/ ]0 V6 c0 X- |% f3 }2 o
表数据也能变成碎片化。两种类型:9 P+ n5 P4 g7 S3 x( P; e

4 t4 f% F8 p% x" t" M1,行碎片+ R; z; K& V1 Y3 S  Q% I6 n

( S2 j: j& v% G, f; p当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
) r8 S4 k# {5 B' ?* W4 X- j9 H1 C( U
2 k/ A4 n) l' f" L' W# p
# C0 R  ]7 o7 P3 u! T4 B
2,内部行碎片; M, j% \! d; q5 [* |, W
# @! ~& Y8 Y( ^
当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
, f# B9 |+ ]- z4 s" G- [/ `' i
  k! y' u( o( L聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。6 N( A% B% {" f' W# [
) Y( z  T1 y' L) Q
' o5 z2 `  `& ?0 }
8 T; V9 ^4 f- R, k7 s. c
为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。6 x3 K9 t9 B4 Q$ `
7 w0 e$ \+ O2 D7 |
9 p2 q. S% x9 C, S3 N/ r

7 e$ C/ Z) @2 {% U! j* LALTER TABLE <table> ENGINE=<engine>
& S$ Z- R( ~# D7 q& U, x; u' d6 N1 L4 ~  z

( w; B% b; X; T+ G. ?
3 j" Z: g) x. n加速ALTER TABLE
6 ?5 _* R: q: ]3 \+ N" \5 |* T' u% q1 O$ b3 L5 u' R

0 a2 X4 X* _+ T6 o6 J3 p% ]# }4 ~+ I; n
8 `, b/ Z4 Q! UMySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
8 c) \6 G& `; g: \" M- o: r
! M+ ?& [6 m; ]; H8 r% q要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
# z+ S8 H5 n) i4 T# s( k/ c1 y
5 S3 ^2 I! m$ O  T4 B! S  }8 I而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。
) l% p% D0 K. ]
* s' ~. i% k& v4 C4 m: N+ N/ l传统:
; u9 b4 x2 r$ k5 s: y( e- `
4 j; e; M5 s1 K- |8 jALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;0 {# E4 z$ \' o2 Y
理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更$ j+ {1 Z, Y, k4 ?
改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
- O9 a* ]# K  z5 ~, W
& I' O' P* L9 J6 P变化:
; O* w6 m, u, i& o
; w: l; B7 k2 eALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;' N7 k' B0 G% }4 R
这个命令更改了.frm文件并且没有改动表。它非常快。
1 L1 A" Z" @7 z还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-9-9 23:45 , Processed in 0.035695 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表