召隆企博汇论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 2810|回复: 1

MySQL索引详解和优化技巧

[复制链接]

24

主题

5

回帖

199

积分

公司现有员工

积分
199
发表于 2019-12-9 11:33:39 | 显示全部楼层 |阅读模式
索引(MySQL中也叫“键(Key)")在数据越大的时候越重要。规模小、负载轻的数据库即使没有索引,也能3 A( e& w4 c2 ^# l! ~; \
有好的性能,但是当数据增加的时候,性能就会很快下降。理解索引如何工作的最简单的方式就是把索引看成
8 `! N6 O8 ]1 b# S' w7 `4 ]! [一本书。为了找到书中一个特定的话题,你须要查看目录,它会告诉你页码。索引会让查询锁定更少的列: }; Y# c0 p& M: [
在InnoDB中,只有事务提交后才会解锁
0 Y; Z; W5 z' ?
4 M' z6 ?- ?; [4 H& Z, L索引包含了来自于表中某一列或多个列的值。如果索引了多列数据,那么列的顺序非常重要,因为MySQL只, ]% S' A! |0 L1 c1 i, u
能高效地搜索索引的最左前缀(Leftmost Prefix)。如你所见,创建一个双列索引和两个单列索引是不一样的。
: ^* L) k1 u3 \/ M
5 V1 Y: s! Z; p% c, n7 U- p4 hB-TREE- u) q7 M8 K9 c. I$ M! y9 N
能使用B-Tree索引的查询类型。B一Tree索引能很好地用于全键值、键值范围或键前缀查找。它们只有在查找
) [$ {  x3 q( b5 a) Q, O+ p% ^使用了素引的最左前缀(Leftmost Prcfix)的时候才有用。上节中的索引对于以下类型的查询有用。+ l3 o% w/ ^+ |4 W
  1. 5 s6 w& ^% i6 \+ R
  2. CREATE TABLE People(
    ! f" s5 N( h& d6 ?/ m. y$ H
  3. last_name varchar(50)   not  null
    # ?1 \5 z! |( h! D9 {: C8 ^% e1 p
  4.           first_name  varchar(50)     not   null1 q/ ?, A! w/ O% f2 e. h$ [
  5.           dob  date      not    null
    . ^' T2 z6 V7 T2 ^1 H% S) e& q. t3 V
  6.       gende       enum('m','f')    not    null- I! s9 Q3 i) y2 U
  7.         key(last_name,first_name,dob)
复制代码
匹配全名
+ }; @/ y( n3 M全键值匹配指和索引中的所有列匹配。例如,索引可以帮你找到一个叫CubaAllen并且出生于1960-01-01。
9 X% A5 S$ H; b! e- B的人。
: [( `- v  r7 p4 g/ r匹配最左前缀
9 n& \3 H7 X, q+ @/ y' N9 z" Z; cB-Tree索引可以帮你找到姓为Allen的所有人。这仅仅适用了索引中的第一列。+ ^) x. {# Q2 U' u( _3 b7 h, w/ y
匹配列前缀
( G, ~/ e- I& x: j* S: y, Y可以匹配某列的值的开头部分。这种索引能帮你找到所有姓氏以J开头的人。这只会使用索引的第1列。8 E$ J2 Z6 t' q4 V* D  Q
匹配范围值
' ^! v1 ]2 x1 q4 O这种索引能帮你找到姓大干Allen并且小干Barrymore的人。这也只会使用索引第一列.
- ~* R6 i( c: }- }- W0 t& y+ b精确匹配一部分并且匹配某个范围中的另一部分
* R$ G: \/ A; c& c5 i# }5 K  d这种索引能帮你找到姓为Allen并且名字以字母K(Kim、Karl等)开头的人。它精确匹配了last
  z2 J# x8 X% M  z列并且对first name列进行了范囤查询。$ l& L1 e% D& |9 \: a
name+ k& L7 }/ _. z5 l
只访问索引的查询. o7 r3 ~- s/ \& r, k
B-Tree索引通常能支持只访问索引的查询,它不会访问数据行。- P, q  j5 Z5 i) J) i9 ~! t

1 _3 P1 u. P% T9 U) ^) g! z3 z1 x由于树的节点是排好序的,它们可以用于查找(查找值)和ORDER BY查询(以排序的方式查找值)。通常来说,' y! I6 `. v5 N
如果B-Tree能以某种特殊的方式找到某行,那么它也能以同样的方式对行进行排序。因此,上面讨论的所有查
9 `" p* t! P1 S4 W9 ~3 y找方式也可以同等地应用于ORDER BY。
8 w. l& [/ W: C% a% y) {: \1 y& J: A+ x4 W& y2 k
下面是B-Tree索引的一些局限:% b3 c( g8 s, h3 X8 v/ I
, R2 A/ |8 W& k( F4 L
1,如果查找没有从索引列的最左边开始,它就没什么用处。例如,这种索引不能帮你找到所有叫Bill的人,
) Y% V4 t- a. t; V& z' B5 _也不能找到所有出生在某天的人,因为这些列不在索引的最左边。同样,你不能使用该索引查找某个姓
; Z* H( K" d. @% j8 ]/ B氏以特定字符结尾的人。
: K! ]3 q4 T- P1 w$ H2 e
% v( _1 @0 i( J) B' ~2,不能跳过索引中的列。也就是说,不能找到所有姓氏为Smith并且出生在某个特定日期的人。如果不定
# Z$ E' Y2 o* }/ P0 R# X, ~义first_name列的值,MySQL就只能使用索引的第一列。6 Q% T- I8 E& O; A/ w+ c- [, J

1 b, V  d, I. A3,存储引擎不能优化访问任何在第一个范围条件右边的列.比如,如果查询是where last_name='Smith' AND first_name LIKE 'J%' and dob ='1967-12-23',访问就只能使用索引的头两列,因为LIKE是
8 O9 F4 ]- o7 w1 c) P3 g范围条件(但是服务器能把其余列用于其他目的)。对于某个只有有限值的列,通常使用等干条件,而
* ~: k4 b, O( S, W' ~, |不是范围条件来绕过这个问题。本章稍后的索引案例中我们会举出详细的例子。
6 [& i3 p9 z  x/ A  m) e& D6 H, i$ c$ I4 b- Z
哈希索引,空间索引和全文索引等,暂时没有设计7 H7 B. c! Z  C8 D4 ?5 I1 Q9 }

( W: }! l0 M7 Q0 P, G# |4 W/ j高性能索引策略
: d0 A- h/ ^4 s4 ~, B8 R4 ^5 m# f0 N: j& y" E# r  f4 q
1,隔离列,意思就是不要对查询条件中列进行计算等操作
5 V  I  D4 U1 _+ w' v( e% Y( m2,前缀索引,针对blob和text,较长的varchar类型,使用前缀索引
/ G+ ]: q$ S6 j/ D3 cSelect count(distinct 列) /count(*) from table;
3 V# P1 k  }1 |: }) x" K看看这个值时多少,如0.03120 i# x( `% O- N, ]
那么就是说,如果前缀的选择率能够接近0.0312,基本就可以了。可以在同一个查询中对不同长长度进行计算. k' s3 I  q8 m. \
,这对于大表很有用。: b8 t+ L5 X0 \4 n4 \
Select  count(distinct left(列,3)) /count(*)  as  sel1,7 q: W4 }1 Z* [. N5 `
count(distinct left(列,4)) /count(*)  as  sel1  ,
1 u  d1 h/ q( Q5 H count(distinct left(列,5)) /count(*)  as  sel1,: H9 b+ a0 h% h6 g( }
count(distinct left(列,6)) /count(*)  as  sel1,
6 [5 B1 r! I% K# ?) ` count(distinct left(列,7)) /count(*)  as  sel1   from table;
' u" n: ~  z/ R* W& C找到接近0.0312即可。
0 d* f! c9 X8 z0 @; h
4 H8 O& v; K0 D+ VAlter table table_name add key (列(7))
/ [2 T' j% J$ ?+ D! ^7 Z9 D& M3,覆盖索引. i% d% V6 F4 l- y: k
包含或者覆盖所有满足查询的数据索引叫做覆盖索引' A) w( X9 `% i* t
explain时,extra中的会显示using index4 }3 \6 _8 d% e
这里一个重要的原则是
! [) Z9 m2 f& _/ `$ [select后面的列不能使用*,要使用单独的需要查找的列,使用带索引的列
: A# U' U# @. v, k0 v2 m+ b# Y- z如select id from table_name;
+ }# J; h- l7 u% o0 c" M* ~# f  ^7 P  H: o& h
很容易把Extra列的“使用索引(Using Index)”和type列的“索引(index)”弄混淆。然而,它们完全不$ G$ n# C! J# l( I1 t
一样。type列和覆盖索引没有任何关系,它显示了查询的访问类型,或者说是查询查找数据行的类型。5 ?7 n" k1 y+ h- o- g
: {# _" C6 S& j0 V# \5 K, O
  1. Explain Select * from table_name where col ='nam' and col1 like '%name%';
    / Q1 [. G7 P2 M- \5 i6 ?
  2. Extra:using where
复制代码
该索引不能覆盖查询的原因:* e# N/ J% K5 N2 w" Z7 Q4 v# {
1,
  u& W, y8 t! P  E没有索引覆盖查询,因为从表中选择了所有的列,并且没有索引覆盖所有列。MySQL理论上有一个捷径可以使用,但是,WHERE子句只提到了索引覆盖的列,因此MysQL可以使用索引找到col并检查col1是否匹配,这只能通过读取整行进行。9 `% _/ ~0 d0 @/ x/ O
2,8 i4 N% k- D4 R  a6 Y/ a: y
MySQL不能在索弓l中执行LIKE操作。这是低层次存储引擎API的限制,它只允许在索引进行简单比较。MysQL能在索引中执行前缀匹配的LIKE模式是因为能把它们转化为简单比较,但是查询中前导的通配符是存储引擎无法转化匹配的。因此,MySQL服务器自己将不得不提取和匹配行的数据,而不是索引值。
, i2 w5 W3 H* \! {9 f有办法可以解决这个问题,那就是合并索引及重写查询。可以把索引进行延伸,让它覆盖(artist,title,prod_id)并且按照下面的方式重写查询:
; J7 M  A' i1 O1 M5 O  S% T2 W, a
; a2 l4 E+ ?" l: G% J% j4,为排序使用索引扫描
/ _8 L( k7 l7 q, f' x" emysql有两种产生排序结果的方式:使用文件排序(fileSort),或者扫描有序索引。
! a/ `) e# f' q$ R2 texplain输出type为index,表示mysql会扫描索引8 R  C: N1 i1 ~$ y) f

" v+ m; u2 Z5 ~( ]: f7 H扫描索引本身是很快的,因为它只需要从一条索引记录移到另外一条记录。然而,如果MySQL没有使用索引覆盖查询,就不得不查找在索引中发现的每一行。这基本是随机I/O的,因此以索引顺序读取数据通常比顺序扫描表慢得多,尤其对于I/O密集的工作负载.
0 }( ~; v% |* e" z- I5 y: R* y: \6 W/ L# Q9 B6 D# S
MySQL能为排序和查找行使用同样的索引。如果可能,按照这样一举两得的方式设计索引是个好主意。: M: K: p% w9 ^+ c- {
; F' p1 f# B4 g# m# U
按照索引对结果进行排序,只有当索引的顺序和ORDER BY子句中的顺序完全一致,并且所有列排序的方向(升序或降序)一样才可以。如果查询联接了多个表,只有在ORDER BY子句的所有列引用的是第一个表才可以。查找查询中的ORDER BY子句也有同样的局限:它要使用索引的最左前级。在其他所有情况下,MySQL使用文件排序。8 H9 ]+ Q/ Z; `  a

: E5 y; r  ~: S: aORDER BY无须定义索引的最左前级的一种情况是前导列为常量(也就是说第一个索引不能是范围查询,如果是组合索引应该以此为常量)。如果WHERE子句和JOIN子句为这些列定义了常量,它们就能弥补索引的缺陷。6 j2 [1 H( h  j7 _0 V* l9 t
. j' k5 z# _) P
使用join可能情况会有不同
4 i6 C, m  q9 f: _' w, A
) o' h/ L% x4 I5,压缩索引(myisam)
5 G8 U3 P/ {5 P0 L6,多余和重复索引(应该避免)
  U. h3 Y2 {' |7 F! s  [+ \) _; v( D; B3 g& q% ?  A+ R- x9 P
多余索引(Redundant Index)和重复索引有一些不同。如果列(A,B)
) Q/ @: w" o$ ^! r上有索引,那么另外一个列(A)上的3 \3 f% h* ^, W7 w
索引就是多余的。这就是说,(A,B)上的索引能被当成(A)上的索引。(这种多余只适合于B一Tree索引。)& h( }% C- c6 J6 y7 g
然而,(B,A)上的索引不会是多余的,(B)上的索引也不是,因为列B不是列(A,B)的最左前缀。还有,不同类型的索引(例如哈希或全文索引)对于B一Tree索引不是多余的,无论它们针对的是哪一列。
* _' w* N& P1 R1 ?$ e; \& ~( x; U5 |& w
7 U5 m' G8 m; f) b7 Z# c0 t. ?要点:- M# u! c; A( p1 F
在任何可能的地方,都要试着扩展索引(之前是一个列A上面有索引,现在两个列A,B上建立索引),而不是新增索引。通常维护一个多列索引要比维护多个单列索引容易。如果不知道查询的分布,就要尽可能地使索引变得更有选择性,因为高选择性的索引通常更有好处.
7 J- M& m6 K8 ?& v
; x8 i: \* D" F3 z5 q即使InnoDB使用了索引,它也能锁定不需要的行,这个问题在它不能使用索引找到并锁定行的时候会更严重:如果没有索引,mysql不管是否需要行,都会进行全表扫描并锁定每一行- v/ H$ C1 m2 X
. ~7 s) S: A4 g( k( E

, r$ j6 ]' h1 `( E5 j; @- C+ g" n2 H0 J/ u' p2 y
回复

使用道具 举报

24

主题

5

回帖

199

积分

公司现有员工

积分
199
 楼主| 发表于 2019-12-9 11:34:27 | 显示全部楼层
创建索引时,- A9 E( M# v0 Z
7 M) u/ [$ D. U1 l% h
拥有唯一值的列选择性最高,那些具有很多相同值的不适合创建索引) v3 f0 `" b2 k2 y1 q

& j2 T) s/ B; q: _, n
% W9 ^# y6 j+ w, V$ C& C) L) d, e9 p/ t7 k- h
一个通用的规则:保持表上的所有选项。当你设计索引的时候,不要只想着已有查询需要的索* b( C9 R7 N/ A
& k. w/ N! T5 j. ~- d8 }/ F
引,也要想着优化查询。如果看到需要某个索引,但是一些查询会因它而受到损害,就要问问自己是否应该改变这些查询。应该一起优化查询和索引,以找到最佳的折中。没有必要闭门造车,以得到最好的索引。) s4 p. x0 g7 ], H
4 b3 z1 @4 u; k
0 d) L: |% b: y. ^, [/ u+ S

$ i. L& J+ h2 N+ F. c- D* W1 B一个在多列上面的索引,为了是这个索引生效,必须满足最左原则。6 F) ^4 r  c6 U7 \* `. ?7 M
5 q* y  G+ |! `* k
例如inex(a,b,c),这个时候如果只是用了a,c。没有使用b这个时候就不会使用索引。怎么处理! ~, R! c7 ]& E; G3 F( r# v1 W6 Q3 H9 ?

0 ?. m% J$ \3 v! C# e) e这里如果b是一个可以枚举的类型那么可以使用in(…),将b全部列出。这样相当于b没有起到筛选的作用,但是却可以是索引发挥作用。这个方法也不能滥用,因为会出现n*n的结果,如果枚举数相乘过大,应该选择其他方式
( U' S$ l& o& ~% j# C/ t
) W4 R0 Y1 i$ s. P1 A
$ L! c: l( u0 Y6 h
5 A+ T: y6 U5 u' h+ ]$ ]避免多个范围条件,只能对其中一个使用索引* _4 U$ L* |" p2 I( {

& p# }2 }- q! `2 S( f6 `' j
1 t4 h/ Y! K$ A9 ~: p$ \* D2 j% r2 ~: G
索引和表维护9 T4 g6 P/ V. @; w2 r' ^- R8 T
2 Z: U' @& ]7 d
表维护的主要目标:查找和修复损坏,维护精确的索引统计,并且减少碎片.
: |3 R1 w6 A) N4 x
9 r9 Q8 f) y3 X7 t" J) [check table table_name;
7 x! F* c1 O6 drepair table table_name;
; H/ ^8 {- |& z. m2 u; _Show index from table_name;检查索引的基数性: O  z. V) e3 \- ?1 l( w  y7 R
8 Y2 I6 Q4 H; a8 s0 u  s. p" _
主要关注cardinality列,显示存储引擎估计的索引中唯一值的数量
! G3 w% \" f, {" T, C5 @* h/ a
$ N7 T: S) Z; ]& j+ D9 q1 U" @; I$ y2 n/ g  r4 f
+ [' U* C% Z) b; n
B-Tree索引能变成碎片,它降低了性能。碎片化的索引可能会以很差或非顺序的方式保存在磁盘上。+ k1 b4 ?" k' S' F" v" x

. a! W2 P+ _9 N( z+ C& `$ z4 o表数据也能变成碎片化。两种类型:
" i% \9 \2 g) ?+ U5 I2 G6 y
+ V6 Y" l8 o# U1,行碎片) o: x' P* C1 _+ c

7 l3 t& u) L  N1 q' j4 o当行披存储在多个地方的多个片段中时,就会是这种碎片。即使查询只从索引中找一行数据,行碎片也会降低性能。
6 Y8 ?2 ~) x; }, A2 z: p7 f( c* Q+ O$ F( |6 J9 @

7 i* ]' H2 {3 x: V. a5 b7 A7 q8 `$ i: v2 D' u" d7 C2 v
2,内部行碎片
/ R8 o* h0 s0 T8 s. J7 _
7 J5 d8 M# j# E6 F4 X; W当逻辑上顺序的页面或行在磁盘上没有被顺序存储的时候,就会产生这种碎片。它影响了诸如全表扫描和
4 Y. p1 W; g7 @. W% D/ c
3 l1 \: n* d. H% O聚集素引范围扫描这样的操作。这些操作通常从磁盘上的顺序数据布局得益。! }  I3 Q6 ^  x
* ?9 R. @6 d( p8 [# l$ h4 Q

# ~- z: o( z. p, g% e0 l* T
8 [4 [. L5 h( X/ s- c' H+ U为了消除碎片,可以允许OPTIMIZE TABLE或转储并重新加载数据。
; }! S* y/ u" b" ^8 A% v  \, A  F7 Q6 v, _# l/ N% N/ U
# ?. h, b, ^7 v) t# L1 c% S
; [, W1 [7 x2 ?2 m# e. R# u6 p
ALTER TABLE <table> ENGINE=<engine>
; _3 p5 X  v  L: `2 W5 ?& |" I. {( p$ e& Z5 e0 v

% n% S! w; f6 [) u: j# S" g2 H. C4 }* ]3 Q) m4 p
加速ALTER TABLE+ U) |& t# A% N4 q1 F' \
* `+ r% n! R$ Q* Z' R
: r: J; D- M; n5 Z
9 }" V" J) c( ^
MySQL的ALTER TABLE的性能在遇到很大的表的时候会出问题。MySQL执行大部分更改操作都是新建一个需
  L6 r5 M! g) F( i7 l$ o6 z, ~. q* Y5 N; u; o9 D1 p! E9 q3 F
要的结构的空表,然后把所有老的数据插入到新表中,最后删除旧表.这会耗费很多时间,尤其是在内存紧张,
8 i4 z1 _% ~) W2 j9 U7 s$ D9 V" V$ O7 l5 m* u" I# a& @9 F
而表很大并含有很多索引的时候.许多人都遇到过ALTER TABLE操作需要几小时或几天才能完成的情况。+ N4 Z7 u: G/ E' v/ D; _

% O6 z& b" q% a传统:
9 X, D; F  T' h
" w0 N' M' U8 O) |ALTER TABLE table_name MODIFY COLUMN col TINYINT(3) NOT NULL DEFAULT 5;
* |! ~9 _  R  b理论上,MySQL能跳过构建一个新表的方式。列的默认值实际保存在表的.frm文件中,因此可以不接触表而更
9 e) M0 p0 x* d* ~2 X改它。MySQL没有使用这种优化,然而,任何MODIFY COLUMN都会导致表重建。
5 n4 o4 F1 z: ?7 d$ Q- ]$ x6 o0 Y! B9 E" w( s" I/ U) r+ ]& H
变化:+ z5 u- W$ D9 q1 U% i/ T# n

4 S; S8 X. m6 M" D9 @4 e. p" f6 [ALTER TABLE table_name ALTER COLUMN col SET DEFAULT 5;4 K( U* B2 k0 ?0 V4 i
这个命令更改了.frm文件并且没有改动表。它非常快。" D$ o' @: l( M6 |
还有一个CHANGE COLUMN
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|召隆企博汇 ( 粤ICP备14061395号 )

GMT+8, 2026-2-6 00:27 , Processed in 0.038586 second(s), 25 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表