-
當(dāng)前位置:首頁 > 創(chuàng)意學(xué)院 > 技術(shù) > 專題列表 > 正文
數(shù)據(jù)量多導(dǎo)致總行數(shù)慢,因為數(shù)據(jù)在不歸檔、遷移、轉(zhuǎn)總賬的情況下會不斷積壓。權(quán)限越高看見的數(shù)據(jù)量就越大,數(shù)據(jù)量越大總行數(shù)就越高。一般框架是以分頁的SQL為基礎(chǔ)計算總行數(shù)的。這樣就會導(dǎo)致掃描行數(shù)高物理讀高查詢速度慢。優(yōu)化方案就是總行數(shù)進(jìn)行狀態(tài)歸檔,以歸檔+實時的方式展現(xiàn)出來
連表超過多,部分?jǐn)?shù)據(jù)表是單獨的,但是不同部門的數(shù)據(jù)又有關(guān)聯(lián)性,領(lǐng)導(dǎo)要看全生命周期或者流程數(shù)據(jù)的情況下必須多表相連。這樣由于N個明細(xì)表導(dǎo)致笛卡兒積先不說,邏輯復(fù)雜連表多會消耗CPU,哪怕你查詢能500毫秒內(nèi)顯示但是如果多人同時查就讓CPU超100%甚至做成鎖等待等堵塞。這個情況就是要用類似“云計算”的分布式計算。通過觸發(fā)器、存儲過程等規(guī)定時間內(nèi)吧業(yè)務(wù)表數(shù)據(jù)計算好并寫到展示表中,直接通過展示表進(jìn)行關(guān)聯(lián),這樣鎖表也于業(yè)務(wù)表無關(guān),關(guān)聯(lián)表也能變少達(dá)到減少CPU消耗的目的。
iops與cpu占比高導(dǎo)致數(shù)據(jù)庫癱瘓。第2點看出如果CPU高數(shù)據(jù)庫全SQL都會慢,IOPS也一樣。SQL慢會導(dǎo)致事務(wù)中的查詢慢,解放事務(wù)變慢了其他查詢就會鎖等待狀態(tài)變成堵塞。所以遇到大規(guī)模的查詢是否先查主鍵然后通過游標(biāo)一個一個計算再進(jìn)臨時表。這個是消耗時間和內(nèi)存換CPU和IOPS的一個例子。反正服務(wù)器資源最高怎樣開發(fā)應(yīng)該是了解的,如何管制資源之間的平衡這個很重要。
sql查詢優(yōu)化方法(sql查詢優(yōu)化方法是什么)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于sql查詢優(yōu)化方法的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準(zhǔn),寫出的就越詳細(xì),有微信小程序端、在線網(wǎng)頁版、PC客戶端
官網(wǎng):https://ai.de1919.com。
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043,或添加微信:1454722008
本文目錄:
一、如何進(jìn)行SQL性能優(yōu)化
SQL Server數(shù)據(jù)庫查詢速度慢的原因有很多,常見的有以下幾種:
1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是數(shù)據(jù)庫設(shè)計的缺陷)
2、I/O吞吐量小,形成了瓶頸效應(yīng)。
3、沒有創(chuàng)建計算列導(dǎo)致查詢不優(yōu)化。
4、內(nèi)存不足
5、網(wǎng)絡(luò)速度慢
6、查詢出的數(shù)據(jù)量過大(可以采用多次查詢,其他的方法降低數(shù)據(jù)量)
7、鎖或者死鎖(這也是查詢慢最常見的問題,是程序設(shè)計的缺陷)
8、sp_lock,sp_who,活動的用戶查看,原因是讀寫競爭資源。
9、返回了不必要的行和列
10、查詢語句不好,沒有優(yōu)化
●可以通過以下方法來優(yōu)化查詢 :
1、把數(shù)據(jù)、日志、索引放到不同的I/O設(shè)備上,增加讀取速度,以前可以將Tempdb應(yīng)放在RAID0上,SQL2000不在支持。數(shù)據(jù)量(尺寸)越大,提高I/O越重要。
2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)
3、升級硬件
4、根據(jù)查詢條件,建立索引,優(yōu)化索引、優(yōu)化訪問方式,限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(dāng)(最好是使用默認(rèn)值0)。索引應(yīng)該盡量小,使用字節(jié)數(shù)小的列建索引好(參照索引的創(chuàng)建),不要對有限的幾個值的字段建單一索引如性別字段。
5、提高網(wǎng)速。
6、擴(kuò)大服務(wù)器的內(nèi)存,Windows 2000和SQL server 2000能支持4-8G的內(nèi)存。
配置虛擬內(nèi)存:虛擬內(nèi)存大小應(yīng)基于計算機(jī)上并發(fā)運行的服務(wù)進(jìn)行配置。運行 Microsoft SQL Server? 2000時,可考慮將虛擬內(nèi)存大小設(shè)置為計算機(jī)中安裝的物理內(nèi)存的1.5倍。如果另外安裝了全文檢索功能,并打算運行Microsoft搜索服務(wù)以便執(zhí)行全文索引和查詢,可考慮:將虛擬內(nèi)存大小配置為至少是計算機(jī)中安裝的物理內(nèi)存的3倍。將SQL Server max server memory服務(wù)器配置選項配置為物理內(nèi)存的1.5倍(虛擬內(nèi)存大小設(shè)置的一半)。
7、增加服務(wù)器CPU個數(shù);但是必須 明白并行處理串行處理更需要資源例如內(nèi)存。使用并行還是串行程是MSSQL自動評估選擇的。單個任務(wù)分解成多個任務(wù),就可以在處理器上運行。例如耽擱查詢 的排序、連接、掃描和GROUP BY字句同時執(zhí)行,SQL SERVER根據(jù)系統(tǒng)的負(fù)載情況決定最優(yōu)的并行等級,復(fù)雜的需要消耗大量的CPU的查詢最適合并行處理。但是更新操作UPDATE,INSERT, DELETE還不能并行處理。
8、如果是使用like進(jìn)行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like ''a%'' 使用索引 like ''%a'' 不使用索引用 like ''%a%'' 查詢時,查詢耗時和字段值總長度成正比,所以不能用CHAR類型,而是VARCHAR。對于字段的值很長的建全文索引。
9、DB Server 和APPLication Server 分離;OLTP和OLAP分離
10、分布式分區(qū)視圖可用于實現(xiàn)數(shù)據(jù)庫服務(wù)器聯(lián)合體。
聯(lián)合體是一組分開管理的服務(wù)器,但它們相互協(xié)作分擔(dān)系統(tǒng)的處理負(fù)荷。這種通過分區(qū)數(shù)據(jù)形成數(shù)據(jù)庫服務(wù)器聯(lián)合體的機(jī)制能夠擴(kuò)大一組服務(wù)器,以支持大型的多層 Web 站點的處理需要。有關(guān)更多信息,參見設(shè)計聯(lián)合數(shù)據(jù)庫服務(wù)器。(參照SQL幫助文件''分區(qū)視圖'')
a、在實現(xiàn)分區(qū)視圖之前,必須先水平分區(qū)表
b、 在創(chuàng)建成員表后,在每個成員服務(wù)器上定義一個分布式分區(qū)視圖,并且每個視圖具有相同的名稱。這樣,引用分布式分區(qū)視圖名的查詢可以在任何一個成員服務(wù)器上 運行。系統(tǒng)操作如同每個成員服務(wù)器上都有一個原始表的復(fù)本一樣,但其實每個服務(wù)器上只有一個成員表和一個分布式分區(qū)視圖。數(shù)據(jù)的位置對應(yīng)用程序是透明的。
11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數(shù)據(jù)和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 設(shè)置自動收縮日志.對于大的數(shù)據(jù)庫不要設(shè)置數(shù)據(jù)庫自動增長,它會降低服務(wù)器的性能。
在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的:
1、 查詢語句的詞法、語法檢查
2、 將語句提交給DBMS的查詢優(yōu)化器
3、 優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化
4、 由預(yù)編譯模塊生成查詢規(guī)劃
5、 然后在合適的時間提交給系統(tǒng)處理執(zhí)行
6、 最后將執(zhí)行結(jié)果返回給用戶。
其次,看一下SQL SERVER的數(shù)據(jù)存放的結(jié)構(gòu):一個頁面的大小為8K(8060)字節(jié),8個頁面為一個盤區(qū),按照B樹存放。
二、sql優(yōu)化及原理詳解,五分鐘讀懂sql優(yōu)化
在我而言這算是一個復(fù)習(xí),然后總結(jié)出來給大家當(dāng)個教材吧。
我也是看視頻總結(jié)出來的筆記,所以說的都很簡單和淺薄。有不全面或者偏頗的地方歡迎指出,共同交流進(jìn)步哈。(因為我當(dāng)時是看視頻總結(jié)的筆記,所以可能說的比較雜亂,我盡量寫的分明一點,在最后會附上筆記,忽略我字丑)
索引是什么呢?它相當(dāng)于字典的目錄。
索引:index是幫助mysql高效獲取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu),索引是數(shù)據(jù)結(jié)構(gòu)(樹,默認(rèn)是B樹),hash等。
索引的弊端: 事物都是兩面的,有利必然有弊。
索引的優(yōu)勢: 索引有這么多弊端我們還使用的原因是因為優(yōu)大于劣。
索引的分類:
舉個小例子讓大家更理解復(fù)合索引:如果我把一個表中name,age這兩個列做成復(fù)合索引(注意順序很重要)。那么我們形成的目錄一級目錄是name,二級目錄是age。在name相同時才會age再形成目錄。因為它本身的排序不是像目錄一樣一行一行列出來的,所以我們盡量用目錄來想像它比較好理解。下面是圖解:
有幾點注意的事項:
這里說一下,上面說的方法都是原生的sql,比如我現(xiàn)在習(xí)慣使用navicat,所以可以直接操作。。爽的不行。
然后刪除查詢也都是直接可視的,方便的不得了。就不多說了。
mysql做例子,還有個引擎是可以優(yōu)化的。mysql中引擎分兩種:
sql優(yōu)化等級:
上面說的這些等級在explain中可以看到。
單表優(yōu)化常用方法:
多表優(yōu)化常用方法:
因為上面也提到了b樹,所以還是單獨聊聊吧。其實我也不是很理解。只能說一個淺顯的認(rèn)識而已。這里也就是簡單的說一下。
首先,B樹不僅可以二叉,還可以三叉,多叉。而只要大于二叉的都叫做BTree。
據(jù)說三層BTree可以存放上百萬數(shù)據(jù)。
BTree一般都指B+樹,數(shù)據(jù)全部存放在葉節(jié)點中。(這里簡單的一個三叉樹圖)
好了,就寫到這里吧,希望日后算法的知識會的更多以后能把B樹這個坑填完~~~然后有不同意見或者自己理解的可以留言或者私聊。
全文手打,如果你覺得對你有幫助麻煩點個贊點個關(guān)注啥的~~
三、開發(fā)中,SQL語句優(yōu)化有哪些方法?
看你數(shù)據(jù)庫類型和框架是否支持。
一般開發(fā)中遇到慢SQL存在3個問題(索引健全的情況下)。
舉個例子,部分MYSQL框架喜歡一次性把數(shù)據(jù)庫都導(dǎo)出來,然后減少子查詢,這個算法針對有效的基礎(chǔ)數(shù)據(jù)這樣是可行的。針對業(yè)務(wù)數(shù)據(jù)應(yīng)該沒人會用,但是基礎(chǔ)數(shù)據(jù)中也可能會存在海量的情況,比如坐標(biāo)軌跡、省市區(qū)、電話號碼歸屬等。如果無腦應(yīng)用這個框架會導(dǎo)致查詢起來很慢。
四、如何提高SQL語句的查詢效率
1.對查詢進(jìn)行優(yōu)化,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。
2.應(yīng)盡量避免在 where 子句中對字段進(jìn)行 null 值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
select id from t where num is null
可以在num上設(shè)置默認(rèn)值0,確保表中num列沒有null值,然后這樣查詢:
select id from t where num=0
3.應(yīng)盡量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進(jìn)行全表掃描。
4.應(yīng)盡量避免在 where 子句中使用 or 來連接條件,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
select id from t where num=10 or num=20
可以這樣查詢:
select id from t where num=10
union all
select id from t where num=20
5.in 和 not in 也要慎用,否則會導(dǎo)致全表掃描,如:
select id from t where num in(1,2,3)
對于連續(xù)的數(shù)值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3
6.下面的查詢也將導(dǎo)致全表掃描:
select id from t where name like '%abc%'
若要提高效率,可以考慮全文檢索。
7.如果在 where 子句中使用參數(shù),也會導(dǎo)致全表掃描。因為SQL只有在運行時才會解析局部變量,但優(yōu)化程序不能將訪問計劃的選擇推遲到運行時;它必須在編譯時進(jìn)行選擇。然而,如果在編譯時建立訪問計劃,變量的值還是未知的,因而無法作為索引選擇的輸入項。如下面語句將進(jìn)行全表掃描:
select id from t where num=@num
可以改為強(qiáng)制查詢使用索引:
select id from t with(index(索引名)) where num=@num
8.應(yīng)盡量避免在 where 子句中對字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
select id from t where num/2=100
應(yīng)改為:
select id from t where num=100*2
9.應(yīng)盡量避免在where子句中對字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
select id from t where substring(name,1,3)='abc' // oracle總有的是substr函數(shù)。
select id from t where datediff(day,createdate,'2005-11-30')=0 //查過了確實沒有datediff函數(shù)。
應(yīng)改為:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1' //
oracle 中時間應(yīng)該把char 轉(zhuǎn)換成 date 如: createdate >= to_date('2005-11-30','yyyy-mm-dd')
10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運算或其他表達(dá)式運算,否則系統(tǒng)將可能無法正確使用索引。
11.在使用索引字段作為條件時,如果該索引是復(fù)合索引,那么必須使用到該索引中的第一個字段作為條件時才能保證系統(tǒng)使用該索引,否則該索引將不會被使用,并且應(yīng)盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢,如需要生成一個空表結(jié)構(gòu):
select col1,col2 into #t from t where 1=0
這類代碼不會返回任何結(jié)果集,但是會消耗系統(tǒng)資源的,應(yīng)改成這樣:
create table #t(...)
13.很多時候用 exists 代替 in 是一個好的選擇:
select num from a where num in(select num from b)
用下面的語句替換:
select num from a where exists(select 1 from b where num=a.num)
14.并不是所有索引對查詢都有效,SQL是根據(jù)表中數(shù)據(jù)來進(jìn)行查詢優(yōu)化的,當(dāng)索引列有大量數(shù)據(jù)重復(fù)時,SQL查詢可能不會去利用索引,如一表中有字段sex,male、female幾乎各一半,那么即使在sex上建了索引也對查詢效率起不了作用。
15.索引并不是越多越好,索引固然可以提高相應(yīng)的 select 的效率,但同時也降低了 insert 及 update 的效率,因為 insert 或 update 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個表的索引數(shù)最好不要超過6個,若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有必要。
16.應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列,因為 clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲順序,一旦該列值改變將導(dǎo)致整個表記錄的順序的調(diào)整,會耗費相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列,那么需要考慮是否應(yīng)將該索引建為 clustered 索引。
17.盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計為字符型,這會降低查詢和連接的性能,并會增加存儲開銷。這是因為引擎在處理查詢和連接時會逐個比較字符串中每一個字符,而對于數(shù)字型而言只需要比較一次就夠了。
18.盡可能的使用 varchar/nvarchar 代替 char/nchar ,因為首先變長字段存儲空間小,可以節(jié)省存儲空間,其次對于查詢來說,在一個相對較小的字段內(nèi)搜索效率顯然要高些。
19.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。
20.盡量使用表變量來代替臨時表。如果表變量包含大量數(shù)據(jù),請注意索引非常有限(只有主鍵索引)。
21.避免頻繁創(chuàng)建和刪除臨時表,以減少系統(tǒng)表資源的消耗。
22.臨時表并不是不可使用,適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行В?,?dāng)需要重復(fù)引用大型表或常用表中的某個數(shù)據(jù)集時。但是,對于一次性事件,最好使用導(dǎo)出表。
23.在新建臨時表時,如果一次性插入數(shù)據(jù)量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數(shù)據(jù)量不大,為了緩和系統(tǒng)表的資源,應(yīng)先create table,然后insert。
24.如果使用到了臨時表,在存儲過程的最后務(wù)必將所有的臨時表顯式刪除,先 truncate table ,然后 drop table ,這樣可以避免系統(tǒng)表的較長時間鎖定。
25.盡量避免使用游標(biāo),因為游標(biāo)的效率較差,如果游標(biāo)操作的數(shù)據(jù)超過1萬行,那么就應(yīng)該考慮改寫。
26.使用基于游標(biāo)的方法或臨時表方法之前,應(yīng)先尋找基于集的解決方案來解決問題,基于集的方法通常更有效。
27.與臨時表一樣,游標(biāo)并不是不可使用。對小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法,尤其是在必須引用幾個表才能獲得所需的數(shù)據(jù)時。在結(jié)果集中包括“合計”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時間允許,基于游標(biāo)的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。
28.在所有的存儲過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ,在結(jié)束時設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲過程和觸發(fā)器的每個語句后向客戶端發(fā)送 DONE_IN_PROC 消息。
29.盡量避免大事務(wù)操作,提高系統(tǒng)并發(fā)能力。
30.盡量避免向客戶端返回大數(shù)據(jù)量,若數(shù)據(jù)量過大,應(yīng)該考慮相應(yīng)需求是否合理。
以上就是關(guān)于sql查詢優(yōu)化方法相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀:
MySQL數(shù)據(jù)庫恢復(fù)(mysql數(shù)據(jù)庫恢復(fù)到某個時間)
mysql可重復(fù)讀如何解決幻讀(mysql 可重復(fù)讀怎么出現(xiàn)幻讀)
mysql存儲圖片路徑還是數(shù)據(jù)(mysql 儲存圖片 還是地址)