HOME 首頁
SERVICE 服務(wù)產(chǎn)品
XINMEITI 新媒體代運營
CASE 服務(wù)案例
NEWS 熱點資訊
ABOUT 關(guān)于我們
CONTACT 聯(lián)系我們
創(chuàng)意嶺
讓品牌有溫度、有情感
專注品牌策劃15年

    sql查詢優(yōu)化方法(sql查詢優(yōu)化方法是什么)

    發(fā)布時間:2023-04-18 18:24:32     稿源: 創(chuàng)意嶺    閱讀: 123        

    大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于sql查詢優(yōu)化方法的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。

    開始之前先推薦一個非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等

    只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準(zhǔn),寫出的就越詳細(xì),有微信小程序端、在線網(wǎng)頁版、PC客戶端

    官網(wǎng):https://ai.de1919.com

    創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,如需了解SEO相關(guān)業(yè)務(wù)請撥打電話175-8598-2043,或添加微信:1454722008

    本文目錄:

    sql查詢優(yōu)化方法(sql查詢優(yōu)化方法是什么)

    一、如何進(jìn)行SQL性能優(yōu)化

    SQL Server數(shù)據(jù)庫查詢速度慢的原因有很多,常見的有以下幾種:

    1、沒有索引或者沒有用到索引(這是查詢慢最常見的問題,是數(shù)據(jù)庫設(shè)計的缺陷)

    2、I/O吞吐量小,形成了瓶頸效應(yīng)。

    3、沒有創(chuàng)建計算列導(dǎo)致查詢不優(yōu)化。

    4、內(nèi)存不足

    5、網(wǎng)絡(luò)速度慢

    6、查詢出的數(shù)據(jù)量過大(可以采用多次查詢,其他的方法降低數(shù)據(jù)量)

    7、鎖或者死鎖(這也是查詢慢最常見的問題,是程序設(shè)計的缺陷)

    8、sp_lock,sp_who,活動的用戶查看,原因是讀寫競爭資源。

    9、返回了不必要的行和列

    10、查詢語句不好,沒有優(yōu)化

    ●可以通過以下方法來優(yōu)化查詢 :

    1、把數(shù)據(jù)、日志、索引放到不同的I/O設(shè)備上,增加讀取速度,以前可以將Tempdb應(yīng)放在RAID0上,SQL2000不在支持。數(shù)據(jù)量(尺寸)越大,提高I/O越重要。

    2、縱向、橫向分割表,減少表的尺寸(sp_spaceuse)

    3、升級硬件

    4、根據(jù)查詢條件,建立索引,優(yōu)化索引、優(yōu)化訪問方式,限制結(jié)果集的數(shù)據(jù)量。注意填充因子要適當(dāng)(最好是使用默認(rèn)值0)。索引應(yīng)該盡量小,使用字節(jié)數(shù)小的列建索引好(參照索引的創(chuàng)建),不要對有限的幾個值的字段建單一索引如性別字段。

    5、提高網(wǎng)速。

    6、擴(kuò)大服務(wù)器的內(nèi)存,Windows 2000和SQL server 2000能支持4-8G的內(nèi)存。

    配置虛擬內(nèi)存:虛擬內(nèi)存大小應(yīng)基于計算機(jī)上并發(fā)運行的服務(wù)進(jìn)行配置。運行 Microsoft SQL Server? 2000時,可考慮將虛擬內(nèi)存大小設(shè)置為計算機(jī)中安裝的物理內(nèi)存的1.5倍。如果另外安裝了全文檢索功能,并打算運行Microsoft搜索服務(wù)以便執(zhí)行全文索引和查詢,可考慮:將虛擬內(nèi)存大小配置為至少是計算機(jī)中安裝的物理內(nèi)存的3倍。將SQL Server max server memory服務(wù)器配置選項配置為物理內(nèi)存的1.5倍(虛擬內(nèi)存大小設(shè)置的一半)。

    7、增加服務(wù)器CPU個數(shù);但是必須 明白并行處理串行處理更需要資源例如內(nèi)存。使用并行還是串行程是MSSQL自動評估選擇的。單個任務(wù)分解成多個任務(wù),就可以在處理器上運行。例如耽擱查詢 的排序、連接、掃描和GROUP BY字句同時執(zhí)行,SQL SERVER根據(jù)系統(tǒng)的負(fù)載情況決定最優(yōu)的并行等級,復(fù)雜的需要消耗大量的CPU的查詢最適合并行處理。但是更新操作UPDATE,INSERT, DELETE還不能并行處理。

    8、如果是使用like進(jìn)行查詢的話,簡單的使用index是不行的,但是全文索引,耗空間。 like ''a%'' 使用索引 like ''%a'' 不使用索引用 like ''%a%'' 查詢時,查詢耗時和字段值總長度成正比,所以不能用CHAR類型,而是VARCHAR。對于字段的值很長的建全文索引。

    9、DB Server 和APPLication Server 分離;OLTP和OLAP分離

    10、分布式分區(qū)視圖可用于實現(xiàn)數(shù)據(jù)庫服務(wù)器聯(lián)合體。

    聯(lián)合體是一組分開管理的服務(wù)器,但它們相互協(xié)作分擔(dān)系統(tǒng)的處理負(fù)荷。這種通過分區(qū)數(shù)據(jù)形成數(shù)據(jù)庫服務(wù)器聯(lián)合體的機(jī)制能夠擴(kuò)大一組服務(wù)器,以支持大型的多層 Web 站點的處理需要。有關(guān)更多信息,參見設(shè)計聯(lián)合數(shù)據(jù)庫服務(wù)器。(參照SQL幫助文件''分區(qū)視圖'')

    a、在實現(xiàn)分區(qū)視圖之前,必須先水平分區(qū)表

    b、 在創(chuàng)建成員表后,在每個成員服務(wù)器上定義一個分布式分區(qū)視圖,并且每個視圖具有相同的名稱。這樣,引用分布式分區(qū)視圖名的查詢可以在任何一個成員服務(wù)器上 運行。系統(tǒng)操作如同每個成員服務(wù)器上都有一個原始表的復(fù)本一樣,但其實每個服務(wù)器上只有一個成員表和一個分布式分區(qū)視圖。數(shù)據(jù)的位置對應(yīng)用程序是透明的。

    11、重建索引 DBCC REINDEX ,DBCC INDEXDEFRAG,收縮數(shù)據(jù)和日志 DBCC SHRINKDB,DBCC SHRINKFILE. 設(shè)置自動收縮日志.對于大的數(shù)據(jù)庫不要設(shè)置數(shù)據(jù)庫自動增長,它會降低服務(wù)器的性能。

    在T-sql的寫法上有很大的講究,下面列出常見的要點:首先,DBMS處理查詢計劃的過程是這樣的:

    1、 查詢語句的詞法、語法檢查

    2、 將語句提交給DBMS的查詢優(yōu)化器

    3、 優(yōu)化器做代數(shù)優(yōu)化和存取路徑的優(yōu)化

    4、 由預(yù)編譯模塊生成查詢規(guī)劃

    5、 然后在合適的時間提交給系統(tǒng)處理執(zhí)行

    6、 最后將執(zhí)行結(jié)果返回給用戶。

    其次,看一下SQL SERVER的數(shù)據(jù)存放的結(jié)構(gòu):一個頁面的大小為8K(8060)字節(jié),8個頁面為一個盤區(qū),按照B樹存放。

    二、sql優(yōu)化及原理詳解,五分鐘讀懂sql優(yōu)化

    在我而言這算是一個復(fù)習(xí),然后總結(jié)出來給大家當(dāng)個教材吧。

    我也是看視頻總結(jié)出來的筆記,所以說的都很簡單和淺薄。有不全面或者偏頗的地方歡迎指出,共同交流進(jìn)步哈。(因為我當(dāng)時是看視頻總結(jié)的筆記,所以可能說的比較雜亂,我盡量寫的分明一點,在最后會附上筆記,忽略我字丑)

    索引是什么呢?它相當(dāng)于字典的目錄。

    索引:index是幫助mysql高效獲取數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu),索引是數(shù)據(jù)結(jié)構(gòu)(樹,默認(rèn)是B樹),hash等。

    索引的弊端: 事物都是兩面的,有利必然有弊。

    索引的優(yōu)勢: 索引有這么多弊端我們還使用的原因是因為優(yōu)大于劣。

    索引的分類:

    舉個小例子讓大家更理解復(fù)合索引:如果我把一個表中name,age這兩個列做成復(fù)合索引(注意順序很重要)。那么我們形成的目錄一級目錄是name,二級目錄是age。在name相同時才會age再形成目錄。因為它本身的排序不是像目錄一樣一行一行列出來的,所以我們盡量用目錄來想像它比較好理解。下面是圖解:

    有幾點注意的事項:

    這里說一下,上面說的方法都是原生的sql,比如我現(xiàn)在習(xí)慣使用navicat,所以可以直接操作。。爽的不行。

    然后刪除查詢也都是直接可視的,方便的不得了。就不多說了。

    mysql做例子,還有個引擎是可以優(yōu)化的。mysql中引擎分兩種:

    sql優(yōu)化等級:

    上面說的這些等級在explain中可以看到。

    單表優(yōu)化常用方法:

    多表優(yōu)化常用方法:

    因為上面也提到了b樹,所以還是單獨聊聊吧。其實我也不是很理解。只能說一個淺顯的認(rèn)識而已。這里也就是簡單的說一下。

    首先,B樹不僅可以二叉,還可以三叉,多叉。而只要大于二叉的都叫做BTree。

    據(jù)說三層BTree可以存放上百萬數(shù)據(jù)。

    BTree一般都指B+樹,數(shù)據(jù)全部存放在葉節(jié)點中。(這里簡單的一個三叉樹圖)

    好了,就寫到這里吧,希望日后算法的知識會的更多以后能把B樹這個坑填完~~~然后有不同意見或者自己理解的可以留言或者私聊。

    全文手打,如果你覺得對你有幫助麻煩點個贊點個關(guān)注啥的~~

    三、開發(fā)中,SQL語句優(yōu)化有哪些方法?

    看你數(shù)據(jù)庫類型和框架是否支持。

    一般開發(fā)中遇到慢SQL存在3個問題(索引健全的情況下)。

    1. 數(shù)據(jù)量多導(dǎo)致總行數(shù)慢,因為數(shù)據(jù)在不歸檔、遷移、轉(zhuǎn)總賬的情況下會不斷積壓。權(quán)限越高看見的數(shù)據(jù)量就越大,數(shù)據(jù)量越大總行數(shù)就越高。一般框架是以分頁的SQL為基礎(chǔ)計算總行數(shù)的。這樣就會導(dǎo)致掃描行數(shù)高物理讀高查詢速度慢。優(yōu)化方案就是總行數(shù)進(jìn)行狀態(tài)歸檔,以歸檔+實時的方式展現(xiàn)出來

    2. 連表超過多,部分?jǐn)?shù)據(jù)表是單獨的,但是不同部門的數(shù)據(jù)又有關(guān)聯(lián)性,領(lǐng)導(dǎo)要看全生命周期或者流程數(shù)據(jù)的情況下必須多表相連。這樣由于N個明細(xì)表導(dǎo)致笛卡兒積先不說,邏輯復(fù)雜連表多會消耗CPU,哪怕你查詢能500毫秒內(nèi)顯示但是如果多人同時查就讓CPU超100%甚至做成鎖等待等堵塞。這個情況就是要用類似“云計算”的分布式計算。通過觸發(fā)器、存儲過程等規(guī)定時間內(nèi)吧業(yè)務(wù)表數(shù)據(jù)計算好并寫到展示表中,直接通過展示表進(jìn)行關(guān)聯(lián),這樣鎖表也于業(yè)務(wù)表無關(guān),關(guān)聯(lián)表也能變少達(dá)到減少CPU消耗的目的。

    3. iops與cpu占比高導(dǎo)致數(shù)據(jù)庫癱瘓。第2點看出如果CPU高數(shù)據(jù)庫全SQL都會慢,IOPS也一樣。SQL慢會導(dǎo)致事務(wù)中的查詢慢,解放事務(wù)變慢了其他查詢就會鎖等待狀態(tài)變成堵塞。所以遇到大規(guī)模的查詢是否先查主鍵然后通過游標(biāo)一個一個計算再進(jìn)臨時表。這個是消耗時間和內(nèi)存換CPU和IOPS的一個例子。反正服務(wù)器資源最高怎樣開發(fā)應(yīng)該是了解的,如何管制資源之間的平衡這個很重要。

    舉個例子,部分MYSQL框架喜歡一次性把數(shù)據(jù)庫都導(dǎo)出來,然后減少子查詢,這個算法針對有效的基礎(chǔ)數(shù)據(jù)這樣是可行的。針對業(yè)務(wù)數(shù)據(jù)應(yīng)該沒人會用,但是基礎(chǔ)數(shù)據(jù)中也可能會存在海量的情況,比如坐標(biāo)軌跡、省市區(qū)、電話號碼歸屬等。如果無腦應(yīng)用這個框架會導(dǎo)致查詢起來很慢。

    四、如何提高SQL語句的查詢效率

    1.對查詢進(jìn)行優(yōu)化,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。

    2.應(yīng)盡量避免在 where 子句中對字段進(jìn)行 null 值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:

    select id from t where num is null

    可以在num上設(shè)置默認(rèn)值0,確保表中num列沒有null值,然后這樣查詢:

    select id from t where num=0

    3.應(yīng)盡量避免在 where 子句中使用!=或<>操作符,否則將引擎放棄使用索引而進(jìn)行全表掃描。

    4.應(yīng)盡量避免在 where 子句中使用 or 來連接條件,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:

    select id from t where num=10 or num=20

    可以這樣查詢:

    select id from t where num=10

    union all

    select id from t where num=20

    5.in 和 not in 也要慎用,否則會導(dǎo)致全表掃描,如:

    select id from t where num in(1,2,3)

    對于連續(xù)的數(shù)值,能用 between 就不要用 in 了:

    select id from t where num between 1 and 3

    6.下面的查詢也將導(dǎo)致全表掃描:

    select id from t where name like '%abc%'

    若要提高效率,可以考慮全文檢索。

    7.如果在 where 子句中使用參數(shù),也會導(dǎo)致全表掃描。因為SQL只有在運行時才會解析局部變量,但優(yōu)化程序不能將訪問計劃的選擇推遲到運行時;它必須在編譯時進(jìn)行選擇。然而,如果在編譯時建立訪問計劃,變量的值還是未知的,因而無法作為索引選擇的輸入項。如下面語句將進(jìn)行全表掃描:

    select id from t where num=@num

    可以改為強(qiáng)制查詢使用索引:

    select id from t with(index(索引名)) where num=@num

    8.應(yīng)盡量避免在 where 子句中對字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:

    select id from t where num/2=100

    應(yīng)改為:

    select id from t where num=100*2

    9.應(yīng)盡量避免在where子句中對字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:

    select id from t where substring(name,1,3)='abc' // oracle總有的是substr函數(shù)。

    select id from t where datediff(day,createdate,'2005-11-30')=0 //查過了確實沒有datediff函數(shù)。

    應(yīng)改為:

    select id from t where name like 'abc%'

    select id from t where createdate>='2005-11-30' and createdate<'2005-12-1' //

    oracle 中時間應(yīng)該把char 轉(zhuǎn)換成 date 如: createdate >= to_date('2005-11-30','yyyy-mm-dd')

    10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運算或其他表達(dá)式運算,否則系統(tǒng)將可能無法正確使用索引。

    11.在使用索引字段作為條件時,如果該索引是復(fù)合索引,那么必須使用到該索引中的第一個字段作為條件時才能保證系統(tǒng)使用該索引,否則該索引將不會被使用,并且應(yīng)盡可能的讓字段順序與索引順序相一致。

    12.不要寫一些沒有意義的查詢,如需要生成一個空表結(jié)構(gòu):

    select col1,col2 into #t from t where 1=0

    這類代碼不會返回任何結(jié)果集,但是會消耗系統(tǒng)資源的,應(yīng)改成這樣:

    create table #t(...)

    13.很多時候用 exists 代替 in 是一個好的選擇:

    select num from a where num in(select num from b)

    用下面的語句替換:

    select num from a where exists(select 1 from b where num=a.num)

    14.并不是所有索引對查詢都有效,SQL是根據(jù)表中數(shù)據(jù)來進(jìn)行查詢優(yōu)化的,當(dāng)索引列有大量數(shù)據(jù)重復(fù)時,SQL查詢可能不會去利用索引,如一表中有字段sex,male、female幾乎各一半,那么即使在sex上建了索引也對查詢效率起不了作用。

    15.索引并不是越多越好,索引固然可以提高相應(yīng)的 select 的效率,但同時也降低了 insert 及 update 的效率,因為 insert 或 update 時有可能會重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個表的索引數(shù)最好不要超過6個,若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有必要。

    16.應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列,因為 clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲順序,一旦該列值改變將導(dǎo)致整個表記錄的順序的調(diào)整,會耗費相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列,那么需要考慮是否應(yīng)將該索引建為 clustered 索引。

    17.盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計為字符型,這會降低查詢和連接的性能,并會增加存儲開銷。這是因為引擎在處理查詢和連接時會逐個比較字符串中每一個字符,而對于數(shù)字型而言只需要比較一次就夠了。

    18.盡可能的使用 varchar/nvarchar 代替 char/nchar ,因為首先變長字段存儲空間小,可以節(jié)省存儲空間,其次對于查詢來說,在一個相對較小的字段內(nèi)搜索效率顯然要高些。

    19.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。

    20.盡量使用表變量來代替臨時表。如果表變量包含大量數(shù)據(jù),請注意索引非常有限(只有主鍵索引)。

    21.避免頻繁創(chuàng)建和刪除臨時表,以減少系統(tǒng)表資源的消耗。

    22.臨時表并不是不可使用,適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行В?,?dāng)需要重復(fù)引用大型表或常用表中的某個數(shù)據(jù)集時。但是,對于一次性事件,最好使用導(dǎo)出表。

    23.在新建臨時表時,如果一次性插入數(shù)據(jù)量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數(shù)據(jù)量不大,為了緩和系統(tǒng)表的資源,應(yīng)先create table,然后insert。

    24.如果使用到了臨時表,在存儲過程的最后務(wù)必將所有的臨時表顯式刪除,先 truncate table ,然后 drop table ,這樣可以避免系統(tǒng)表的較長時間鎖定。

    25.盡量避免使用游標(biāo),因為游標(biāo)的效率較差,如果游標(biāo)操作的數(shù)據(jù)超過1萬行,那么就應(yīng)該考慮改寫。

    26.使用基于游標(biāo)的方法或臨時表方法之前,應(yīng)先尋找基于集的解決方案來解決問題,基于集的方法通常更有效。

    27.與臨時表一樣,游標(biāo)并不是不可使用。對小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法,尤其是在必須引用幾個表才能獲得所需的數(shù)據(jù)時。在結(jié)果集中包括“合計”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時間允許,基于游標(biāo)的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。

    28.在所有的存儲過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ,在結(jié)束時設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲過程和觸發(fā)器的每個語句后向客戶端發(fā)送 DONE_IN_PROC 消息。

    29.盡量避免大事務(wù)操作,提高系統(tǒng)并發(fā)能力。

    30.盡量避免向客戶端返回大數(shù)據(jù)量,若數(shù)據(jù)量過大,應(yīng)該考慮相應(yīng)需求是否合理。

    以上就是關(guān)于sql查詢優(yōu)化方法相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會為您講解更多精彩的知識和內(nèi)容。


    推薦閱讀:

    MySQL數(shù)據(jù)庫恢復(fù)(mysql數(shù)據(jù)庫恢復(fù)到某個時間)

    mysql可重復(fù)讀如何解決幻讀(mysql 可重復(fù)讀怎么出現(xiàn)幻讀)

    mysql存儲圖片路徑還是數(shù)據(jù)(mysql 儲存圖片 還是地址)

    罕見的二字ID生僻字(非常罕見二字網(wǎng)名生僻字)

    小型suv銷量排行榜