-
當前位置:首頁 > 創(chuàng)意學院 > 技術(shù) > 專題列表 > 正文
數(shù)據(jù)分析常用的方法(數(shù)據(jù)分析常用的方法有)
大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于數(shù)據(jù)分析常用的方法的問題,以下是小編對此問題的歸納整理,讓我們一起來看看吧。
開始之前先推薦一個非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計劃、工作報告、論文、代碼、作文、做題和對話答疑等等
只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準,寫出的就越詳細,有微信小程序端、在線網(wǎng)頁版、PC客戶端
官網(wǎng):https://ai.de1919.com
創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀企業(yè),服務(wù)客戶遍布全國,網(wǎng)絡(luò)營銷相關(guān)業(yè)務(wù)請撥打175-8598-2043,或微信:1454722008
本文目錄:
一、16種常用的數(shù)據(jù)分析方法匯總
一、描述統(tǒng)計
描述性統(tǒng)計是指運用制表和分類,圖形以及計筠概括性數(shù)據(jù)來描述數(shù)據(jù)的集中趨勢、離散趨勢、偏度、峰度。
1、缺失值填充:常用方法:剔除法、均值法、最小鄰居法、比率回歸法、決策樹法。
2、正態(tài)性檢驗:很多統(tǒng)計方法都要求數(shù)值服從或近似服從正態(tài)分布,所以之前需要進行正態(tài)性檢驗。常用方法:非參數(shù)檢驗的K-量檢驗、P-P圖、Q-Q圖、W檢驗、動差法。
二、假設(shè)檢驗
1、參數(shù)檢驗
參數(shù)檢驗是在已知總體分布的條件下(一股要求總體服從正態(tài)分布)對一些主要的參數(shù)(如均值、百分數(shù)、方差、相關(guān)系數(shù)等)進行的檢驗 。
1)U驗 使用條件:當樣本含量n較大時,樣本值符合正態(tài)分布
2)T檢驗 使用條件:當樣本含量n較小時,樣本值符合正態(tài)分布
A 單樣本t檢驗:推斷該樣本來自的總體均數(shù)μ與已知的某一總體均數(shù)μ0 (常為理論值或標準值)有無差別;
B 配對樣本t檢驗:當總體均數(shù)未知時,且兩個樣本可以配對,同對中的兩者在可能會影響處理效果的各種條件方面扱為相似;
C 兩獨立樣本t檢驗:無法找到在各方面極為相似的兩樣本作配對比較時使用。
2、非參數(shù)檢驗
非參數(shù)檢驗則不考慮總體分布是否已知,常常也不是針對總體參數(shù),而是針對總體的某些一股性假設(shè)(如總體分布的位罝是否相同,總體分布是否正態(tài))進行檢驗。
適用情況:順序類型的數(shù)據(jù)資料,這類數(shù)據(jù)的分布形態(tài)一般是未知的。
A 雖然是連續(xù)數(shù)據(jù),但總體分布形態(tài)未知或者非正態(tài);
B 體分布雖然正態(tài),數(shù)據(jù)也是連續(xù)類型,但樣本容量極小,如10以下;
主要方法包括:卡方檢驗、秩和檢驗、二項檢驗、游程檢驗、K-量檢驗等。
三、信度分析
檢査測量的可信度,例如調(diào)查問卷的真實性。
分類:
1、外在信度:不同時間測量時量表的一致性程度,常用方法重測信度
2、內(nèi)在信度;每個量表是否測量到單一的概念,同時組成兩表的內(nèi)在體項一致性如何,常用方法分半信度。
四、列聯(lián)表分析
用于分析離散變量或定型變量之間是否存在相關(guān)。
對于二維表,可進行卡方檢驗,對于三維表,可作Mentel-Hanszel分層分析。
列聯(lián)表分析還包括配對計數(shù)資料的卡方檢驗、行列均為順序變量的相關(guān)檢驗。
五、相關(guān)分析
研究現(xiàn)象之間是否存在某種依存關(guān)系,對具體有依存關(guān)系的現(xiàn)象探討相關(guān)方向及相關(guān)程度。
1、單相關(guān): 兩個因素之間的相關(guān)關(guān)系叫單相關(guān),即研究時只涉及一個自變量和一個因變量;
2、復(fù)相關(guān) :三個或三個以上因素的相關(guān)關(guān)系叫復(fù)相關(guān),即研究時涉及兩個或兩個以上的自變量和因變量相關(guān);
3、偏相關(guān):在某一現(xiàn)象與多種現(xiàn)象相關(guān)的場合,當假定其他變量不變時,其中兩個變量之間的相關(guān)關(guān)系稱為偏相關(guān)。
六、方差分析
使用條件:各樣本須是相互獨立的隨機樣本;各樣本來自正態(tài)分布總體;各總體方差相等。
分類
1、單因素方差分析:一項試驗只有一個影響因素,或者存在多個影響因素時,只分析一個因素與響應(yīng)變量的關(guān)系
2、多因素有交互方差分析:一頊實驗有多個影響因素,分析多個影響因素與響應(yīng)變量的關(guān)系,同時考慮多個影響因素之間的關(guān)系
3、多因素無交互方差分析:分析多個影響因素與響應(yīng)變量的關(guān)系,但是影響因素之間沒有影響關(guān)系或忽略影響關(guān)系
4、協(xié)方差分祈:傳統(tǒng)的方差分析存在明顯的弊端,無法控制分析中存在的某些隨機因素,使之影響了分祈結(jié)果的準確度。協(xié)方差分析主要是在排除了協(xié)變量的影響后再對修正后的主效應(yīng)進行方差分析,是將線性回歸與方差分析結(jié)合起來的一種分析方法,
七、回歸分析
分類:
1、一元線性回歸分析:只有一個自變量X與因變量Y有關(guān),X與Y都必須是連續(xù)型變量,因變量y或其殘差必須服從正態(tài)分布。
2、多元線性回歸分析
使用條件:分析多個自變量與因變量Y的關(guān)系,X與Y都必須是連續(xù)型變量,因變量y或其殘差必須服從正態(tài)分布 。
1)變呈篩選方式:選擇最優(yōu)回歸方程的變里篩選法包括全橫型法(CP法)、逐步回歸法,向前引入法和向后剔除法
2)橫型診斷方法:
A 殘差檢驗: 觀測值與估計值的差值要艱從正態(tài)分布
B 強影響點判斷:尋找方式一般分為標準誤差法、Mahalanobis距離法
C 共線性診斷:
診斷方式:容忍度、方差擴大因子法(又稱膨脹系數(shù)VIF)、特征根判定法、條件指針CI、方差比例
處理方法:增加樣本容量或選取另外的回歸如主成分回歸、嶺回歸等
3、Logistic回歸分析
線性回歸模型要求因變量是連續(xù)的正態(tài)分布變里,且自變量和因變量呈線性關(guān)系,而Logistic回歸模型對因變量的分布沒有要求,一般用于因變量是離散時的情況
分類:
Logistic回歸模型有條件與非條件之分,條件Logistic回歸模型和非條件Logistic回歸模型的區(qū)別在于參數(shù)的估計是否用到了條件概率。
4、其他回歸方法 非線性回歸、有序回歸、Probit回歸、加權(quán)回歸等
八、聚類分析
樣本個體或指標變量按其具有的特性進行分類,尋找合理的度量事物相似性的統(tǒng)計量。
1、性質(zhì)分類:
Q型聚類分析:對樣本進行分類處理,又稱樣本聚類分祈 使用距離系數(shù)作為統(tǒng)計量衡量相似度,如歐式距離、極端距離、絕對距離等
R型聚類分析:對指標進行分類處理,又稱指標聚類分析 使用相似系數(shù)作為統(tǒng)計量衡量相似度,相關(guān)系數(shù)、列聯(lián)系數(shù)等
2、方法分類:
1)系統(tǒng)聚類法: 適用于小樣本的樣本聚類或指標聚類,一般用系統(tǒng)聚類法來聚類指標,又稱分層聚類
2)逐步聚類法 :適用于大樣本的樣本聚類
3)其他聚類法 :兩步聚類、K均值聚類等
九、判別分析
1、判別分析:根據(jù)已掌握的一批分類明確的樣品建立判別函數(shù),使產(chǎn)生錯判的事例最少,進而對給定的一個新樣品,判斷它來自哪個總體
2、與聚類分析區(qū)別
1)聚類分析可以對樣本逬行分類,也可以對指標進行分類;而判別分析只能對樣本
2)聚類分析事先不知道事物的類別,也不知道分幾類;而判別分析必須事先知道事物的類別,也知道分幾類
3)聚類分析不需要分類的歷史資料,而直接對樣本進行分類;而判別分析需要分類歷史資料去建立判別函數(shù),然后才能對樣本進行分類
3、進行分類 :
1)Fisher判別分析法 :
以距離為判別準則來分類,即樣本與哪個類的距離最短就分到哪一類, 適用于兩類判別;
以概率為判別準則來分類,即樣本屬于哪一類的概率最大就分到哪一類,適用于
適用于多類判別。
2)BAYES判別分析法 :
BAYES判別分析法比FISHER判別分析法更加完善和先進,它不僅能解決多類判別分析,而且分析時考慮了數(shù)據(jù)的分布狀態(tài),所以一般較多使用;
十、主成分分析
將彼此梠關(guān)的一組指標變適轉(zhuǎn)化為彼此獨立的一組新的指標變量,并用其中較少的幾個新指標變量就能綜合反應(yīng)原多個指標變量中所包含的主要信息 。
十一、因子分析
一種旨在尋找隱藏在多變量數(shù)據(jù)中、無法直接觀察到卻影響或支配可測變量的潛在因子、并估計潛在因子對可測變量的影響程度以及潛在因子之間的相關(guān)性的一種多元統(tǒng)計分析方法
與主成分分析比較:
相同:都能夠起到済理多個原始變量內(nèi)在結(jié)構(gòu)關(guān)系的作用
不同:主成分分析重在綜合原始變適的信息.而因子分析重在解釋原始變量間的關(guān)系,是比主成分分析更深入的一種多元統(tǒng)計方法
用途:
1)減少分析變量個數(shù)
2)通過對變量間相關(guān)關(guān)系探測,將原始變量進行分類
十二、時間序列分析
動態(tài)數(shù)據(jù)處理的統(tǒng)計方法,研究隨機數(shù)據(jù)序列所遵從的統(tǒng)計規(guī)律,以用于解決實際問題;時間序列通常由4種要素組成:趨勢、季節(jié)變動、循環(huán)波動和不規(guī)則波動。
主要方法:移動平均濾波與指數(shù)平滑法、ARIMA橫型、量ARIMA橫型、ARIMAX模型、向呈自回歸橫型、ARCH族模型
十三、生存分析
用來研究生存時間的分布規(guī)律以及生存時間和相關(guān)因索之間關(guān)系的一種統(tǒng)計分析方法
1、包含內(nèi)容:
1)描述生存過程,即研究生存時間的分布規(guī)律
2)比較生存過程,即研究兩組或多組生存時間的分布規(guī)律,并進行比較
3)分析危險因素,即研究危險因素對生存過程的影響
4)建立數(shù)學模型,即將生存時間與相關(guān)危險因素的依存關(guān)系用一個數(shù)學式子表示出來。
2、方法:
1)統(tǒng)計描述:包括求生存時間的分位數(shù)、中數(shù)生存期、平均數(shù)、生存函數(shù)的估計、判斷生存時間的圖示法,不對所分析的數(shù)據(jù)作出任何統(tǒng)計推斷結(jié)論
2)非參數(shù)檢驗:檢驗分組變量各水平所對應(yīng)的生存曲線是否一致,對生存時間的分布沒有要求,并且檢驗危險因素對生存時間的影響。
A 乘積極限法(PL法)
B 壽命表法(LT法)
3)半?yún)?shù)橫型回歸分析:在特定的假設(shè)之下,建立生存時間隨多個危險因素變化的回歸方程,這種方法的代表是Cox比例風險回歸分析法
4)參數(shù)模型回歸分析:已知生存時間服從特定的參數(shù)橫型時,擬合相應(yīng)的參數(shù)模型,更準確地分析確定變量之間的變化規(guī)律
十四、典型相關(guān)分析
相關(guān)分析一般分析兩個變里之間的關(guān)系,而典型相關(guān)分析是分析兩組變里(如3個學術(shù)能力指標與5個在校成績表現(xiàn)指標)之間相關(guān)性的一種統(tǒng)計分析方法。
典型相關(guān)分析的基本思想和主成分分析的基本思想相似,它將一組變量與另一組變量之間單變量的多重線性相關(guān)性研究轉(zhuǎn)化為對少數(shù)幾對綜合變量之間的簡單線性相關(guān)性的研究,并且這少數(shù)幾對變量所包含的線性相關(guān)性的信息幾乎覆蓋了原變量組所包含的全部相應(yīng)信息。
十五、R0C分析
R0C曲線是根據(jù)一系列不同的二分類方式(分界值或決定閾).以真陽性率(靈敏度)為縱坐標,假陽性率(1-特異度)為橫坐標繪制的曲線
用途:
1、R0C曲線能很容易地査出任意界限值時的對疾病的識別能力
用途
2、選擇最佳的診斷界限值。R0C曲線越靠近左上角,試驗的準確性就越高;
3、兩種或兩種以上不同診斷試驗對疾病識別能力的比較,一股用R0C曲線下面積反映診斷系統(tǒng)的準確性。
十六、其他分析方法
多重響應(yīng)分析、距離分祈、項目分祈、對應(yīng)分祈、決策樹分析、神經(jīng)網(wǎng)絡(luò)、系統(tǒng)方程、蒙特卡洛模擬等。
二、數(shù)據(jù)分析的三大方法
數(shù)據(jù)分析的三大方法:分析搜索數(shù)據(jù)、分析統(tǒng)計數(shù)據(jù)、分析行為數(shù)據(jù)。
數(shù)據(jù)分析,是對用戶行為的量化分析,它能夠從痕跡倒推出行為,然后把一切用戶的秘密都告訴你。數(shù)據(jù)分析的能力是當代互聯(lián)網(wǎng)時代,每一個人都必須具備的能力。
第一個方法是分析搜索數(shù)據(jù)。用戶有需求,他們第一時間,會上哪找答案呢?他們會上搜索引擎。用戶的需求,會通過“搜索關(guān)鍵字”,清晰無比地攤在你面前。
第二個方法是分析統(tǒng)計數(shù)據(jù)。用戶確實有需求,但到底多少用戶有這個需求呢?這時,你就要分析統(tǒng)計數(shù)據(jù)了。比如,幾乎每個人對買房都有需求。但房地產(chǎn)商,該在哪些城市重金拿地,哪些城市逐漸退出呢?
很多房地產(chǎn)商會看一個數(shù)據(jù):城市的人口流入流出比。人口流入持續(xù)大于流出的,這個城市的購房需求在累積,應(yīng)該投資;反之則在減少,應(yīng)該謹慎。
第三個方法是分析行為數(shù)據(jù)。有限的研發(fā)經(jīng)費,是投資買域名,開發(fā)PC網(wǎng)站,還是做基于H5頁面的手機應(yīng)用呢?這時,你就要分析用戶的行為數(shù)據(jù)了。很多人都知道,2017年天貓雙11的交易額達到了1682億,但是很多人沒有注意在屏幕上這個驚人的數(shù)字右下角。
有個小小的,同樣驚人的數(shù)字,叫無線成交占比。這個數(shù)字在2014是45%,2015年68%,2016年82%,2017年達到了90%。也就是說,90%用戶的行為,已經(jīng)移到了手機上。根據(jù)對這個行為數(shù)據(jù)的分析,你的決定應(yīng)該很明顯了吧。
三、常用數(shù)據(jù)分析處理方法有哪些?
1、漏斗分析法
漏斗分析法能夠科學反映用戶行為狀態(tài),以及從起點到終點各階段用戶轉(zhuǎn)化率情況,是一種重要的分析模型。漏斗分析模型已經(jīng)廣泛應(yīng)用于網(wǎng)站和APP的用戶行為分析中,例如流量監(jiān)控、CRM系統(tǒng)、SEO優(yōu)化、產(chǎn)品營銷和銷售等日常數(shù)據(jù)運營與數(shù)據(jù)分析工作中。
2、留存分析法
留存分析法是一種用來分析用戶參與情況和活躍程度的分析模型,考察進行初始行為的用戶中,有多少人會進行后續(xù)行為。從用戶的角度來說,留存率越高就說明這個產(chǎn)品對用戶的核心需求也把握的越好,轉(zhuǎn)化成產(chǎn)品的活躍用戶也會更多,最終能幫助公司更好的盈利。
3、分組分析法
分組分析法是根據(jù)數(shù)據(jù)分析對象的特征,按照一定的標志(指標),把數(shù)據(jù)分析對象劃分為不同的部分和類型來進行研究,以揭示其內(nèi)在的聯(lián)系和規(guī)律性。
4、矩陣分析法
矩陣分析法是指根據(jù)事物(如產(chǎn)品、服務(wù)等)的兩個重要屬性(指標)作為分析的依據(jù),進行分類關(guān)聯(lián)分析,找出解決問題的一種分析方法,也稱為矩陣關(guān)聯(lián)分析法,簡稱矩陣分析法。
四、數(shù)據(jù)分析的三個常用方法是什么?
一個產(chǎn)品,如果你不能衡量它,你就不能了解它,自然而然,你就無法改進它。數(shù)據(jù)說到底,就是這樣一個工具——通過數(shù)據(jù),我們可以衡量產(chǎn)品,可以了解產(chǎn)品,可以在數(shù)據(jù)驅(qū)動下改進產(chǎn)品。數(shù)據(jù)分析和數(shù)據(jù)處理本身是一個非常大的領(lǐng)域,這里主要總結(jié)一些我個人覺得比較基礎(chǔ)且實用的部分,在日常產(chǎn)品工作中可以發(fā)揮比較大作用。
本文主要討論一些數(shù)據(jù)分析的三個常用方法:
1. 數(shù)據(jù)趨勢分析
趨勢分析一般而言,適用于產(chǎn)品核心指標的長期跟蹤,比如,點擊率,GMV,活躍用戶數(shù)等。做出簡單的數(shù)據(jù)趨勢圖,并不算是趨勢分析,趨勢分析更多的是需要明確數(shù)據(jù)的變化,以及對變化原因進行分析。
趨勢分析,最好的產(chǎn)出是比值。在趨勢分析的時候需要明確幾個概念:環(huán)比,同比,定基比。環(huán)比是指,是本期統(tǒng)計數(shù)據(jù)與上期比較,例如2019年2月份與2019年1月份相比較,環(huán)比可以知道最近的變化趨勢,但是會有些季節(jié)性差異。為了消除季節(jié)差異,于是有了同比的概念,例如2019年2月份和2018年2月份進行比較。定基比更好理解,就是和某個基點進行比較,比如2018年1月作為基點,定基比則為2019年2月和2018年1月進行比較。
比如:2019年2月份某APP月活躍用戶數(shù)我2000萬,相比1月份,環(huán)比增加2%,相比去年2月份,同比增長20%。趨勢分析另一個核心目的則是對趨勢做出解釋,對于趨勢線中明顯的拐點,發(fā)生了什么事情要給出合理的解釋,無論是外部原因還是內(nèi)部原因。
2. 數(shù)據(jù)對比分析
數(shù)據(jù)的趨勢變化獨立的看,其實很多情況下并不能說明問題,比如如果一個企業(yè)盈利增長10%,我們并無法判斷這個企業(yè)的好壞,如果這個企業(yè)所處行業(yè)的其他企業(yè)普遍為負增長,則5%很多,如果行業(yè)其他企業(yè)增長平均為50%,則這是一個很差的數(shù)據(jù)。
對比分析,就是給孤立的數(shù)據(jù)一個合理的參考系,否則孤立的數(shù)據(jù)毫無意義。在此我向大家推薦一個大數(shù)據(jù)技術(shù)交流圈: 658558542 突破技術(shù)瓶頸,提升思維能力 。
一般而言,對比的數(shù)據(jù)是數(shù)據(jù)的基本面,比如行業(yè)的情況,全站的情況等。有的時候,在產(chǎn)品迭代測試的時候,為了增加說服力,會人為的設(shè)置對比的基準。也就是A/B test。
比較試驗最關(guān)鍵的是A/B兩組只保持單一變量,其他條件保持一致。比如測試首頁改版的效果,就需要保持A/B兩組用戶質(zhì)量保持相同,上線時間保持相同,來源渠道相同等。只有這樣才能得到比較有說服力的數(shù)據(jù)。
3. 數(shù)據(jù)細分分析
在得到一些初步結(jié)論的時候,需要進一步地細拆,因為在一些綜合指標的使用過程中,會抹殺一些關(guān)鍵的數(shù)據(jù)細節(jié),而指標本身的變化,也需要分析變化產(chǎn)生的原因。這里的細分一定要進行多維度的細拆。常見的拆分方法包括:
分時 :不同時間短數(shù)據(jù)是否有變化。
分渠道 :不同來源的流量或者產(chǎn)品是否有變化。
分用戶 :新注冊用戶和老用戶相比是否有差異,高等級用戶和低等級用戶相比是否有差異。
分地區(qū) :不同地區(qū)的數(shù)據(jù)是否有變化。
組成拆分 :比如搜索由搜索詞組成,可以拆分不同搜索詞;店鋪流量由不用店鋪產(chǎn)生,可以分拆不同的店鋪。
細分分析是一個非常重要的手段,多問一些為什么,才是得到結(jié)論的關(guān)鍵,而一步一步拆分,就是在不斷問為什么的過程。
4. 小結(jié)
趨勢,對比,細分,基本包含了數(shù)據(jù)分析最基礎(chǔ)的部分。無論是數(shù)據(jù)核實,還是數(shù)據(jù)分析,都需要不斷地找趨勢,做對比,做細分,才能得到最終有效的結(jié)論。
在此我向大家推薦一個大數(shù)據(jù)開發(fā)交流圈:
658558542 ( ☛點擊即可加入群聊 )
里面整理了一大份學習資料,全都是些干貨,包括大數(shù)據(jù)技術(shù)入門,大數(shù)據(jù)離線處理、數(shù)據(jù)實時處理、Hadoop 、Spark、Flink、推薦系統(tǒng)算法以及源碼解析等,送給每一位大數(shù)據(jù)小伙伴,讓自學更輕松。這里不止是小白聚集地,還有大牛在線解答!歡迎初學和進階中的小伙伴一起進群學習交流,共同進步!
最后祝福所有遇到瓶頸的大數(shù)據(jù)程序員們突破自己,祝福大家在往后的工作與面試中一切順利
以上就是關(guān)于數(shù)據(jù)分析常用的方法相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進行咨詢,客服也會為您講解更多精彩的知識和內(nèi)容。
推薦閱讀:
各大直播平臺數(shù)據(jù)(各大直播平臺數(shù)據(jù)大哥)
哪里查大數(shù)據(jù)不花錢(免費正規(guī)大數(shù)據(jù)查詢平臺)
數(shù)據(jù)分析報告怎么做(數(shù)據(jù)報告分析怎么寫)
杭州跟西安哪里好經(jīng)濟(杭州跟西安哪里好經(jīng)濟一點)