正文

常見的分類算法和回歸算法（常見的分類算法和回歸算法的區(qū)別）

發(fā)布時(shí)間：2023-04-13 20:04:56 稿源：創(chuàng)意嶺閱讀： 142

大家好！今天讓創(chuàng)意嶺的小編來(lái)大家介紹下關(guān)于常見的分類算法和回歸算法的問(wèn)題，以下是小編對(duì)此問(wèn)題的歸納整理，讓我們一起來(lái)看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁(yè)版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、人工智能算法簡(jiǎn)介
2、機(jī)器學(xué)習(xí)的方法之回歸算法
3、三種經(jīng)典的數(shù)據(jù)挖掘算法
4、常用的分類和預(yù)測(cè)算法

常見的分類算法和回歸算法（常見的分類算法和回歸算法的區(qū)別）

一、人工智能算法簡(jiǎn)介

人工智能的三大基石—算法、數(shù)據(jù)和計(jì)算能力，算法作為其中之一，是非常重要的，那么人工智能都會(huì)涉及哪些算法呢？不同算法適用于哪些場(chǎng)景呢？

一、按照模型訓(xùn)練方式不同可以分為監(jiān)督學(xué)習(xí)（Supervised Learning），無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）、半監(jiān)督學(xué)習(xí)（Semi-supervised Learning）和強(qiáng)化學(xué)習(xí)（Reinforcement Learning）四大類。

常見的監(jiān)督學(xué)習(xí)算法包含以下幾類：

（1）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機(jī)（Boltzmann Machine）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）、Hopfield網(wǎng)絡(luò)（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數(shù)網(wǎng)絡(luò)（Radial Basis Function Network，RBFN）、受限波爾茲曼機(jī)（Restricted Boltzmann Machine）、回歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network）等。

（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項(xiàng)樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評(píng)估（Averaged One-Dependence Estimators，AODE）

貝葉斯信念網(wǎng)絡(luò)（Bayesian Belief Network，BBN）、貝葉斯網(wǎng)絡(luò)（Bayesian Network，BN）等。

（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5算法（C4.5 Algorithm）、C5.0算法（C5.0 Algorithm）、卡方自動(dòng)交互檢測(cè)（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3算法（ID3 Algorithm）、隨機(jī)森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。

（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher’s Linear Discriminant）

線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項(xiàng)邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機(jī)（Support Vector Machine）等。

常見的無(wú)監(jiān)督學(xué)習(xí)類算法包括：

（1）人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）類：生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN），前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Network）、邏輯學(xué)習(xí)機(jī)（Logic Learning Machine）、自組織映射（Self-organizing Map）等。

（2）關(guān)聯(lián)規(guī)則學(xué)習(xí)（Association Rule Learning）類：先驗(yàn)算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。

（3）分層聚類算法（Hierarchical Clustering）：?jiǎn)芜B鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。

（4）聚類分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移算法（Mean-shift）、OPTICS算法等。

（5）異常檢測(cè)（Anomaly detection）類：K最鄰近（K-nearest Neighbor，KNN）算法，局部異常因子算法（Local Outlier Factor，LOF）等。

常見的半監(jiān)督學(xué)習(xí)類算法包含：生成模型（Generative Models）、低密度分離（Low-density Separation）、基于圖形的方法（Graph-based Methods）、聯(lián)合訓(xùn)練（Co-training）等。

常見的強(qiáng)化學(xué)習(xí)類算法包含：Q學(xué)習(xí)（Q-learning）、狀態(tài)-行動(dòng)-獎(jiǎng)勵(lì)-狀態(tài)-行動(dòng)（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度算法（Policy Gradients）、基于模型強(qiáng)化學(xué)習(xí)（Model Based RL）、時(shí)序差分學(xué)習(xí)（Temporal Different Learning）等。

常見的深度學(xué)習(xí)類算法包含：深度信念網(wǎng)絡(luò)（Deep Belief Machines）、深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolutional Neural Networks）、深度遞歸神經(jīng)網(wǎng)絡(luò)（Deep Recurrent Neural Network）、分層時(shí)間記憶（Hierarchical Temporal Memory，HTM）、深度波爾茲曼機(jī)（Deep Boltzmann Machine，DBM）、棧式自動(dòng)編碼器（Stacked Autoencoder）、生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Networks）等。

二、按照解決任務(wù)的不同來(lái)分類，粗略可以分為二分類算法（Two-class Classification）、多分類算法（Multi-class Classification）、回歸算法（Regression）、聚類算法（Clustering）和異常檢測(cè)（Anomaly Detection）五種。

1.二分類（Two-class Classification）

（1）二分類支持向量機(jī)（Two-class SVM）：適用于數(shù)據(jù)特征較多、線性模型的場(chǎng)景。

（2）二分類平均感知器（Two-class Average Perceptron）：適用于訓(xùn)練時(shí)間短、線性模型的場(chǎng)景。

（3）二分類邏輯回歸（Two-class Logistic Regression）：適用于訓(xùn)練時(shí)間短、線性模型的場(chǎng)景。

（4）二分類貝葉斯點(diǎn)機(jī)（Two-class Bayes Point Machine）：適用于訓(xùn)練時(shí)間短、線性模型的場(chǎng)景。（5）二分類決策森林（Two-class Decision Forest）：適用于訓(xùn)練時(shí)間短、精準(zhǔn)的場(chǎng)景。

（6）二分類提升決策樹（Two-class Boosted Decision Tree）：適用于訓(xùn)練時(shí)間短、精準(zhǔn)度高、內(nèi)存占用量大的場(chǎng)景

（7）二分類決策叢林（Two-class Decision Jungle）：適用于訓(xùn)練時(shí)間短、精確度高、內(nèi)存占用量小的場(chǎng)景。

（8）二分類局部深度支持向量機(jī)（Two-class Locally Deep SVM）：適用于數(shù)據(jù)特征較多的場(chǎng)景。

（9）二分類神經(jīng)網(wǎng)絡(luò)（Two-class Neural Network）：適用于精準(zhǔn)度高、訓(xùn)練時(shí)間較長(zhǎng)的場(chǎng)景。

解決多分類問(wèn)題通常適用三種解決方案：第一種，從數(shù)據(jù)集和適用方法入手，利用二分類器解決多分類問(wèn)題；第二種，直接使用具備多分類能力的多分類器；第三種，將二分類器改進(jìn)成為多分類器今兒解決多分類問(wèn)題。

常用的算法：

（1）多分類邏輯回歸（Multiclass Logistic Regression）：適用訓(xùn)練時(shí)間短、線性模型的場(chǎng)景。

（2）多分類神經(jīng)網(wǎng)絡(luò)（Multiclass Neural Network）：適用于精準(zhǔn)度高、訓(xùn)練時(shí)間較長(zhǎng)的場(chǎng)景。

（3）多分類決策森林（Multiclass Decision Forest）：適用于精準(zhǔn)度高，訓(xùn)練時(shí)間短的場(chǎng)景。

（4）多分類決策叢林（Multiclass Decision Jungle）：適用于精準(zhǔn)度高，內(nèi)存占用較小的場(chǎng)景。

（5）“一對(duì)多”多分類（One-vs-all Multiclass）：取決于二分類器效果。

回歸

回歸問(wèn)題通常被用來(lái)預(yù)測(cè)具體的數(shù)值而非分類。除了返回的結(jié)果不同，其他方法與分類問(wèn)題類似。我們將定量輸出，或者連續(xù)變量預(yù)測(cè)稱為回歸；將定性輸出，或者離散變量預(yù)測(cè)稱為分類。長(zhǎng)巾的算法有：

（1）排序回歸（Ordinal Regression）：適用于對(duì)數(shù)據(jù)進(jìn)行分類排序的場(chǎng)景。

（2）泊松回歸（Poission Regression）：適用于預(yù)測(cè)事件次數(shù)的場(chǎng)景。

（3）快速森林分位數(shù)回歸（Fast Forest Quantile Regression）：適用于預(yù)測(cè)分布的場(chǎng)景。

（4）線性回歸（Linear Regression）：適用于訓(xùn)練時(shí)間短、線性模型的場(chǎng)景。

（5）貝葉斯線性回歸（Bayesian Linear Regression）：適用于線性模型，訓(xùn)練數(shù)據(jù)量較少的場(chǎng)景。

（6）神經(jīng)網(wǎng)絡(luò)回歸（Neural Network Regression）：適用于精準(zhǔn)度高、訓(xùn)練時(shí)間較長(zhǎng)的場(chǎng)景。

（7）決策森林回歸（Decision Forest Regression）：適用于精準(zhǔn)度高、訓(xùn)練時(shí)間短的場(chǎng)景。

（8）提升決策樹回歸（Boosted Decision Tree Regression）：適用于精確度高、訓(xùn)練時(shí)間短、內(nèi)存占用較大的場(chǎng)景。

聚類

聚類的目標(biāo)是發(fā)現(xiàn)數(shù)據(jù)的潛在規(guī)律和結(jié)構(gòu)。聚類通常被用做描述和衡量不同數(shù)據(jù)源間的相似性，并把數(shù)據(jù)源分類到不同的簇中。

（1）層次聚類（Hierarchical Clustering）：適用于訓(xùn)練時(shí)間短、大數(shù)據(jù)量的場(chǎng)景。

（2）K-means算法：適用于精準(zhǔn)度高、訓(xùn)練時(shí)間短的場(chǎng)景。

（3）模糊聚類FCM算法（Fuzzy C-means，F(xiàn)CM）：適用于精確度高、訓(xùn)練時(shí)間短的場(chǎng)景。

（4）SOM神經(jīng)網(wǎng)絡(luò)（Self-organizing Feature Map，SOM）：適用于運(yùn)行時(shí)間較長(zhǎng)的場(chǎng)景。

異常檢測(cè)

異常檢測(cè)是指對(duì)數(shù)據(jù)中存在的不正?；蚍堑湫偷姆煮w進(jìn)行檢測(cè)和標(biāo)志，有時(shí)也稱為偏差檢測(cè)。

異常檢測(cè)看起來(lái)和監(jiān)督學(xué)習(xí)問(wèn)題非常相似，都是分類問(wèn)題。都是對(duì)樣本的標(biāo)簽進(jìn)行預(yù)測(cè)和判斷，但是實(shí)際上兩者的區(qū)別非常大，因?yàn)楫惓z測(cè)中的正樣本（異常點(diǎn)）非常小。常用的算法有：

（1）一分類支持向量機(jī)（One-class SVM）：適用于數(shù)據(jù)特征較多的場(chǎng)景。

（2）基于PCA的異常檢測(cè)（PCA-based Anomaly Detection）：適用于訓(xùn)練時(shí)間短的場(chǎng)景。

常見的遷移學(xué)習(xí)類算法包含：歸納式遷移學(xué)習(xí)（Inductive Transfer Learning）、直推式遷移學(xué)習(xí)（Transductive Transfer Learning）、無(wú)監(jiān)督式遷移學(xué)習(xí)（Unsupervised Transfer Learning）、傳遞式遷移學(xué)習(xí)（Transitive Transfer Learning）等。

算法的適用場(chǎng)景：

需要考慮的因素有：

（1）數(shù)據(jù)量的大小、數(shù)據(jù)質(zhì)量和數(shù)據(jù)本身的特點(diǎn)

（2）機(jī)器學(xué)習(xí)要解決的具體業(yè)務(wù)場(chǎng)景中問(wèn)題的本質(zhì)是什么？

（3）可以接受的計(jì)算時(shí)間是什么？

（4）算法精度要求有多高？

————————————————

原文鏈接： https://blog.csdn.net/nfzhlk/article/details/82725769

二、機(jī)器學(xué)習(xí)的方法之回歸算法

我們都知道，機(jī)器學(xué)習(xí)是一個(gè)十分實(shí)用的技術(shù)，而這一實(shí)用的技術(shù)中涉及到了很多的算法。所以說(shuō)，我們要了解機(jī)器學(xué)習(xí)的話就要對(duì)這些算法掌握通透。在這篇文章中我們就給大家詳細(xì)介紹一下機(jī)器學(xué)習(xí)中的回歸算法，希望這篇文章能夠幫助到大家。

一般來(lái)說(shuō)，回歸算法是機(jī)器學(xué)習(xí)中第一個(gè)要學(xué)習(xí)的算法。具體的原因，第一就是回歸算法比較簡(jiǎn)單，可以讓人直接從統(tǒng)計(jì)學(xué)過(guò)渡到機(jī)器學(xué)習(xí)中。第二就是回歸算法是后面若干強(qiáng)大算法的基石，如果不理解回歸算法，無(wú)法學(xué)習(xí)其他的算法。而回歸算法有兩個(gè)重要的子類：即線性回歸和邏輯回歸。

那么什么是線性回歸呢？其實(shí)線性回歸就是我們常見的直線函數(shù)。如何擬合出一條直線最佳匹配我所有的數(shù)據(jù)？這就需要最小二乘法來(lái)求解。那么最小二乘法的思想是什么呢？假設(shè)我們擬合出的直線代表數(shù)據(jù)的真實(shí)值，而觀測(cè)到的數(shù)據(jù)代表?yè)碛姓`差的值。為了盡可能減小誤差的影響，需要求解一條直線使所有誤差的平方和最小。最小二乘法將最優(yōu)問(wèn)題轉(zhuǎn)化為求函數(shù)極值問(wèn)題。

那么什么是邏輯回歸呢？邏輯回歸是一種與線性回歸非常類似的算法，但是，從本質(zhì)上講，線型回歸處理的問(wèn)題類型與邏輯回歸不一致。線性回歸處理的是數(shù)值問(wèn)題，也就是最后預(yù)測(cè)出的結(jié)果是數(shù)字。而邏輯回歸屬于分類算法，也就是說(shuō)，邏輯回歸預(yù)測(cè)結(jié)果是離散的分類。而邏輯回歸算法劃出的分類線基本都是線性的(也有劃出非線性分類線的邏輯回歸，不過(guò)那樣的模型在處理數(shù)據(jù)量較大的時(shí)候效率會(huì)很低)，這意味著當(dāng)兩類之間的界線不是線性時(shí)，邏輯回歸的表達(dá)能力就不足。下面的兩個(gè)算法是機(jī)器學(xué)習(xí)界最強(qiáng)大且重要的算法，都可以擬合出非線性的分類線。這就是有關(guān)邏輯回歸的相關(guān)事項(xiàng)。

在這篇文章中我們簡(jiǎn)單給大家介紹了機(jī)器學(xué)習(xí)中的回歸算法的相關(guān)知識(shí)，通過(guò)這篇文章我們不難發(fā)現(xiàn)回歸算法是一個(gè)比較簡(jiǎn)答的算法，回歸算法是線性回歸和邏輯回歸組成的算法，而線性回歸和邏輯回歸都有自己實(shí)現(xiàn)功能的用處。這一點(diǎn)是需要大家理解的并掌握的，最后祝愿大家能夠早日學(xué)會(huì)回歸算法。

三、三種經(jīng)典的數(shù)據(jù)挖掘算法

算法，可以說(shuō)是很多技術(shù)的核心，而數(shù)據(jù)挖掘也是這樣的。數(shù)據(jù)挖掘中有很多的算法，正是這些算法的存在，我們的數(shù)據(jù)挖掘才能夠解決更多的問(wèn)題。如果我們掌握了這些算法，我們就能夠順利地進(jìn)行數(shù)據(jù)挖掘工作，在這篇文章我們就給大家簡(jiǎn)單介紹一下數(shù)據(jù)挖掘的經(jīng)典算法，希望能夠給大家?guī)?lái)幫助。

1.KNN算法

KNN算法的全名稱叫做k-nearest neighbor classification，也就是K最近鄰，簡(jiǎn)稱為KNN算法，這種分類算法，是一個(gè)理論上比較成熟的方法，也是最簡(jiǎn)單的機(jī)器學(xué)習(xí)算法之一。該方法的思路是：如果一個(gè)樣本在特征空間中的k個(gè)最相似，即特征空間中最鄰近的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。KNN算法常用于數(shù)據(jù)挖掘中的分類，起到了至關(guān)重要的作用。

2.Naive Bayes算法

在眾多的分類模型中，應(yīng)用最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型（Naive Bayesian Model，NBC）。樸素貝葉斯模型發(fā)源于古典數(shù)學(xué)理論，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，以及穩(wěn)定的分類效率。同時(shí)，NBC模型所需估計(jì)的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感，算法也比較簡(jiǎn)單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實(shí)際上并非總是如此，這是因?yàn)镹BC模型假設(shè)屬性之間相互獨(dú)立，這個(gè)假設(shè)在實(shí)際應(yīng)用中往往是不成立的，這給NBC模型的正確分類帶來(lái)了一定影響。在屬性個(gè)數(shù)比較多或者屬性之間相關(guān)性較大時(shí)，NBC模型的分類效率比不上決策樹模型。而在屬性相關(guān)性較小時(shí)，NBC模型的性能最為良好。這種算法在數(shù)據(jù)挖掘工作使用率還是挺高的，一名優(yōu)秀的數(shù)據(jù)挖掘師一定懂得使用這一種算法。

3.CART算法

CART, 也就是Classification and Regression Trees。就是我們常見的分類與回歸樹，在分類樹下面有兩個(gè)關(guān)鍵的思想。第一個(gè)是關(guān)于遞歸地劃分自變量空間的想法；第二個(gè)想法是用驗(yàn)證數(shù)據(jù)進(jìn)行剪枝。這兩個(gè)思想也就決定了這種算法的地位。

在這篇文章中我們給大家介紹了關(guān)于KNN算法、Naive Bayes算法、CART算法的相關(guān)知識(shí)，其實(shí)這三種算法在數(shù)據(jù)挖掘中占據(jù)著很高的地位，所以說(shuō)如果要從事數(shù)據(jù)挖掘行業(yè)一定不能忽略這些算法的學(xué)習(xí)。

四、常用的分類和預(yù)測(cè)算法

常用的分類方法有貝葉斯，邏輯回歸，隨機(jī)森林，預(yù)測(cè)算法有集成學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)

以上就是關(guān)于常見的分類算法和回歸算法相關(guān)問(wèn)題的回答。希望能幫到你，如有更多相關(guān)問(wèn)題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。