正文

下面哪種方法不能進(jìn)行多目標(biāo)優(yōu)化（以下哪種方式不能實(shí)現(xiàn)提高任務(wù)并行度的目標(biāo)）

發(fā)布時(shí)間：2023-04-14 11:12:53 稿源：創(chuàng)意嶺閱讀： 65

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于下面哪種方法不能進(jìn)行多目標(biāo)優(yōu)化的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com。

創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè)，服務(wù)客戶遍布全球各地，如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043，或添加微信：1454722008

本文目錄:

1、多目標(biāo)優(yōu)化和多約束優(yōu)化有區(qū)別嗎
2、學(xué)習(xí)多目標(biāo)優(yōu)化需要掌握哪些python知識(shí)
3、多目標(biāo)優(yōu)化在推薦中的應(yīng)用
4、多目標(biāo)優(yōu)化到底有哪些方法？

下面哪種方法不能進(jìn)行多目標(biāo)優(yōu)化（以下哪種方式不能實(shí)現(xiàn)提高任務(wù)并行度的目標(biāo)）

一、多目標(biāo)優(yōu)化和多約束優(yōu)化有區(qū)別嗎

約束多目標(biāo)優(yōu)化和區(qū)間多目標(biāo)優(yōu)化都屬于多目標(biāo)優(yōu)化，但側(cè)重于研究?jī)蓚€(gè)不同的方面。

約束多目標(biāo)優(yōu)化是指，含約束條件的多目標(biāo)優(yōu)化。約束條件是指，該優(yōu)化問題的解的目標(biāo)函數(shù)值必須滿足的前提條件，比如，第2個(gè)目標(biāo)函數(shù)值f_2(x)必須在區(qū)間(0,1)內(nèi)，即約束條件為0<f_2(x)<1。當(dāng)然，除了區(qū)間，約束條件也可以是其它形式表示，且可以存在多個(gè)。

處理約束多目標(biāo)優(yōu)化問題的方法通常是利用罰函數(shù)的方法將約束條件加入目標(biāo)函數(shù)中。實(shí)際上，還可以將約束條件轉(zhuǎn)化為目標(biāo)函數(shù)，但這會(huì)導(dǎo)致目標(biāo)函數(shù)增多，使得優(yōu)化問題成為一個(gè)高維多目標(biāo)優(yōu)化問題，可能會(huì)增加求解難度。

區(qū)間多目標(biāo)優(yōu)化是指，目標(biāo)函數(shù)含有不確定性，且不確定性為區(qū)間表示的多目標(biāo)優(yōu)化。實(shí)際工程中目標(biāo)函數(shù)往往含有不確定性，其表達(dá)形式可以是隨機(jī)、模糊、區(qū)間等。應(yīng)用區(qū)間表示方法更加容易一些，只需要獲得該目標(biāo)函數(shù)（的參數(shù)）的上下界、或中點(diǎn)和范圍。比如，f_2(x)=x+e，其中，e=[0,1]，那么，f_2(x)是一個(gè)區(qū)間表示的不確定目標(biāo)函數(shù)。

處理區(qū)間多目標(biāo)優(yōu)化問題的方法分兩類，第一類是先將其轉(zhuǎn)化為確定型的優(yōu)化問題（如目標(biāo)函數(shù)的期望值），再采用常規(guī)的多目標(biāo)優(yōu)化方法求解，那么，所得優(yōu)化解的性能與轉(zhuǎn)化方法有著很大的關(guān)系；第二類是通過區(qū)間分析方法，直接對(duì)不同解的目標(biāo)函數(shù)進(jìn)行比較，比如，針對(duì)區(qū)間優(yōu)化問題定義的占優(yōu)概率、占優(yōu)可信度、超體積貢獻(xiàn)度等，此外，由于不確定多目標(biāo)優(yōu)化還需要同時(shí)考慮優(yōu)化解的分布性能與不確定度，所以求解難度還是很大的。

二、學(xué)習(xí)多目標(biāo)優(yōu)化需要掌握哪些python知識(shí)

多目標(biāo)優(yōu)化

目標(biāo)優(yōu)化問題一般地就是指通過一定的優(yōu)化算法獲得目標(biāo)函數(shù)的最優(yōu)化解。當(dāng)優(yōu)化的目標(biāo)函數(shù)為一個(gè)時(shí)稱之為單目標(biāo)優(yōu)化(Single-

objective Optimization Problem,

SOP)。當(dāng)優(yōu)化的目標(biāo)函數(shù)有兩個(gè)或兩個(gè)以上時(shí)稱為多目標(biāo)優(yōu)化(Multi-objective Optimization Problem,

MOP)。不同于單目標(biāo)優(yōu)化的解為有限解，多目標(biāo)優(yōu)化的解通常是一組均衡解。

多目標(biāo)優(yōu)化算法歸結(jié)起來有傳統(tǒng)優(yōu)化算法和智能優(yōu)化算法兩大類。

1. 傳統(tǒng)優(yōu)化算法包括加權(quán)法、約束法和線性規(guī)劃法等，實(shí)質(zhì)上就是將多目標(biāo)函數(shù)轉(zhuǎn)化為單目標(biāo)函數(shù)，通過采用單目標(biāo)優(yōu)化的方法達(dá)到對(duì)多目標(biāo)函數(shù)的求解。

2. 智能優(yōu)化算法包括進(jìn)化算法（Evolutionary Algorithm, 簡(jiǎn)稱EA）、粒子群算法（Particle Swarm Optimization, PSO）等。

Pareto最優(yōu)解：

若x*∈C*,且在C中不存在比x更優(yōu)越的解x，則稱x*是多目標(biāo)最優(yōu)化模型式的Pareto最優(yōu)解，又稱為有效解。

一般來說，多目標(biāo)優(yōu)化問題并不存在一個(gè)最優(yōu)解，所有可能的解都稱為非劣解，也稱為Pareto解。傳統(tǒng)優(yōu)化技術(shù)一般每次能得到Pareo解集中的一個(gè)，而

用智能算法來求解，可以得到更多的Pareto解，這些解構(gòu)成了一個(gè)最優(yōu)解集，稱為Pareto最優(yōu)解。它是由那些任一個(gè)目標(biāo)函數(shù)值的提高都必須以犧牲其

他目標(biāo)函數(shù)值為代價(jià)的解組成的集合,稱為Pareto最優(yōu)域，簡(jiǎn)稱Pareto集。

Pareto有效(最優(yōu))解非劣解集是指由這樣一些解組成的集合：與集合之外的任何解相比它們至少有一個(gè)目標(biāo)函數(shù)比集合之外的解好。

求解多目標(biāo)優(yōu)化問題最有名的就是NSGA-II了，是多目標(biāo)遺傳算法，但其對(duì)解的選擇過程可以用在其他優(yōu)化算法上，例如粒子群，蜂群等等。這里簡(jiǎn)單介紹一下NSGA-II的選擇算法。主要包含三個(gè)部分：

1. 快速非支配排序

要先講一下支配的概念，對(duì)于解X1和X2，如果X1對(duì)應(yīng)的所有目標(biāo)函數(shù)都不比X2大（最小問題），且存在一個(gè)目標(biāo)值比X2小，則X2被X1支配。

快速非支配排序是一個(gè)循環(huán)分級(jí)過程：首先找出群體中的非支配解集，記為第一非支配層，irank=1（irank是個(gè)體i的非支配值），將其從群體中除去，繼續(xù)尋找群體中的非支配解集，然后irank=2。

2. 個(gè)體擁擠距離

為了使計(jì)算結(jié)果在目標(biāo)空間比較均勻的分布，維持種群多樣性，對(duì)每個(gè)個(gè)體計(jì)算擁擠距離，選擇擁擠距離大的個(gè)體，擁擠距離的定義為：

L[i]d=L[i]d+(L[i+1]m−L[i−1]m)/(fmaxm−fminm)

L[i+1]m是第i+1個(gè)個(gè)體的第m目標(biāo)函數(shù)值，fmaxm 和 fminm是集合中第m個(gè)目標(biāo)函數(shù)的最大和最小值。

3. 精英策略選擇

精英策略就是保留父代中的優(yōu)良個(gè)體直接進(jìn)入子代，防止獲得的Pareto最優(yōu)解丟失。將第t次產(chǎn)生的子代種群和父代種群合并，然后對(duì)合并后的新種群進(jìn)行非支配排序，然后按照非支配順序添加到規(guī)模為N的種群中作為新的父代。

三、多目標(biāo)優(yōu)化在推薦中的應(yīng)用

多目標(biāo)排序通常是指有兩個(gè)或兩個(gè)以上的目標(biāo)函數(shù)，尋求一種排序使得所有的目標(biāo)函數(shù)都達(dá)到最優(yōu)或滿意。

在推薦系統(tǒng)中，大多產(chǎn)品都是基于隱式反饋進(jìn)行推薦，導(dǎo)致評(píng)估用戶滿意度的時(shí)候有不同的偏差：

1）不同目標(biāo)表達(dá)不同的滿意程度：在電商應(yīng)用中，購買行為表達(dá)的滿意度高于點(diǎn)擊、瀏覽；

2）單個(gè)目標(biāo)衡量不全面：在信息流應(yīng)用中，僅以點(diǎn)擊率為目標(biāo)，可能會(huì)存在標(biāo)題黨；在招聘應(yīng)用中，僅以投遞轉(zhuǎn)化率為目標(biāo)，可能存在招聘方不活躍或者對(duì)候選者不滿意度下降。

3）用戶表達(dá)滿意的方式不同：在電商應(yīng)用中，用戶喜歡商品的表達(dá)可能會(huì)以收藏或者加購的形式，取決于用戶偏好；在招聘應(yīng)用中，招聘方對(duì)候選者的滿意方式可能以在線溝通、電話溝通、直接面試邀請(qǐng)等形式，取決于招聘方偏好。

推薦系統(tǒng)中有多個(gè)業(yè)務(wù)指標(biāo)，可以通過一些手段使得多個(gè)業(yè)務(wù)的綜合目標(biāo)收益最大化。比如說，電商場(chǎng)景，希望能夠在優(yōu)化GMV的基礎(chǔ)上提高點(diǎn)擊率，提高用戶粘性；信息流場(chǎng)景，希望提高用戶點(diǎn)擊率的基礎(chǔ)上提高用戶關(guān)注、點(diǎn)贊、評(píng)論等行為，提高留存；招聘場(chǎng)景，希望提高求職者投遞轉(zhuǎn)化率的基礎(chǔ)上提高招聘方的體驗(yàn)滿意度，從而使得雙方的滿足度均提高。因此推薦系統(tǒng)做到后期，往往會(huì)向多目標(biāo)方向演化，承擔(dān)起更多的業(yè)務(wù)目標(biāo)。

多目標(biāo)排序問題的解決方案：多模型分?jǐn)?shù)融合、通過樣本權(quán)重進(jìn)行多目標(biāo)優(yōu)化、排序?qū)W習(xí)（Learning To Rank，LTR）、多任務(wù)學(xué)習(xí)（Multi-Task Learning，MTL）。

1.多模型分?jǐn)?shù)融合

多模型融合的方式也是比較經(jīng)典傳統(tǒng)的做法，每個(gè)目標(biāo)訓(xùn)練一個(gè)模型，每個(gè)模型算出一個(gè)分?jǐn)?shù)，然后根據(jù)自身業(yè)務(wù)的特點(diǎn)，通過某種方式將這些分?jǐn)?shù)綜合起來，計(jì)算出一個(gè)總的分?jǐn)?shù)再進(jìn)行排序，綜合分?jǐn)?shù)的計(jì)算通常會(huì)根據(jù)不同目標(biāo)的重要性設(shè)定相應(yīng)的參數(shù)來調(diào)節(jié)。

最常見的是weighted sum融合多個(gè)目標(biāo)，給不同的目標(biāo)分配不同的權(quán)重。當(dāng)然，融合的函數(shù)可以有很多，比如連乘或者指數(shù)相關(guān)的函數(shù)，可以根據(jù)自己面臨的場(chǎng)景不斷去探索。

1.1 規(guī)則公式法

以電商推薦系統(tǒng)為例，假定有五個(gè)預(yù)估目標(biāo)，分別是點(diǎn)擊率 CTR、購買轉(zhuǎn)化率 CVR、收藏率 collect，加購率 cart、停留時(shí)長 stay，這五個(gè)目標(biāo)分別對(duì)應(yīng)五個(gè)模型，排序階段的作用就是利用模型根據(jù)各自目標(biāo)來給候選 Item 計(jì)算一個(gè)預(yù)估值（分?jǐn)?shù)），排序階段結(jié)束每個(gè) Item 都會(huì)有五個(gè)不同的目標(biāo)預(yù)估分?jǐn)?shù)，如何用這些分?jǐn)?shù)進(jìn)行融合，是交給下一個(gè)流程--重排序模塊來處理的。

分?jǐn)?shù)融合的一種思路是利用一個(gè)帶參數(shù)公式來實(shí)現(xiàn)，如下：

有了公式，那么超參數(shù)（α，β，a，b，c 等）如果進(jìn)行學(xué)習(xí)獲取？目前工業(yè)界就是人工調(diào)參，通過線上AB實(shí)驗(yàn)不斷調(diào)整參數(shù)，一個(gè)很繁瑣的工作。

1.2 線性回歸法

如果經(jīng)驗(yàn)公式，我們很容易想到的一種思路是類似于集成學(xué)習(xí)中一種多模型融合方法 Stacking，即將多個(gè)目標(biāo)模型預(yù)估出的結(jié)果作為輸入，然后用一個(gè)簡(jiǎn)單的線性回歸進(jìn)行線性加權(quán)融合，學(xué)習(xí)到各個(gè)目標(biāo)的權(quán)重，這樣我們就可以預(yù)估綜合分?jǐn)?shù)了。但是我們卻忽略了一個(gè)重要的問題，該如何設(shè)置樣本的 Label 呢？事實(shí)上，并沒有一個(gè)真實(shí)的綜合分?jǐn)?shù)可供我們?nèi)ビ?xùn)練學(xué)習(xí)，因此，這種辦法很難真正去實(shí)現(xiàn)。而在工業(yè)界，更多的做法是人工調(diào)試，但如此又會(huì)帶來很多問題，比如模型靈活度不夠。

2.樣本權(quán)重（sample weight）

如果主目標(biāo)是點(diǎn)擊率，分享功能是我們希望提高的功能。那么點(diǎn)擊和分享都是正樣本（分享是點(diǎn)擊行為的延續(xù)），分享的樣本可以設(shè)置更高的樣本權(quán)重。模型訓(xùn)練在計(jì)算梯度更新參數(shù)時(shí)，對(duì)于sample weight大的樣本，如果預(yù)測(cè)錯(cuò)誤就會(huì)帶來更大的損失，梯度要乘以權(quán)重。通過這種方法能夠在優(yōu)化點(diǎn)擊率的基礎(chǔ)上，優(yōu)化分享率。實(shí)際AB測(cè)試會(huì)發(fā)現(xiàn)，這樣的方法，目標(biāo)點(diǎn)擊率會(huì)受到一定的損失換取目標(biāo)分享率的增長。通過線上AB測(cè)試和sample weight調(diào)整的聯(lián)動(dòng)，可以保證在可接受的A目標(biāo)損失下，優(yōu)化目標(biāo)B，實(shí)現(xiàn)初級(jí)的多目標(biāo)優(yōu)化。

優(yōu)點(diǎn):模型簡(jiǎn)單，僅在訓(xùn)練時(shí)通過梯度上乘sample weight實(shí)現(xiàn)對(duì)某些目標(biāo)的boost或者decay帶有sample weight的模型和線上的base模型完全相同，不需要架構(gòu)的額外支持。

缺點(diǎn)：本質(zhì)上沒有對(duì)多目標(biāo)的建模，而是將不同的目標(biāo)折算成同一個(gè)目標(biāo)。折算的程度需要多次AB測(cè)試才能確定。

3. 排序?qū)W習(xí)（Learning To Rank，LTR）

多模型融合中我們通過模型計(jì)算預(yù)估值或者是綜合打分，其根本目的是為了給推薦物品排序，而不是真正的打分。因此我們可以使用排序?qū)W習(xí)方法來解決多目標(biāo)問題。再由于是多個(gè)目標(biāo)，可以排除pointwise方案，可以考慮pairwise和listwise方案。具體，模型可以考慮 BPR 或者 LambdaMART 等算法。

相比多模型融合中 Label 標(biāo)注，排序?qū)W習(xí)模型的的 Label 標(biāo)注相對(duì)更容易一點(diǎn)，因?yàn)橹魂P(guān)心相對(duì)關(guān)系，而不需要真實(shí)的打分?jǐn)?shù)據(jù)。一種常見的標(biāo)注方法是對(duì)多目標(biāo)產(chǎn)生的物品構(gòu)建 Pair，比如用戶對(duì)物品 i產(chǎn)生的購買，對(duì)物品j產(chǎn)生了點(diǎn)擊，假定我們覺得購買的目標(biāo)比點(diǎn)擊的目標(biāo)更重要，就可以讓i>uj，其他目標(biāo)以此類推。有了順序?qū)螅覀儽憧梢杂?xùn)練排序?qū)W習(xí)模型，這樣一個(gè)模型便可以融合多個(gè)目標(biāo)，而不用訓(xùn)練多個(gè)模型。

4. 多任務(wù)學(xué)習(xí)（Multi-Task Learning，MTL）

4.1 概念

多任務(wù)學(xué)習(xí)是基于共享表示，把多個(gè)相關(guān)的任務(wù)放在一起學(xué)習(xí)的一種機(jī)器學(xué)習(xí)方法。多任務(wù)學(xué)習(xí)涉及多個(gè)相關(guān)的任務(wù)同時(shí)并行學(xué)習(xí)，梯度同時(shí)反向傳播，利用包含在相關(guān)任務(wù)訓(xùn)練信號(hào)中的特定領(lǐng)域的信息來改進(jìn)泛化能力。

一般來說，優(yōu)化多個(gè)損失函數(shù)就等同于進(jìn)行多任務(wù)學(xué)習(xí)。即使只優(yōu)化一個(gè)損失函數(shù)，也有可能借助輔助任務(wù)來改善原任務(wù)模型。

多任務(wù)學(xué)習(xí)的前提條件：多個(gè)任務(wù)之間必須具有相關(guān)性以及擁有可以共享的底層表示。

在多任務(wù)學(xué)習(xí)的定義中，共享表示是一個(gè)非常重要的限定，個(gè)人認(rèn)為共享表示對(duì)于最終任務(wù)的學(xué)習(xí)有兩類作用：

促進(jìn)作用——通過淺層的共享表示互相分享、互相補(bǔ)充學(xué)習(xí)到的領(lǐng)域相關(guān)信息，從而互相促進(jìn)學(xué)習(xí)，提升對(duì)信息的穿透和獲取能力；

約束作用——在多個(gè)任務(wù)同時(shí)進(jìn)行反向傳播時(shí)，共享表示則會(huì)兼顧到多個(gè)任務(wù)的反饋，由于不同的任務(wù)具有不同的噪聲模式，所以同時(shí)學(xué)習(xí)多個(gè)任務(wù)的模型就會(huì)通過平均噪聲模式從而學(xué)習(xí)到更一般的表征，這個(gè)有點(diǎn)像正則化的意思，因此相對(duì)于單任務(wù)，過擬合風(fēng)險(xiǎn)會(huì)降低，泛化能力增強(qiáng)。

因此在深度神經(jīng)網(wǎng)絡(luò)中，執(zhí)行多任務(wù)學(xué)習(xí)有兩種最常用的方法：

參數(shù)的硬共享機(jī)制

共享 Hard 參數(shù)是神經(jīng)網(wǎng)絡(luò) MTL 最常用的方法。在實(shí)際應(yīng)用中，通常通過在所有任務(wù)之間共享隱藏層，同時(shí)保留幾個(gè)特定任務(wù)的輸出層來實(shí)現(xiàn)，如下圖所示：

共享 Hard 參數(shù)大大降低了過擬合的風(fēng)險(xiǎn)。

參數(shù)的軟共享機(jī)制

共享 Soft 參數(shù)，每個(gè)任務(wù)都有自己的參數(shù)和模型。模型參數(shù)之間的距離是正則化的，以便鼓勵(lì)參數(shù)相似化，例如使用 L2 距離進(jìn)行正則化。

多任務(wù)學(xué)習(xí)之所以有效，是因?yàn)槎嗳蝿?wù)學(xué)習(xí)的方式引入了歸納偏置（inductive bias），歸納偏置有兩個(gè)效果：

1）互相促進(jìn)，可以把多任務(wù)模型之間的關(guān)系看作是互相先驗(yàn)知識(shí)，也稱歸納遷移（inductive transfer），有了對(duì)模型的先驗(yàn)假設(shè)，可以更好的提升模型的效果；

2）約束作用，借助多任務(wù)間的噪聲平衡以及表征偏置來實(shí)現(xiàn)更好的泛化性能。

4.2 主流多任務(wù)學(xué)習(xí)模型

主流模型有ESMM模型、EMS2模型、MMoE模型等。本文以阿里ESMM模型為例進(jìn)行介紹。

用戶的行為可以抽象為一個(gè)序列模式：瀏覽 -> 點(diǎn)擊 -> 購買。

CVR 是指從點(diǎn)擊到購買的轉(zhuǎn)化，傳統(tǒng)的 CVR 預(yù)估會(huì)存在兩個(gè)問題：樣本選擇偏差和稀疏數(shù)據(jù)。

樣本選擇偏差：模型用戶點(diǎn)擊的樣本來訓(xùn)練，但是預(yù)測(cè)卻是用的整個(gè)樣本空間。

數(shù)據(jù)稀疏問題：用戶點(diǎn)擊到購買的樣本太少。

ESMM是一個(gè)多任務(wù)學(xué)習(xí)模型，它同時(shí)學(xué)習(xí)學(xué)習(xí)點(diǎn)擊率和轉(zhuǎn)化率兩個(gè)目標(biāo)，即模型直接預(yù)測(cè)展現(xiàn)轉(zhuǎn)換（pCTCVR）：?jiǎn)挝涣髁揩@得成交的概率，把 pCVR 當(dāng)做一個(gè)中間變量，模型結(jié)構(gòu)如下：

該網(wǎng)絡(luò)結(jié)構(gòu)共有三個(gè)子任務(wù)，分別用于輸出 pCTR、pCVR 和 pCTCVR。

對(duì)于 pCTR 來說可將有點(diǎn)擊行為的曝光事件作為正樣本，沒有點(diǎn)擊行為的曝光事件作為負(fù)樣本，對(duì)于 PCTCVR 來說，將同時(shí)有點(diǎn)擊行為和購買行為的曝光事件作為正樣本，其他作為負(fù)樣本。上面公式可以轉(zhuǎn)化為

我們可以通過分別估計(jì)pCTCVR和pCTR，然后通過兩者相除來解決。而pCTCVR和pCTR都可以在全樣本空間進(jìn)行訓(xùn)練和預(yù)估。但是這種除法在實(shí)際使用中，會(huì)引入新的問題。因?yàn)樵陬A(yù)測(cè)階段pCTR其實(shí)是一個(gè)很小的值，范圍一般在百分之幾，預(yù)估時(shí)會(huì)出現(xiàn)pCTCVR>pCTR的情況，導(dǎo)致pCVR預(yù)估值大于1。ESMM巧妙的通過將除法改成乘法來解決上面的問題。

它引入了pCTR和pCTCVR兩個(gè)輔助任務(wù)，訓(xùn)練時(shí)，loss為兩者相加。

在CTR有點(diǎn)擊行為的展現(xiàn)事件構(gòu)成的樣本標(biāo)記為正樣本，沒有點(diǎn)擊行為發(fā)生的展現(xiàn)事件標(biāo)記為負(fù)樣本；在CTCVR任務(wù)中，同時(shí)有點(diǎn)擊和購買行為的展現(xiàn)事件標(biāo)記為正樣本，否則標(biāo)記為負(fù)樣本。

另外兩個(gè)子網(wǎng)絡(luò)的 embedding 層是共享的，由于 CTR 任務(wù)的訓(xùn)練樣本量要遠(yuǎn)超過 CVR 任務(wù)的訓(xùn)練樣本量，ESMM 模型中 embedding 層共享的機(jī)制能夠使得 CVR 子任務(wù)也能夠從只有展現(xiàn)沒有點(diǎn)擊的樣本中學(xué)習(xí)，從而能夠極緩解訓(xùn)練數(shù)據(jù)稀疏性問題。

MTL可以使得多個(gè)模型特性互相彌補(bǔ)：點(diǎn)擊率預(yù)估模型善于學(xué)習(xí)表面特征，其中包括標(biāo)題黨，圖片帶來的點(diǎn)擊誘惑；而轉(zhuǎn)化模型學(xué)習(xí)更深層的特征，比如體驗(yàn)、服務(wù)質(zhì)量。

4.3構(gòu)建所有l(wèi)oss的pareto

多任務(wù)學(xué)習(xí)本質(zhì)上是一個(gè)多目標(biāo)問題，因?yàn)椴煌蝿?wù)之間可能產(chǎn)生沖突，需要對(duì)其進(jìn)行取舍。

帕累托最優(yōu)所指的情況要求有多個(gè)優(yōu)化目標(biāo)，指的是不能在不損失其他目標(biāo)的情況下優(yōu)化一個(gè)目標(biāo)。

4.3.1 Multi-Task Learning as Multi-Objective Optimization

定義如下：

優(yōu)化目標(biāo)：

5.多目標(biāo)優(yōu)化實(shí)踐

【參考文獻(xiàn)】

1. https://arxiv.org/pdf/1810.04650v1.pdf Multi-Task Learning as Multi-Objective Optimization

四、多目標(biāo)優(yōu)化到底有哪些方法？

你是說網(wǎng)站優(yōu)化是嗎，一般關(guān)鍵詞要在4個(gè)以內(nèi)比較好。