正文

預(yù)訓(xùn)練模型還要訓(xùn)練嗎（預(yù)訓(xùn)練模型還要訓(xùn)練嗎）

發(fā)布時(shí)間：2023-03-19 11:18:21 稿源：創(chuàng)意嶺閱讀： 90 問大家

大家好！今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于預(yù)訓(xùn)練模型還要訓(xùn)練嗎的問題，以下是小編對(duì)此問題的歸納整理，讓我們一起來看看吧。

開始之前先推薦一個(gè)非常厲害的Ai人工智能工具，一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

只需要輸入關(guān)鍵詞，就能返回你想要的內(nèi)容，越精準(zhǔn)，寫出的就越詳細(xì)，有微信小程序端、在線網(wǎng)頁版、PC客戶端

官網(wǎng)：https://ai.de1919.com

本文目錄:

1、如何構(gòu)建深度學(xué)習(xí)預(yù)訓(xùn)練模型？
2、遷移學(xué)習(xí)方法
3、load模型繼續(xù)訓(xùn)練但是參數(shù)不變化
4、不需要大規(guī)模預(yù)訓(xùn)練的NLP模型

預(yù)訓(xùn)練模型還要訓(xùn)練嗎（預(yù)訓(xùn)練模型還要訓(xùn)練嗎）

一、如何構(gòu)建深度學(xué)習(xí)預(yù)訓(xùn)練模型？

可以直接先找到自己需要的訓(xùn)練模型，一般來說都可以找到的

二、遷移學(xué)習(xí)方法

如何使用遷移學(xué)習(xí)

你可以在自己的預(yù)測(cè)模型問題上使用遷移學(xué)習(xí)

以下是兩個(gè)常用的方法

1. 開發(fā)模型的方法

2. 預(yù)訓(xùn)練模型的方法

開發(fā)模型的方法

1. 選擇源任務(wù)。你必須選擇一個(gè)具有豐富數(shù)據(jù)的預(yù)測(cè)建模問題，它的輸入數(shù)據(jù)、輸出數(shù)據(jù)以及從輸入數(shù)據(jù)和輸出數(shù)據(jù)之間的映射中學(xué)到的概念之間有某種關(guān)系，

2. 開發(fā)源模型。然后，你必須為第一個(gè)任務(wù)開發(fā)一個(gè)精巧的模型。這個(gè)模型一定要比普通的模型更好，以保證一些特征學(xué)習(xí)可以被執(zhí)行。

3. 重用模型。然后，適用于源任務(wù)的模型可以被作為目標(biāo)任務(wù)的學(xué)習(xí)起點(diǎn)。這可能將會(huì)涉及到全部或者部分使用第一個(gè)模型，這依賴于所用的建模技術(shù)。

4. 調(diào)節(jié)模型。模型可以在目標(biāo)數(shù)據(jù)集中的輸入輸出對(duì)上可選擇地進(jìn)行微調(diào)，以讓它適應(yīng)目標(biāo)任務(wù)。

預(yù)訓(xùn)練模型方法

1. 選擇源模型。一個(gè)預(yù)訓(xùn)練的源模型是從可用模型中挑選出來的。很多研究機(jī)構(gòu)都發(fā)布了基于超大數(shù)據(jù)集的模型，這些都可以作為源模型的備選者。

2. 重用模型。選擇的預(yù)訓(xùn)練模型可以作為用于第二個(gè)任務(wù)的模型的學(xué)習(xí)起點(diǎn)。這可能涉及到全部或者部分使用與訓(xùn)練模型，取決于所用的模型訓(xùn)練技術(shù)。

3. 微調(diào)模型。模型可以在目標(biāo)數(shù)據(jù)集中的輸入輸出對(duì)上可選擇地進(jìn)行微調(diào)，以讓它適應(yīng)目標(biāo)任務(wù)。

第二種類型的遷移學(xué)習(xí)在深度學(xué)習(xí)領(lǐng)域比較常用。

深度學(xué)習(xí)中使用遷移學(xué)習(xí)的例子

下面用兩個(gè)常見的例子來具體寫一下深度學(xué)習(xí)模型中的遷移學(xué)習(xí)

使用圖像數(shù)據(jù)進(jìn)行遷移學(xué)習(xí)

在使用圖像作為輸入的預(yù)測(cè)建模問題中應(yīng)用遷移學(xué)習(xí)是很常見的?？梢允且粋€(gè)使用圖像或視頻作為輸入的預(yù)測(cè)問題。

對(duì)于這種類型的問題而言，使用為大規(guī)模的挑戰(zhàn)性圖像數(shù)據(jù)集上的預(yù)訓(xùn)練的模型是很常見的做法，例如 ImageNet(1000 類圖像分類挑戰(zhàn)賽的數(shù)據(jù)集)。

為這個(gè)競(jìng)賽開發(fā)模型的研究組織通常會(huì)將最終模型發(fā)布出來，并且具備重新使用的許可。這些模型的訓(xùn)練一般會(huì)耗費(fèi)幾天到幾星期不等的時(shí)間，這取決于所用的硬件環(huán)境。

這些模型可以直接下載到，它們將圖像作為輸入

三、load模型繼續(xù)訓(xùn)練但是參數(shù)不變化

在機(jī)器學(xué)習(xí)中，我們通常會(huì)使用一種稱為“遷移學(xué)習(xí)”的技術(shù)，該技術(shù)涉及加載一個(gè)預(yù)先訓(xùn)練好的模型，并對(duì)其進(jìn)行微調(diào)以適應(yīng)新的任務(wù)。當(dāng)我們使用這種方法時(shí)，有時(shí)我們需要繼續(xù)訓(xùn)練已經(jīng)預(yù)先訓(xùn)練好的模型。但是，如果訓(xùn)練數(shù)據(jù)與預(yù)先訓(xùn)練的模型非常相似，比如相同的數(shù)據(jù)集或者提取自相同領(lǐng)域的數(shù)據(jù)集，那么在后續(xù)訓(xùn)練時(shí)，我們可能會(huì)發(fā)現(xiàn)參數(shù)幾乎沒有變化，這是因?yàn)槌跏紮?quán)重幾乎與訓(xùn)練中的真實(shí)權(quán)重相等，即預(yù)先訓(xùn)練的模型已經(jīng)收斂到局部極限。此時(shí)，我們應(yīng)該考慮使用更小的學(xué)習(xí)率，或通過數(shù)據(jù)增強(qiáng)、調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)等方法來改進(jìn)性能。

四、不需要大規(guī)模預(yù)訓(xùn)練的NLP模型

NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework

原文：https://arxiv.org/abs/2111.04130

發(fā)表于2021.11.7

https://github.com/yaoxingcheng/TLM

Pretrained language models have become the standard approach for many NLP tasks due to strong performance, but they are very expensive to train. We propose a simple and efficient learning framework, TLM, that does not rely on large-scale pretraining. Given some labeled task data and a large general corpus, TLM uses task data as queries to retrieve a tiny subset of the general corpus and jointly optimizes the task objective and the language modeling objective from scratch. On eight classification datasets in four domains, TLM achieves results better than or similar to pretrained language models (e.g., RoBERTa-Large) while reducing the training FLOPs by two orders of magnitude. With high accuracy and efficiency, we hope TLM will contribute to democratizing NLP and expediting its development.

預(yù)訓(xùn)練語言模型由于其強(qiáng)大的性能，已成為許多NLP任務(wù)的標(biāo)準(zhǔn)方法，但訓(xùn)練成本非常高。我們提出了一個(gè)簡(jiǎn)單有效的學(xué)習(xí)框架TLM，它不依賴于大規(guī)模的預(yù)訓(xùn)練。給定一些帶標(biāo)簽的任務(wù)數(shù)據(jù)和一個(gè)大型通用語料庫，TLM使用任務(wù)數(shù)據(jù)作為查詢來檢索通用語料庫的一小部分，并從頭開始聯(lián)合優(yōu)化任務(wù)目標(biāo)和語言建模目標(biāo)。在四個(gè)領(lǐng)域的八個(gè)分類數(shù)據(jù)集上，TLM取得了優(yōu)于或類似于預(yù)訓(xùn)練語言模型（如RoBERTa Large）的結(jié)果，同時(shí)將訓(xùn)練失敗次數(shù)減少了兩個(gè)數(shù)量級(jí)。我們希望TLM能夠以高精度和高效率為NLP的民主化和加速其發(fā)展做出貢獻(xiàn)。

以上就是關(guān)于預(yù)訓(xùn)練模型還要訓(xùn)練嗎相關(guān)問題的回答。希望能幫到你，如有更多相關(guān)問題，您也可以聯(lián)系我們的客服進(jìn)行咨詢，客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。