(資料圖片)

編程客棧（）8月2日 消息:Skill-it 是一個在線數(shù)據(jù)選擇系統(tǒng)，旨在通過基于技能順序的數(shù)據(jù)選擇，提升語言模型的學習效率和性能。它提供了一種數(shù)據(jù)驅(qū)動的技能框架，幫助我們理解和訓練語言模型。

通過選擇具有高影響力ZOVaeIgZL的技能數(shù)據(jù)和按照一定順序訓練模型，Skill-it 可以幫助用戶更快地訓練出具備特定能力的語言模型。它適用于各種語言模型訓練任python務，如代碼生編程客棧成、藝術創(chuàng)作和對話模型等。

論文地址:https://arxiv.org/abs/2307.14430

具體如下:

1. 技能順序: Skill-it 提供了一種基于技能順序的數(shù)據(jù)選擇算法，可以根據(jù)語言模型訓練的需要，有選擇地提取相關技能的數(shù)據(jù)，從而更快地學習和提升模型的能力。

2. 數(shù)據(jù)選擇: Skill-it 提供了兩種數(shù)據(jù)選擇方法:技能分層抽樣和在線數(shù)據(jù)選擇。技能分層抽樣可以均勻地抽樣相關技能的數(shù)據(jù)，解決了數(shù)據(jù)不均衡的問題;在線數(shù)據(jù)選擇算法可以根據(jù)訓練進程中的技能依賴關系，選擇具有高影響力的技能數(shù)據(jù)。

3. android應用案例: Skill-it 在不同規(guī)模的模型和數(shù)據(jù)集上進行了實驗，展示了其在連續(xù)預訓練和微調(diào)任務中的效果提升。同時，Skill-it js在實際數(shù)據(jù)集上的應用也獲得了較低的損失和更高的準確性。

關鍵詞：