Кіріспе

Бұл нұсқаулық жаңа OpenAI Файн тюнингтік API пайдаланушыларына арналған.

Файн тюнинг API арқылы қол жетімді үлгілерден қосымша ақпарат алуға мүмкіндік береді:

• Жеделдетуден гөрі сапаның жоғары нәтижелері
• Жеделге сыйғыза алатыннан гөрі мысалдар бойынша жаттықтыру қабілеті
• Қысқа сұрауларға байланысты жетонды үнемдеу
• Кідіріс сұрауларын төмендету

GPT модельдері мәтіннің орасан зор көлемі бойынша алдын ала оқытылды. Үлгілерді тиімді пайдалану үшін нұсқаулар мен кейде бірнеше мысалдарды жедел түрде енгіземіз. Тапсырманы орындау әдісін көрсету үшін көрсетілімдерді пайдалану көбінесе «аз атылған оқыту» деп аталады.

Файн тюнинг көптеген мысалдар бойынша оқыту арқылы бірнеше рет оқуды жақсартады, бұл тапсырмалардың кең саны бойынша жақсы нәтижелерге қол жеткізуге мүмкіндік береді. Үлгіні дәл реттегеннен кейін, сұрауда қанша мысал келтірудің қажеті жоқ. Бұл шығындарды үнемдейді және кідірістерді төмендетуге мүмкіндік береді.

Жоғары деңгейде Файн тюнинг мынадай қадамдарды көздейді:

• Оқыту деректерін дайындау және кері жүктеу
• Жаңа дәл реттелген модельді оқыту
• Дәл реттелген үлгіні пайдалану

Модельдік оқыту мен пайдаланудың қалай жақсы реттелгені туралы қосымша ақпарат алу үшін баға белгілеу бетіне кіріңіз.

Қандай үлгілерді дәл реттеуге болады?

Біз GPT-4 үшін Файн тюнингке мүмкіндік беру бойынша жұмыс жүргізіп жатырмыз және бұл мүмкіндік осы жылдан кейін қолжетімді болады деп күтудеміз.

Файн тюнинг қазіргі уақытта келесі үлгілер үшін қол жетімді:

• gpt-3.5-turbo-0613
• babbage-002
• davinci-002

Баяғы дәл реттелген үлгіні көшіріп алмасаңыз, нәтижелер мен пайдаланудың жеңілдігі тұрғысынан пайдаланушылардың көпшілігі үшін дұрыс үлгі болады деп күтудеміз.

Файн тюнингті қашан қолдану керек

Файн тюнингтік GPT модельдері оларды нақты қосымшалар үшін жақсырақ ете алады, бірақ ол уақыт пен күш-жігерді мұқият инвестициялауды талап етеді. Алдымен жедел инжиниринг, жедел тізбектеу (күрделі тапсырмаларды бірнеше сұрауға бөлу) және функциялық қоңырау шалумен жақсы нәтижелерге қол жеткізуге әрекет жасауды ұсынамыз, бұл ретте негізгі себептер:

• Біздің модельдер бастапқыда жақсы орындалмауы мүмкін көптеген міндеттер бар, бірақ нәтижелерді дұрыс сұраулармен жақсартуға болады - осылайша Файн тюнинг қажет болмауы мүмкін
• Сұраулар мен басқа да тактиканы итертеу Файн тюнингке қарағанда кері байланыс ілмегі әлдеқайда жылдам, бұл деректер жиынтығын құруды және оқу жұмыс орындарын іске қосуды талап етеді
• Егер Файн тюнинг әлі де қажет болса, бастапқы жедел инженерлік жұмыстар босқа кетпейді – біз әдетте Файн тюнинг деректерінде жақсы жеделді пайдалану кезінде ең жақсы нәтижелерді көреміз (немесе жедел тізбектеуді /құралды пайдалануды Файн тюнингпен біріктіру)

Біздің GPT үздік тәжірибелер нұсқаулығы  Файн тюнингсіз жақсы көрсеткіштерге қол жеткізудің кейбір тиімді стратегиялары мен тактикасы туралы фон береді. Біздің ойын алаңындағы сұрауларды тез арада итерациялау пайдалы деп табуға болады.

Жалпы пайдалану жағдайлары

Файн тюнинг нәтижелерді жақсарта алатын кейбір жиі қолданылатын жағдайлар:

• Мәнерді, реңкті, пішімді немесе басқа сапалық аспектілерді орнату
• Қажетті шығысты шығару кезінде сенімділікті арттыру
• Күрделі нұсқауларды орындамауды түзету
• Көптеген шеткі істерді нақты тәсілдермен өңдеу
• Жеделдетіп тұжырымдау қиын жаңа шеберлікті немесе тапсырманы орындау

Бұл жағдайлар туралы ойланудың бір жоғары деңгейлі тәсілі — «көрсету, айтпау» оңай болғанда. Алдағы бөлімдерде Файн тюнинг үшін деректерді қалай орнату керектігін және Файн тюнинг базалық модель үстіндегі өнімділікті жақсартатын түрлі мысалдарды зерттейміз.

Файн тюнинг тиімді болатын тағы бір сценарий – шығындарды және/немесе кідірісті азайтуда, GPT-4-ті ауыстыру арқылы немесе сапаны құрбандыққа шалмай, қысқа сұрауларды пайдалану арқылы. Егер GPT-4 көмегімен жақсы нәтижелерге қол жеткізе алсаңыз, GPT-4 аяқтаулары бойынша Файн тюнинг арқылы ұқсас сапаға жиі жетуге болады, мүмкін қысқартылған нұсқаулық сұрауы арқылы.

Деректер жиынтығын дайындау

Файн тюнинг дұрыс шешім болып табылатынын анықтағаннан кейін (яғни сіз өзіңіздің сұрауыңызды қаншалықты қабылдай алатыныңызға қарай оңтайландырдыңыз және үлгіде әлі де бар проблемаларды анықтадыңыз), үлгіні оқыту үшін деректерді дайындау қажет болады. Үлгіден өндірістегі кемшін уақытта жауап беруді сұрайтын сөйлесулерге ұқсас әр түрлі көрсетілім сөйлесулерінің жиынтығын жасау керек.

Деректер жиынындағы әрбір мысал чат аяқтаулары API сияқты пішімдегі сөйлесу болуы тиіс, нақтырақ айтсақ, әр хабардың рөлі, мазмұны және қосымша атауы бар хабарлар тізімі. Ең болмағанда оқыту мысалдарының кейбіреулері сұралған үлгі қалағандай әрекет етпейтін жағдайларға тікелей бағытталуы тиіс, ал деректерде ұсынылған көмекші хабарлар үлгіні ұсынғыңыз келетін мінсіз жауаптар болуы тиіс.

Мысал пішімі

Бұл мысалда біздің мақсатымыз кейде сардарлық жауаптар беретін чатбот жасау, бұл деректер жиыны үшін жасай алатын үш оқу мысалы (сөйлесулер):

1. {"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
2. {"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
3. {"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

Қолөнер нұсқаулары

Біз, әдетте, сіз тапқан нұсқаулар мен нұсқаулар жиынтығын Файн тюнингке дейін модель үшін ең жақсы жұмыс істегенін және оларды әрбір оқу үлгісіне қосуды ұсынамыз. Бұл ең жақсы және жалпы нәтижелерге жетуге мүмкіндік беруі тиіс, әсіресе, егер сізде (мысалы, жүз астында) оқу мысалдары салыстырмалы түрде аз болса.

Егер шығындарды үнемдеу үшін әрбір мысалда қайталанатын нұсқауларды немесе нұсқауларды қысқартқыңыз келсе, үлгінің сол нұсқаулар қосылғандай әрекет етуі мүмкін екенін есте сақтаңыз және кем дегенде сол «пісірілген» нұсқауларды елемеу үшін үлгіні алу қиын болуы мүмкін.

Жақсы нәтижелерге қол жеткізу үшін қосымша оқу мысалдары қажет болуы мүмкін, өйткені модель толығымен көрсету арқылы және басшылыққа алынған нұсқауларсыз үйренуге тиіс.

Мысалдарды санау ұсыныстары

Үлгіні дәл реттеу үшін кемінде 10 мысал келтіру қажет. Біз әдетте 50-ден 100-ге дейінгі оқу мысалдары бойынша Файн тюнингтен нақты жақсартуларды көріп отырмыз, бірақ дұрыс сан нақты пайдалану жағдайына сүйене отырып, айтарлықтай өзгеріп отырады.

50 жақсы түзілген демонстрациядан бастап, модель Файн тюнингтен кейін жақсару белгілерін көрсететінін көруді ұсынамыз. Кейбір жағдайларда жеткілікті болуы мүмкін, бірақ үлгі әлі өндіріс сапасы болмаса да, нақты жақсартулар қосымша деректерді ұсыну модельді жетілдіруді жалғастыратын жақсы белгі болып табылады. Ешбір жақсарту үлгіге тапсырманы орнату немесе шектеулі үлгінің шегінен тыс масштабтау алдында деректерді қайта құрылымдау қажет болуы мүмкін дегенді білдірмейді.