Մեծ լեզվական մոդելներ. ապագայի կառուցվածքը և մրցավազքը

Մեծ լեզվական մոդելներ. ապագայի կառուցվածքը և մրցավազքը

Առաջին նեյրոցանցերից մինչև կենսաբժշկական հավելվածներ՝ ինչի են ընդունակ ժամանակակից LLM-ները, և ուր է շարժվում ոլորտը:

GPT և Claude տեսակի լեզվական մոդելները արհեստական բանականության վերաբերյալ մեր պատկերացումները փոխեցին: Այս տեքստում բացատրվում են LLM-ների զարգացման հիմնական ուղղությունները, սկզբունքները, ճարտարապետությունը՝ մաթեմատիկական գիտությունների լոնդոնյան ինստիտուտի աշխատակից  Միխայիլ Բուրցևի տեսանկյունից: Կխոսենք այն մասին, թե ինչից են կազմված լեզվական մոդելները, և ինչպես են նեյրոցանցերը արդեն օգտագործվում գիտության, կենսատեխնոլոգիաներիի և արհեստական բանականության գլոբալ մրցավազքի մեջ:

Ի՞նչն է կանգնած  DeepSeek-ի և այլ  LLM-ների հետևում

Վերջերս չինական DeepSeek ընկերությունը լեզվական մոդելի նոր տարբերակ թողարկեց, ինչը զգալի ռեակցիա առաջացրեց շուկայում և նույնիսկ չիպերի արտադրության ակցիաների անկման հանգեցրեց: DeepSeek-ի առանձնահատկությունն այն է, որ մոդելի ուսուցումը հաջողվեց կազմակերպել ավելի արագ և էժան, քան  մրցակիցների մոտ, այսինքն՝ էներգիայի և հաշվարկային ռեսուրսների ավելի քիչ սպառմամբ: Այս ամենը հնարավոր եղավ հիմնականում այն պատճառով, որ համակարգը ստեղծողները թանկարժեք մասնագիտացված չիպեր կիրառելու հնարավորություն չունեին, այդ պատճառով էլ շեշտը դրվեց ավելի արդյունավետ որոշումների վրա: Այսպիսի տեխնոլոգիական առաջընթացը ցույց է տալիս, որ ԱԲ ոլորտում հաջողությունը որոշվում է ոչ միայն ֆինանսավորման մասշտաբով, այլև ինժեներային հնարամտությամբ:

Մենք շատ ենք խոսում LLM-ների՝ Large Language Models (մեծ լեզվական մոդելներ) մասին, բայց դրանց սահմանումները գրեթե չենք տալիս: Ժամանակակից լեզվական մոդելների ստեղծումը սկսվեց այն մտքից, թե ինչ կլինի, եթե փորձենք մոդելավորել ուղեղի աշխատանքը՝ արհեստական նեյրոնները փոխկապակցել համակարգչային ցանցի մեջ:  Ի տարբերություն դասական ալգորիթմների, որտեղ յուրաքանչյուր քայլ նախօրոք գրված է, նեյրոցանցերում հիմնական խնդիրն է համակարգին տալ մեծ քանակությամբ օրինակներ, որպեսզի այն ինքնուրույն կարողանա սովորել լուծել խնդիրները: Հենց դա է ընկել արհեստական բանականության բոլոր ժամանակակից մոդելների հիմքում:

Լեզվական մոդելների էվոլուցիան. վիճակագրությունից մինչև գեներատիվ մտածողություն

Դիտարկենք, օրինակ, պատկերների դասակարգման խնդիրը: Մենք նեյրոցանցին տալիս ենք ինչ-որ պատկեր, վերջում ստանում ենք դրա նկարագրությունը: Սկզբում մոդելը սխալվում է, բայց աստիճանաբար իր սխալների վրա սովորելով՝ ներքին կապերը ուղղում է և խնդիրն ավելի լավ է լուծում: Հենց այդպես էլ առաջացել են նեյրոցանցերը, և ինչպես պարզվեց, շատ խնդիրների պարագայում ավելի արդյունավետ է համակարգին տալ մեծ տվյալների զանգված ինքնակրթության համար, քան ձեռքով նախօրոք նշել խնդրի լուծման կանոնները: Թեպետ առաջին նեյրոցանցային ալգորիթմները դեռ վաղուց հայտնի էին, այնուամենայնիվ, միայն 2010-ական թվականներին ժամանակակից համակարգիչների ի հայտ գալով, հնարավոր եղավ վարժեցնել մեծ մոդելներ և բարդ առաջադրանքներ կատարել:

ԱԲ ծրագրավորողների նպատակն էր ստեղծել համակարգ, որը կարող է մտածել: Դրան հասնելու համար ուսումնասիրողները սկսեցին մոդելներին սովորեցնել տեքստեր գեներացնել. եթե համակարգը սովորել է նախադասության մեջ հաջորդ բառը կանխագուշակել, ապա այն ունակ է վերարտադրելու տրամաբանական խոսք: 2015 թվականին Միխայիլը փորձարկումներ իրականացրեց, որտեղ մոդելը գեներացնում էր տեքստ նույնիսկ ոչ թե բառերով, այլ տառերով: Նա չէր հավատում, թե նեյրոցանցը ունակ կլինի ինչ-որ իմաստավորված բան սովորելու տեքստերի հիման վրա մի քանի օրվա ընթացքում, սակայն արդյունքը անսպասելիորեն լավն էր․ մոդելը ճիշտ ուղղագրությամբ էր կազմում տարբեր բառեր, հասկանում էր լեզվի կառուցվածքը և կարող էր գեներացնել տեքստ առանց անիմաստ կրկնությունների:

Ինչո՞ւ է տեքստը մոդելին մտածել սովորեցնելու լավագույն միջոցը

Վերջին տասնամյակներում լեզվական մոդելները ավելի են շատացել՝ սովորելով տեքստերի ավելի մեծ բազաների հիման վրա՝ փաստացիորեն այն ամենի, ինչը ստեղծված է մարդկության կողմից համացանցի գոյության ողջ ընթացքում: Պարզվեց, որ եթե մոդելին  սովորեցնում ես վերարտադրել տեքստ, այն սկսում է ցույց տալ մտածողության նշաններ, պատասխանել հարցերի, խնդիրներ լուծել: Բեկումնային եղավ այն պահը, երբ սկսեցին մոդելները նաև սովորեցնել երկխոսություն վարել․ հենց այդպես էլ առաջացավ ChatGPT-ն: Հավելյալ ուսուցման շնորհիվ այդ նեյրոցանցը սովորել է ոչ միայն փաստեր տալ, այլ շփվել օգտատերերի հետ կենդանի, կառուցվածքային ձևով, բացատրություններ տրամադրել և oգնել պլանավորումների հարցում:

Համացանցի հիման վրա ինչ-որ բան սովորելը բավականին բարդ է․ բազան չափից շատ լայնածավալ է։ Ժամանակակից մոդելները սովորում են ամենատարբեր տվյալների հիման վրա՝ գիտական հրապարակումներ, ֆորումներ, գեղարվեստական գրքեր, սոցցանցեր, ապրանքների ուղեցույցներ: Սակայն կարևոր է ոչ միայն աղբյուրների բազմազանությունը, այլև հավելյալ ուսուցման հատուկ մեթոդները, որոնք սահմանում են մոդելի պատասխանների կառուցվածը և «շփման ոճը»: Ոչ այնքան զգացմունքայնությունը, որքան հասկանալի, տեղին և հստակ պատասխանել կարողանալու ունակությունն է դարձել ChatGPT-ի հիմնական մրցակցային առավելությունը: Հենց լայնածավալ  ուսուցման և «հավելյալ» կատարելագործման համադրությունն է մոդելը դարձրել իսկապես լայնորեն տարածված և օգտակար: ChatGPT-ի կողմից ցուցադրված ունակությունները նույնիսկ ոլորտի մասնագետների համար եղան անսպասելի․ ոչ ոք չէր մտածում, որ լեզվական մոդելը կարող է այդքան որակյալ կերպով բացատրել, օգնել պլանավորման հարցում և նույնիսկ «կենդանի» երկխոսություն վարել օգտատիրոջ հետ:

Ի՞նչ կա մեծ մոդելների ներսում. ֆիլտրեր, շերտեր և անորոշության գոտիներ

Ներկայիս քննարկումների առարկաներից մեկը մնում է նեյրոցանցերի այսպես կոչված «սև արկղը». մենք մինչև վերջ չենք հասկանում, թե ինչպես են մոդելի ներսում առաջանում բարդ պատասխաններ: Միխայիլ Բուրցևը ընդգծում է՝ կարևոր է հասկանալ, որ լեզվական մոդելները սեփական մոտիվացիա, նպատակներ կամ ձգտումներ չունեն: Դրանք գործիք են, որ ուղղակի տվյալների հիման վրա  կանխագուշակում են առավել հավանական հաջորդ բառը՝ որոշակի տվյալների հիման վրա: Բոլոր տեսակի բարոյական սահմանափակումները և ֆիլտրերը ներդրվում են բացառապես համակարգի ստեղծողների կողմից։ Եթե օգտատերը խնդրի մոդելին ինչ-որ վտանգավոր բան անել, ապա այն, ամենայն համանականությամբ, կհրաժարվի կամ զգուշորեն կխուսափի պատասխանելուց: 

Մեկ այլ տարածված վախ է ԱԲ-ից կախված լինելու աստիճանական աճը: Ժամանակակից բիզնեսում ԱԲ-ն ավելի ակտիվ է ինտեգրվում տարբեր գործընթացներում՝ ավտոմատացումից մինչև հաճախորդների սպասարկում: Երբեմն մտահոգություն է բարձրաձայնվում առ  այն, որ ԱԲ համակարգերը կարող են «իրենց ձեռքը վերցնել» կառավարումը կամ ընդունել ինքնուրույն որոշումներ, որոնք կվնասեն ընկերությանը: Բայց գործնականում դա հնարավոր չէ. ինչպես արդեն ասացինք, մոդելները չունեն մոտիվացիա կամ սեփական նպատակներ, դրանք միշտ կարելի է անջատել կամ փոխարինել: Ղեկավարելու բանալին գրագետ գործարկման և տեխնոլոգիաների սահմանափակումները հասկանալու մեջ է:

Ինչպիսի՞ LLM-ներ կան այսօր շուկայում, և ինչո՞վ են դրանք տարբերվում

Այսօր շուկայում ներկայացված են բազմաթիվ լեզվական մոդելներ՝ OpenAI-ի ChatGPT-ից մինչև Anthropic-ի Claude, Google-ի Gemini-ից մինչև DeepSeek և այլն: Դրանց հիմնական առանձնահատկությունները ոչ այնքան հիմնական կառուցվածքի մեջ են (բոլորի համար այն գրեթե նույնն է՝ տրանսֆորմերներ), որքան դետալների. ինչպես են հավաքված և ընտրված ուսուցման տվյալները, ինչպես է իրականացվում օպտիմալացումը, ինչ եղանակով են պատասխանները վերամշակվում: Օգտատիրոջ համար կարևոր է, որ տարբեր մոդելներ տարբեր կերպ են հաղթահարում որոշ խնդիրներ, և յուրաքանչյուր ոք ընտրում է ամենահարմար տարբերակը:

LLM-ները ցույց են տալիս տարբեր արդյունքներ,՝ կախված կիրառման ոլորտից: Դրանք համեմատվում են բազմաթիվ թեստերի միջոցով՝ դպրոցական ստանդարտ վարժություններից մինչև մաթեմատիկայի օլիմպիադայի առաջադրանքներ, ինչպես նաև հատուկ մշակված մեթոդների օգնությամբ, որոնք բացառում են համացանցից պատասխանները «կռահելու» տարբերակը: Մոդելների միջև հիմնական տարբերություններից մեկը կոնտեքստի երկարությունն է. որոշները ունակ են մշակելու 100-200 հազար տոկեն, որոշները՝ մինչև միլիոն և ավելի: Սակայն գործնականում մոդելներից շատերը օգտագործում են իրենց հասանելի կոնտեքստի ընդամենը 10-15 տոկոսը: Այդ պատճառով էլ կիրառական խնդիրներ լուծելիս խորհուրդ է տրվում տեքստը բաժանել փոքր մասերի: Մոդելի՝ կոնտեքստի համար օպտիմալ ծավալ 5-10 էջ է․ այս ծավալը գերազանցելու դեպքում կորչում են կենտրոնացումը ու դետալները, և պատասխանների որակը վատանում է: Եթե առաջադրանքը երկար է, ապա ավելի լավ է այն մասերի բաժանել կամ խնդրել մոդելին  հիշեցնել սկզբնական երկխոսության հիմնական փաստերը:

Խոսելով մոդելների միջև տարբերությունների մասին՝ կարևոր է ընգծել, որ ԱԲ տարբեր  համակարգեր տարբեր նպատակների համար են նախատեսված: Օրինակ այն մոդելները, որոնք գերազանցապես կոդերի հիման վրա են ուսուցանված, ավելի լավ են հաղթահարում ծրագրավորման խնդիրներ, իսկ տեքստի վրա կենտրոցված մոդելը կարող ենք ավելի լավ գործել ստեղծագործելու և երկխոսության հետ կապված հարցերում: Ընկերությունները հազվադեպ են բացահայտում իրենց մոդելների ուսուցման վերաբերյալ ամբողջական տվյալները, այդ պատճառով էլ օգտատերերը հաճախ իրենք են փորձարկումներ անում, կիսվում դիտարկումներով և ընտրում կոնկրետ խնդրի ավելի լավ համապատասխանող որոշումը: 

Ոլորտի զարգացումը տեղի է ունենում ոչ միայն  հաշվողական հզորության աճի հաշվին, այլ նաև հաջողված որոշումները ընդօրինակելու շնորհիվ: Այսպես՝ երբ DeepSeek-ը ներդրեց մտածողության միջանկյալ քայլերի տեսապատկերումը, այլ խոշոր մոդելներ նույնպես սկսեցին ցույց տալ պատասխանները գեներացնելու քայլերը: Բացի այդ՝ օգտատերերը սկսում են գնալով ավելի արդյունավետորեն աշխատել ԱԲ-ի հետ․ որոշ մոդելներ պահանջում են ավելի հստակ հրահանգներ, մյուսներն էլ լավ են հաղթահարում նույնիսկ ոչ պաշտոնական կերպով նկարագրված առաջադրանքներ:

Համարվում է, որ առանց բազմամիլիարդ ներդրումների՝ սեփական մեծ լեզվական մոդել հնարավոր չէ ստեղծել․ ավելի հեշտ է մշակել գործակալներ և արդեն գոյություն ունեցող համակարգերի վրա հավելումներ իրականացնել: Սակայն, DeepSeek-ի օրինակը ցույց է տալիս, որ հաջողությունը հնարավոր է ոչ միայն ֆինանսավորման շնորհիվ, այլև ինժիներական նորարարական որոշումների և գիտական նվաճումների արագ ինտեգրման շնորհիվ: Չինացի ինժիներները ուղղակի զգուշորեն կիրառել են ոլորտի լավագույն ավանդույթները և դրանք մյուսներից ավելի արագ յուրացրել:

Ապագայի ճարտարապետությունը.  Mixture of Experts և հիբրիդային մոտեցումներ

ԱԲ ճարտարապետական թրենդներից մեկը՝ Mixture of Experts՝ «մասնագիտացված խառնուրդ»-ն է: Մեկ ունիվերսալ և մեծ մոդելի փոխարեն կիրառվում է ավելի փոքր մասնագիտացված մոդելների համակարգ, որոնցից յուրաքանչյուրը արդյունավետորեն լուծում է իր խնդիրների ենթադասը: Այսպիսի մոտեցումը խնայում է ռեսուրսները, բարձրացնում է աշխատանքի արագությունը և ճկուն կերպով  ադապտացվում  է տարբեր պահանջների: DeepSeek-ում նույնպես ներդրվել է խառը ճարտարապետություն. կա ընդհանուր «ուղեղ» և մասնագիտացված «փորձագետներ», իսկ արդյունքը  համեմատելի է մեկ մեծ մոդելների հետ, բայց ավելի քիչ ծախսերի առկայությամբ:

Բացի այդ DeepSeek-ը կիրառում է ոչ միայն Mixture of Experts, այլև զտման մեթոդը: Սա նշանակում է, որ մեծ մոդելը «սեղմվում է» ավելի կոմպակտ զտվածքների, որոնք հետագայում համակցվում են արդյունավետությունը բարձրացնելու համար:

Վերջին հետազոտությունները ցույց տվեցին, որ նեյրոցանցը տրամաբանում է ավելի լավ,  եթե գեներացնում է միջանկյալ քայլերը: Պարզվում է, որ եթե սովորեցնել մոդելին տալ ոչ միայն վերջնական պատասխանը, այլև քայլ առ քայլ ձևակերպել դատողությունը  (բարդ խնդիրը վերածել պարզ ենթախնդիրների),   որոշումների որակը և խորությունը զգալիորեն աճում են: Այս ռազմավարությունը հիմա ակտիվորեն կիրառում են նոր LLM-ներ ստեղծելիս:

Մասնավորաապես  DeepSeek-ը կիրառել է ամրապնդմամբ ուսուցում, որի դեպքում մարդն ընտրում է մոդելի լավագույն դատողությունը․ սա համակարգին թույլ է տալիս աստիճանաբար մեծացնել դատողության բարդությունն ու ծավալը:

LLM-ը և կենսաբանությունը. ինչպե՞ս են մոդելները օգնում վերծանել գենոմը

Այսօր LLM-ը ավելի ակտիվորեն է կիրառվում գիտության մեջ՝ ֆիզիկայից մինչև կենսաբանություն: Մասնավորապես, մոդելներն արդեն օգնում են վերլուծել գենոմային տվյալները, կանխատեսել սպիտակուցների կառուցվածքները, ուսումնասիրել բարդ կենսաբանական գործընթացների դինամիկան։ Քանի որ կենդանի օրգանիզմների մասին հիմնարար գիտելիքը ամփոփված է ԴՆԹ-ում։ Միևնույն ժամանակ գենոմային տվյալները գնալով շատանում են և արդեն համեմատելի են տեքստային բազաների հետ, որոնց հիման վրա էլ ուսուցվում են լեզվական մոդելները․ սա թույլ կտա ստեղծել նոր մատերիալներ և հիմնարար մոդելներ կենսաբանության, բժշկության համար։

ԴՆԹ-ի վերլուծության համար մեծ մոդելների հայտնվելը գիտնականներին կտրամադրի էապես նոր գործիքներ․ հնարավոր կլինի ոչ միայն կանխատեսել առկա օրգանիզմների հատկությունները, այլև մոդելավորել նոր ֆենոտիպեր, փորձարկել գեների տարբեր համակցություններ։ Այս ամենը կենսատեխնոլոգիայի և բժշկության ոլորտում հեղափոխության տանող ուղիներ են։

Թարգմանիչ՝ Սյուզաննա Ղազարյան  (Syuzanna Ghazaryan) © Բոլոր իրավունքները պաշտպանված են: