2013 թվականին գերմանական շինարարական ընկերության աշխատակիցները մի տարօրինակ բան նկատեցին իրենց Xerox պատճենահանող սարքի աշխատանքում. երբ նրանք պատճենահանում էին տան հատակագիծը, պատճենը նկատելիորեն, թեև նրբորեն, տարբերվում էր բնօրինակից: Բնօրինակ հատակագծում տան երեք սենյակներից յուրաքանչյուրի կողքին կար դրանց մակերեսը նշող ուղղանկյուն. սենյակներն համապատասխանաբար 14.13, 21.11 և 17.42 քառակուսի մետր էին: Սակայն պատճենի վրա բոլոր երեք սենյակներն էլ նշված էին որպես 14.13 քառակուսի մետր մակերես ունեցող: Ընկերությունը դիմեց համակարգչային գիտնական Դավիթ Կրայզելին՝ այս անհավանական թվացող արդյունքն ուսումնասիրելու համար: Նրանց համակարգչային գիտնական էր անհրաժեշտ, որովհետև ժամանակակից Xerox պատճենահանող սարքը չի կիրառում 1960-ականներին լայն տարածում գտած ֆիզիկական քսերոգրաֆիկ գործընթացը: Փոխարենը, այն թվայնորեն սկանավորում է փաստաթուղթը, ապա տպում ստացված պատկերային ֆայլը: Համադրեք դա այն փաստի հետ, որ գրեթե բոլոր թվային պատկերային ֆայլերը սեղմվում են տեղ տնտեսելու համար, և այս առեղծվածի լուծումն ինքնաբերաբար ի հայտ է գալիս:
Ֆայլի սեղմումը երկու փուլ է պահանջում. նախ՝ կոդավորում, որի ընթացքում ֆայլը վերածվում է առավել հոծ ձևաչափի, և ապա՝ ապակոդավորում, որով գործընթացը շրջարկվում է: Եթե վերականգնված ֆայլը նույնական է բնօրինակին, ապա սեղմման գործընթացը բնութագրվում է որպես անկորուստ. ոչ մի տեղեկատվություն դուրս չի նետվել: Ընդհակառակը, եթե վերականգնված ֆայլը բնօրինակի լոկ մոտարկումն է, սեղմումը բնութագրվում է որպես կորուստով. տեղեկատվության մի մասը դուրս է նետվել և այլևս անվերականգնելի է: Անկորուստ սեղմումը սովորաբար կիրառվում է տեքստային ֆայլերի և համակարգչային ծրագրերի համար, քանի որ դրանք այն տիրույթներն են, որտեղ նույնիսկ մեկ սխալ նշանը կարող է աղետալի լինել: Կորուստով սեղմումը հաճախ կիրառվում է լուսանկարների, աուդիոյի և տեսանյութերի համար այն իրավիճակներում, երբ բացարձակ ճշգրտությունն էական չէ: Ժամանակի մեծ մասում մենք չենք նկատում, եթե պատկերը, երգը կամ ֆիլմը կատարելապես վերարտադրված չեն: Ճշգրտության կորուստը նկատելի է դառնում միայն այն ժամանակ, երբ ֆայլերը չափազանց սեղմվում են: Այդ դեպքերում մենք նկատում ենք այն, ինչ հայտնի է որպես սեղմման արտեֆակտներ՝ ամենափոքր JPEG և MPEG պատկերների աղոտությունը կամ ցածր բիթեյթով MP3-ների տկտկան, թիթեղյա հնչողությունը:
Xerox պատճենահանող սարքերն օգտագործում են JBIG2 կոչվող կորուստով սեղմման ձևաչափը, որը նախատեսված է սև-սպիտակ պատկերների համար: Տեղ տնտեսելու համար պատճենահանող սարքը նույնականացնում է պատկերի նմանատիպ տիրույթները և դրանց բոլորի համար պահպանում մեկ օրինակ. երբ ֆայլն ապասեղմվում է, այն բազմիցս օգտագործում է այդ օրինակը պատկերը վերակառուցելու համար: Պարզվեց, որ պատճենահանող սարքը սենյակների մակերեսը նշող նշագրումները բավարար չափով նման էր համարել, որպեսզի անհրաժեշտ համարեր պահպանել դրանցից միայն մեկը՝ 14.13-ը, և հատակագիծը տպելիս օգտագործել էր այդ մեկը բոլոր երեք սենյակների համար:
Այն փաստը, որ Xerox պատճենահանող սարքերն օգտագործում են կորուստով, այլ ոչ թե անկորուստ սեղմման ձևաչափ, ինքնին խնդիր չէ: Խնդիրն այն էր, որ պատճենահանող սարքերը որակազրկում էին պատկերը նուրբ եղանակով, որտեղ սեղմման արտեֆակտներն անմիջապես ճանաչելի չէին: Եթե պատճենահանող սարքը պարզապես աղոտ տպագրություն տար, բոլորը կմանային, որ դրանք բնօրինակների ճշգրիտ վերարտադրությունը չեն: Խնդիրների հանգեցրեց այն փաստը, որ սարքը արտադրում էր ընթեռնելի, բայց սխալ թվեր. այն ստեղծում էր տպավորություն, թե պատճենները ճշգրիտ են, մինչդեռ դրանք այդպիսին չէին: (2014 թվականին Xerox-ը թողարկեց ծրագրային թարմացում՝ այս խնդիրը շտկելու համար):
Կարծում եմ՝ Xerox պատճենահանող սարքի հետ կապված այս միջադեպը արժե մտքում պահել այսօր, երբ դիտարկում ենք OpenAI-ի ChatGPT-ն և նմանատիպ այլ ծրագրեր, որոնք արհեստական բանականության հետազոտողներն անվանում են լեզվական խոշոր մոդելներ: Պատճենահանող սարքի և լեզվական խոշոր մոդելի միջև նմանությունը թերևս անմիջապես ակնհայտ չլինի, բայց դիտարկենք հետևյալ սցենարը: Պատկերացրեք, որ պատրաստվում եք ընդմիշտ կորցնել Համացանցի հասանելիությունը: Նախապատրաստվելով՝ դուք ծրագրում եք ստեղծել համացանցի ողջ տեքստի սեղմված պատճենը, որպեսզի այն պահպանեք անձնական սերվերի վրա: Դժբախտաբար, ձեր անձնական սերվերն ունի պահանջվող տարածքի ընդամենը մեկ տոկոսը. դուք չեք կարող օգտագործել անկորուստ սեղմման ալգորիթմ, եթե ցանկանում եք, որ ամեն ինչ տեղավորվի: Փոխարենը, դուք գրում եք կորուստով ալգորիթմ, որը նույնականացնում է տեքստի վիճակագրական օրինաչափությունները և պահպանում դրանք մասնագիտացված ֆայլային ձևաչափով: Քանի որ դուք ունեք գրեթե անսահմանափակ հաշվողական հզորություն այս առաջադրանքին հատկացնելու համար, ձեր ալգորիթմը կարող է նույնականացնել արտակարգ նրբերանգային վիճակագրական օրինաչափություններ, և դա ձեզ թույլ է տալիս հասնել հարյուրը մեկի ցանկալի սեղմման հարաբերակցությանը:
Այժմ Համացանցի հասանելիությունը կորցնելն այնքան էլ սարսափելի չէ. դուք ձեր սերվերում պահված ունեք Համացանցի ողջ տեղեկատվությունը: Միակ խնդիրն այն է, որ քանի որ տեքստն այնքան ուժգին է սեղմվել, դուք չեք կարող տեղեկատվություն փնտրել՝ ճշգրիտ մեջբերում փնտրելով. դուք երբեք ճշգրիտ համընկնում չեք ստանա, որովհետև բառերն այն չեն, ինչ պահպանվում է: Այս խնդիրը լուծելու համար դուք ստեղծում եք ինտերֆեյս, որն ընդունում է հարցումներ հարցերի տեսքով և պատասխանում է պատասխաններով, որոնք փոխանցում են ձեր սերվերում եղածի էությունը:
Այն, ինչ նկարագրեցի, շատ է նման ChatGPT-ին կամ գրեթե ցանկացած այլ լեզվական խոշոր մոդելի: Դիտարկեք ChatGPT-ն որպես Համացանցի ողջ տեքստի աղոտ JPEG պատկեր: Այն պահպանում է Համացանցի տեղեկատվության մեծ մասը նույն կերպ, ինչպես JPEG-ը պահպանում է ավելի բարձր կետայնությամբ պատկերի տեղեկատվության մեծ մասը, բայց եթե փնտրում եք բիթերի ճշգրիտ հաջորդականություն, չեք գտնի այն. այն ամենը, ինչ երբևէ ստանալու եք, մոտարկումն է: Բայց քանի որ մոտարկումը ներկայացվում է քերականական տեքստի տեսքով, որի ստեղծման գործում ChatGPT-ն գերազանցում է, այն սովորաբար ընդունելի է: Դուք դեռ նայում եք աղոտ JPEG-ին, բայց աղոտությունը տեղի է ունենում այնպիսի եղանակով, որը պատկերը որպես ամբողջություն ավելի պակաս հստակ չի դարձնում:
Կորուստով սեղմման հետ այս զուգահեռը լոկ տարբեր բառերի օգտագործմամբ Համացանցում գտնված տեղեկատվությունը վերափաթեթավորելու ChatGPT-ի հմտությունը հասկանալու միջոց չէ: Սա նաև միջոց է հասկանալու «հալյուցինացիաները» կամ փաստացի հարցերին տրվող անհեթեթ պատասխանները, որոնց չափազանց հակված են լեզվական խոշոր մոդելները, ինչպիսին ChatGPT-ն է: Այս հալյուցինացիաները սեղմման արտեֆակտներ են, բայց—Xerox պատճենահանող սարքի գեներացրած սխալ նշագրումների նման—դրանք բավականաչափ հավանական են, որպեսզի դրանց նույնականացումը պահանջի դրանք համեմատել բնօրինակների հետ, ինչը տվյալ դեպքում նշանակում է կամ Համացանցը, կամ աշխարհի մասին մեր սեփական գիտելիքները: Երբ մենք մտածում ենք դրանց մասին այս լույսի ներքո, նման հալյուցինացիաներն ամենևին զարմանալի չեն. եթե սեղմման ալգորիթմը նախագծված է տեքստը վերակառուցելու համար այն բանից հետո, երբ բնօրինակի իննսունինը տոկոսը դուրս է նետվել, մենք պետք է ակնկալենք, որ նրա գեներացրածի զգալի մասն ամբողջությամբ հորինված կլինի:
Այս զուգահեռն էլ ավելի մեծ իմաստ է ստանում, երբ հիշում ենք, որ կորուստով սեղմման ալգորիթմների կողմից օգտագործվող ընդհանուր տեխնիկան ինտերպոլյացիան է (միջարկումը)—այսինքն՝ պակասողը գնահատելը՝ նայելով ճեղքի երկու կողմերում եղածին: Խմբագրման ծրագիրը, լուսանկար ցուցադրելիս, երբ ստիպված է վերակառուցել սեղմման գործընթացում կորսված փիքսելը, նայում է մոտակա փիքսելներին և հաշվարկում միջինը: Ահա թե ինչ է անում ChatGPT-ն, երբ նրան հանձնարարվում է նկարագրել, ասենք, չորացնող սարքում գուլպա կորցնելը՝ օգտագործելով Անկախության հռչակագրի ոճը. այն վերցնում է երկու կետ «բառապաշարային տիրույթում» և գեներացնում է տեքստը, որը կզբաղեցնեի դրանցմիջև եղած տարածությունը: («Երբ մարդկային իրադարձությունների ընթացքում անհրաժեշտ է դառնում, որ մարդն իր հագուստը զատի դրա զույգից՝ դրա մաքրությունն ու կարգուկանոնը պահպանելու նպատակով…»): ChatGPT-ն այնքան հմուտ է ինտերպոլյացիայի այս ձևում, որ մարդիկ այն զվարճալի են համարում. նրանք հայտնաբերել են «աղոտացման» գործիք պարբերությունների համար՝ լուսանկարների փոխարեն, և մեծ հաճույքով խաղում են դրա հետ:
Հաշվի առնելով, որ լեզվական խոշոր մոդելները, ինչպիսին ChatGPT-ն է, հաճախ փառաբանվում են որպես արհեստական բանականության առաջամարտիկ ձեռքբերում, դրանք որպես տեքստի կորուստով սեղմման ալգորիթմներ նկարագրելը կարող է արհամարհական—կամ առնվազն հիասթափեցնող—հնչել: Ես իրոք կարծում եմ, որ այս հեռանկարն առաջարկում է օգտակար սրբագրում լեզվական խոշոր մոդելները մարդակերպացնելու (անտրոպոմորֆացնելու) միտմանը, բայց սեղմման զուգահեռին վերաբերող մեկ այլ կողմ էլ կա, որն արժե դիտարկել: 2006 թվականից ի վեր Մարկուս Հութեր անունով ԱԲ հետազոտողը դրամական պարգև է առաջարկում—հայտնի որպես Մարդկային գիտելիքի սեղմման մրցանակ կամ Հութերի մրցանակ—յուրաքանչյուրին, ով կարող է անկորուստ սեղմել Վիքիպեդիայի որոշակի մեկ գիգաբայթանոց պահապատկերը ավելի փոքր ծավալի, քան նախորդ մրցանակակիրն է արել: Դուք հավանաբար հանդիպել եք zip ֆայլային ձևաչափով սեղմված ֆայլերի: Zip ձևաչափը Հութերի մեկ գիգաբայթանոց ֆայլը նվազեցնում է մինչև մոտ երեք հարյուր մեգաբայթ. ամենավերջին մրցանակակրին հաջողվել է այն հասցնել հարյուր տասնհինգ մեգաբայթի: Սա լոկ սեղմելու վարժություն չէ: Հութերը հավատացած է, որ տեքստի ավելի լավ սեղմումը վճռորոշ նշանակություն կունենա մարդկային մակարդակի արհեստական բանականության ստեղծման գործում, մասամբ այն պատճառով, որ սեղմման ամենաբարձր աստիճանին կարելի է հասնել տեքստը հասկանալու միջոցով:
Սեղմման և հասկանալու միջև առաջարկվող փոխհարաբերությունը ըմբռնելու համար պատկերացրեք, որ ունեք տեքստային ֆայլ, որը պարունակում է գումարման, հանման, բազմապատկման և բաժանման մեկ միլիոն օրինակ: Թեև ցանկացած սեղմման ալգորիթմ կարող է նվազեցնել այս ֆայլի չափսը, սեղմման ամենամեծ հարաբերակցությանը հասնելու եղանակը, թերևս, թվաբանության սկզբունքները արտածելն է, իսկ այնուհետև հաշվիչ ծրագրի կոդ գրելը: Օգտագործելով հաշվիչ՝ դուք կարող եք կատարելապես վերակառուցել ոչ միայն ֆայլի մեկ միլիոն օրինակները, այլև թվաբանության ցանկացած այլ օրինակ, որին կարող եք հանդիպել ապագայում: Նույն տրամաբանությունը կիրառելի է Վիքիպեդիայի հատվածը սեղմելու խնդրի նկատմամբ: Եթե սեղմման ծրագիրը գիտի, որ ուժը հավասար է զանգվածի և արագացման արտադրյալին, նա կարող է դուրս նետել բազմաթիվ բառեր ֆիզիկային վերաբերող էջերը սեղմելիս, որովհետև ի վիճակի կլինի վերակառուցել դրանք: Նմանապես, որքան շատ ծրագիրը գիտի պահանջարկի և առաջարկի մասին, այնքան ավելի շատ բառեր կարող է դուրս նետել տնտեսագիտությանն առնչվող էջերը սեղմելիս, և այդպես շարունակ:
Լեզվական խոշոր մոդելները նույնականացնում են տեքստի վիճակագրական օրինաչափությունները: Համացանցի տեքստի ցանկացած վերլուծություն ցույց կտա, որ «առաջարկը ցածր է» արտահայտության նման ֆրազները հաճախ հանդես են գալիս «գները բարձրանում են» արտահայտության անմիջական հարևանությամբ: Այս փոխկապակցվածությունն ներառող չաթբոտը, առաջարկի պակասուրդի ազդեցության մասին հարցին պատասխանելիս, կարող է արձագանքել գների բարձրացման վերաբերյալ պատասխանով: Եթե լեզվական խոշոր մոդելը հավաքագրել է տնտեսագիտական տերմինների միջև հսկայական թվով փոխկապակցվածություններ—այնքան շատ, որ կարող է հավանական պատասխաններ առաջարկել հարցերի լայն շրջանակի—արդյո՞ք պետք է ասենք, որ այն իրոք հասկանում է տնտեսագիտական տեսությունը: ChatGPT-ի նման մոդելները իրավասու չեն Հութերի մրցանակի համար տարբեր պատճառներով, որոնցից մեկն այն է, որ դրանք ճշգրտորեն չեն վերակառուցում բնօրինակ տեքստը—այսինքն՝ չեն կատարում անկորուստ սեղմում: Բայց հնարավո՞ր է արդյոք, որ դրանց կորուստով սեղմումն, այնուամենայնիվ, վկայի իրական ըմբռնման մասին՝ այնպիսի, որով հետաքրքրված են ԱԲ հետազոտողները:
Վերադառնանք թվաբանության օրինակին: Եթե խնդրեք GPT-3-ին (լեզվական խոշոր մոդելը, որի հիման վրա կառուցվել է ChatGPT-ն) գումարել կամ հանել մի զույգ թվեր, այն գրեթե միշտ պատասխանում է ճիշտ պատասխանով, երբ թվերը երկնիշ են: Բայց նրա ճշգրտությունը նկատելիորեն վատանում է ավելի մեծ թվերի դեպքում՝ իջնելով տասը տոկոսի, երբ թվերն հնգանիշ են: GPT-3-ի տված ճիշտ պատասխանների մեծ մասը չկա Համացանցում—չկան շատ վեբ էջեր, որոնք պարունակում են «245 + 821» տեքստը, օրինակ—այնպես որ այն զբաղված չէ պարզ անգիր անելով: Բայց, չնայած հսկայական ծավալի տեղեկատվություն կլանելուն, նրան չի հաջողվել նաև արտածել թվաբանության սկզբունքները: GPT-3-ի սխալ պատասխանների մանրակրկիտ ուսումնասիրությունը հուշում է, որ այն թվաբանություն կատարելիս մտքում «1»-ը չի պահում: Համացանցն, անշուշտ, պարունակում է մտքում «1» պահելու բացատրություններ, բայց GPT-3-ն ի վիճակի չէ ինտեգրել այդ բացատրությունները: Թվաբանության օրինակների վիճակագրական վերլուծությունը GPT-3-ին թույլ է տալիս արտադրել իրական երևույթի մակերեսային մոտարկումը, բայց ոչ ավելին:
Հաշվի առնելով GPT-3-ի ձախողումը տարրական դպրոցում ուսուցանվող առարկայից՝ ինչպե՞ս կարող ենք բացատրել այն փաստը, որ այն երբեմն թվում է, թե լավ է հանդես գալիս համալսարանական մակարդակի էսսեներ գրելիս: Թեև լեզվական խոշոր մոդելները հաճախ հալյուցինացնում են, երբ դրանք հստակամիտ են, հնչում են այնպես, կարծես իրոք հասկանում են տնտեսագիտական տեսության նման առարկաները: Թերևս թվաբանությունը հատուկ դեպք է, որին լեզվական խոշոր մոդելները վատ են հարմարեցված: Հնարավո՞ր է արդյոք, որ գումարումից և հանումից դուրս տիրույթներում տեքստի վիճակագրական օրինաչափություններն իրականում համապատասխանեն իրական աշխարհի իսկական գիտելիքին:
Կարծում եմ՝ կա ավելի պարզ բացատրություն: Պատկերացրեք, թե ինչպիսի տեսք կունենար, եթե ChatGPT-ն լիներ անկորուստ ալգորիթմ: Այդ դեպքում այն միշտ կպատասխաներ հարցերին՝ տրամադրելով համապատասխան վեբ էջից բառացի մեջբերում: Մենք, թերևս, ծրագրային ապահովումը կդիտարկեինք որպես ավանդական որոնողական համակարգի լոկ չնչին բարելավում և ավելի պակաս տպավորված կլինեինք դրանով: Այն փաստը, որ ChatGPT-ն վերաշարադրում է Համացանցի նյութը՝ բառ առ բառ մեջբերելու փոխարեն, ստեղծում է տպավորություն, թե ուսանողն իր սեփական բառերով է արտահայտում գաղափարները, այլ ոչ թե պարզապես վերարտադրում է իր ընթերցածը. դա ստեղծում է պատրանք, թե ChatGPT-ն հասկանում է նյութը: Մարդկային ուսանողների մոտ մեխանիկական անգիր անելը իսկական ուսուցման ցուցանիշ չէ, որով ChatGPT-ի անկարողությունը վեբ էջերից ճշգրիտ մեջբերումներ արտադրելու հարցում հենց այն է, ինչ մեզ ստիպում է մտածել, թե այն ինչ-որ բան է սովորել: Երբ գործ ունենք բառերի հաջորդականությունների հետ, կորուստով սեղմումն ավելի խելացի է թվում, քան անկորուստ սեղմումը:
Բազմաթիվ կիրառություններ են առաջարկվել լեզվական խոշոր մոդելների համար: Դրանց մասին որպես աղոտ JPEG-ների մտածելն առաջարկում է միջոց՝ գնահատելու, թե ինչի համար դրանք կարող են կամ չեն կարող հարմար լինել: Դիտարկենք մի քանի սցենար:
Կարո՞ղ են լեզվական խոշոր մոդելները զբաղեցնել ավանդական որոնողական համակարգերի տեղը: Որպեսզի մենք վստահություն ունենանք դրանց նկատմամբ, մեզ անհրաժեշտ կլինի իմանալ, որ դրանցով չեն մատուցվել քարոզչություն և դավադրության տեսություններ—մեզ անհրաժեշտ կլինի իմանալ, որ JPEG-ն որսում է Համացանցի ճիշտ հատվածները: Բայց նույնիսկ եթե լեզվական խոշոր մոդելը ներառում է միայն մեր ուզած տեղեկատվությունը, միևնույն է, կա աղոտության խնդիրը: Կա աղոտության տեսակ, որն ընդունելի է, այն է՝ տեղեկատվության վերաձևակերպումը տարբեր բառերով: Ապա կա բացահայտ հորինվածքի աղոտությունը, որը մենք անընդունելի ենք համարում, երբ փաստեր ենք փնտրում: Ակնհայտ չէ, թե արդյոք տեխնիկապես հնարավոր է պահպանել ընդունելի տեսակի աղոտությունը՝ միևնույն ժամանակ վերացնելով անընդունելին, բայց ես ակնկալում եմ, որ մենք դա կպարզենք մոտ ապագայում:
Նույնիսկ եթե հնարավոր է սահմանափակել լեզվական խոշոր մոդելներին հորինվածքներ անելուց, արդյո՞ք պետք է օգտագործենք դրանք վեբ բովանդակություն գեներացնելու համար: Սա իմաստ կունենար միայն այն դեպքում, եթե մեր նպատակն է վերափաթեթավորել Համացանցում արդեն իսկ հասանելի տեղեկատվությունը: Որոշ ընկերություններ գոյություն ունեն հենց դա անելու համար—մենք սովորաբար դրանք անվանում ենք բովանդակության աղբացանցեր (content mills): Թերևս լեզվական խոշոր մոդելների աղոտությունը օգտակար կլինի դրանց համար՝ որպես հեղինակային իրավունքի խախտումից խուսափելու միջոց: Ընդհանուր առմամբ, սակայն, ես կասեի, որ այն ամենը, ինչ լավ է բովանդակության աղբացանցերի համար, լավ չէ առցանց տեղեկատվություն փնտրող մարդկանց համար: Այս տեսակի վերափաթեթավորման աճն է, որ ներկայումս մեզ համար դժվարացնում է համացանցում մեր փնտրածը գտնելը. որքան շատ լեզվական խոշոր մոդելների կողմից գեներացված տեքստ է հրապարակվում Համացանցում, այնքան Համացանցն ավելի է վերածվում իր իսկ ավելի աղոտ տարբերակին:
Շատ քիչ տեղեկատվություն է հասանելի OpenAI-ի ChatGPT-ին հաջորդող GPT-4-ի մասին: Բայց ես մի կանխատեսում կանեմ. GPT-4-ի վերապատրաստման համար օգտագործվող տեքստի հսկայական ծավալը հավաքելիս OpenAI-ի մարդիկ ամեն ջանք գործադրած կլինեն բացառելու ChatGPT-ի կամ ցանկացած այլ լեզվական խոշոր մոդելի կողմից գեներացված նյութը: Եթե պարզվի, որ դա այդպես է, դա կծառայի որպես ոչ միտումնավոր հաստատում այն բանի, որ լեզվական խոշոր մոդելների և կորուստով սեղմման միջև զուգահեռն օգտակար է: JPEG-ը բազմիցս վերապահպանելը ստեղծում է սեղմման ավելի շատ արտեֆակտներ, որովհետև ամեն անգամ ավելի շատ տեղեկատվություն է կորչում: Դա հին օրերում պատճենների պատճենները բազմիցս անելու թվային համարժեքն է: Պատկերի որակն այն միայն վատանում է:
Իրոք, լեզվական խոշոր մոդելի որակը չափելու օգտակար չափանիշ կարող է լինել ընկերության պատրաստակամությունը՝ օգտագործելու դրա գեներացրած տեքստը որպես ուսուցողական նյութ նոր մոդելի համար: Եթե ChatGPT-ի արտադրանքը բավարար չէ GPT-4-ի համար, մենք դա կարող ենք ընդունել որպես ցուցանիշ, որ այն բավարար չէ նաև մեզ համար: Ընդհակառակը, եթե մոդելը սկսում է գեներացնել այնքան լավ տեքստ, որ այն կարող է օգտագործվել նոր մոդելներ վերապատրաստելու համար, ապա դա մեզ պետք է վստահություն տա այդ տեքստի որակի նկատմամբ: (Կասկածում եմ, որ նման արդյունքը կպահանջի խոշոր ճեղքում այս մոդելները կառուցելու համար օգտագործվող տեխնիկայում): Եթե և երբ մենք սկսենք տեսնել մոդելներ, որոնք արտադրում են այնքան լավ արտադրանք, որքան իրենց մուտքային տվյալներն են, ապա կորուստով սեղմման զուգահեռն այլևս կիրառելի չի լինի:
Կարո՞ղ են լեզվական խոշոր մոդելներն օգնել մարդկանց ինքնատիպ գրավոր խոսքի ստեղծման գործում: Դրան պատասխանելու համար մենք պետք է հստակեցնենք, թե ինչ նկատի ունենք այդ հարցով: Կա արվեստի մի ժանր, որը հայտնի է որպես Xerox արվեստ կամ պատճենահանման արվեստ, որտեղ արվեստագետներն օգտագործում են պատճենահանող սարքերի յուրահատուկ հատկությունները որպես ստեղծագործական գործիքներ: Այդ ուղղությամբ ինչ-որ բան անշուշտ հնարավոր է ChatGPT պատճենահանող սարքի միջոցով, այնպես որ, այդ իմաստով, պատասխանը դրական է: Բայց չեմ կարծում, որ որևէ մեկը կպնդի, թե պատճենահանող սարքերը դարձել են անվերապահորեն էական գործիք արվեստի ստեղծման գործում. արվեստագետների մեծագույն մասը դրանք չի օգտագործում իրենց ստեղծագործական գործընթացում, և ոչ ոք չի պնդում, թե նրանք իրենց անբարենպաստ պայմանների մեջ են դնում այդ ընտրությամբ:
Այնպես որ, ենթադրենք, թե մենք չենք խոսում գրելու նոր ժանրի մասին, որը համանման է Xerox արվեստին: Հաշվի առնելով այդ վերապահումը՝ արդյո՞ք լեզվական խոշոր մոդելների գեներացրած տեքստը կարող է օգտակար ելակետ լինել գրողների համար՝ հենվելով դրա վրա ինքնատիպ բան գրելու համար, լինի դա գեղարվեստական, թե ոչ գեղարվեստական: Արդյո՞ք լեզվական խոշոր մոդելին ձևական/կաղապարային մասերը վստահելը թույլ կտա գրողներին իրենց ուշադրությունը կենտրոնացնել իսկապես ստեղծագործական հատվածների վրա:
Ակնհայտորեն, ոչ ոք չի կարող խոսել բոլոր գրողների անունից, բայց թույլ տվեք ներկայացնել այն փաստարկը, որ ոչ ինքնատիպ աշխատանքի աղոտ պատճենով սկսելը լավ եղանակ չէ ինքնատիպ աշխատանք ստեղծելու համար: Եթե դուք գրող եք, դուք շատ ոչ ինքնատիպ աշխատանք կգրեք նախքան ինքնատիպ բան գրելը: Եվ այդ ոչ ինքնատիպ աշխատանքի վրա ծախսված ժամանակն ու ջանքերը ապարդյուն չեն. ընդհակառակը, ես կպնդեի, որ հենց դա է ձեզ ի վերջո հնարավորություն տալիս ստեղծելու ինքնատիպ որևէ բան: Ճիշտ բառն ընտրելու և նախադասությունները վերադասավորելու վրա ծախսված ժամերը՝ միմյանց ավելի լավ հաջորդելու համար, հենց այն են, ինչ ձեզ սովորեցնում է, թե ինչպես է իմաստը փոխանցվում արձակի միջոցով: Ուսանողներին էսսեներ գրել տալը լոկ նյութի նրանց ըմբռնումը ստուգելու միջոց չէ. դա նրանց փորձառություն է տալիս իրենց մտքերը ձևակերպելու գործում: Եթե ուսանողները երբեք չստիպված լինեն գրել էսսեներ, որոնք մենք բոլորս նախկինում կարդացել ենք, նրանք երբեք չեն ձեռք բերի հմտություններ, որոնք անհրաժեշտ են գրելու այնպիսի բան, որը մենք երբեք չենք կարդացել:
Եվ դա այնպես չէ, որ երբ դադարում եք ուսանող լինելուց, կարող եք ապահովերեն օգտագործել այն ձևանմուշը, որն ապահովում է լեզվական խոշոր մոդելը: Ձեր մտքերն արտահայտելու համար մղվող պայքարը չի անհետանում ավարտելուց հետո—այն կարող է տեղի ունենալ ամեն անգամ, երբ սկսում եք նոր ստեղծագործության նախագիծը: Երբեմն միայն գրելու գործընթացում է, որ դուք բացահայտում եք ձեր ինքնատիպ գաղափարները: Օմանք կարող են ասել, որ լեզվական խոշոր մոդելների արտադրանքն այնքան էլ տարբեր չէ մարդ գրողի առաջին սևագրից, բայց, դարձյալ, կարծում եմ՝ սա մակերեսային նմանություն է: Ձեր առաջին սևագիրը հստակ արտահայտված ոչ ինքնատիպ գաղափար չէ. դա վատ արտահայտված ինքնատիպ գաղափար է, և այն ուղեկցվում է ձեր անձև դժգոհությամբ, ձեր գիտակցմամբ այն հեռավորության, որը կա նրա ասածի և նրա միջև, ինչ դուք ուզում եք, որ այն ասի: Դա է ձեզ ուղղորդում վերագրման ընթացքում, և դա այն բաներից մեկն է, որը պակասում է, երբ սկսում եք ԱԲ-ի կողմից գեներացված տեքստով:
Գրելու մեջ չկա ոչ մի կախարդական կամ միստիկ բան, բայց այն ներառում է ավելին, քան առկա փաստաթուղթն անհուսալի պատճենահանող սարքի վրա դնելը և «Տպել» տախտակին սեղմելը: Հնարավոր է, որ ապագայում մենք կառուցենք ԱԲ, որն ի վիճակի կլինի գրելու լավ արձակ՝ հիմնված ոչ այլ ինչի վրա, քան աշխարհի սեփական փորձառության: Այն օրը, երբ հասնենք դրան, իրոք պատմական կլինի—բայց այդ օրը ընկած է մեր կանխատեսման հորիզոնից շատ հեռու: Մինչ այդ, բանական է հարցնել. ի՞նչ օգուտ կա այնպիսի բան ունենալուց, որը վերաշարադրում է Համացանցը: Եթե մենք ընդմիշտ կորցնեինք մեր հասանելիությունը Համացանցին և ստիպված լինեինք պատճենը պահպանել սահմանափակ տարածքով անձնական սերվերի վրա, ChatGPT-ի նման լեզվական խոշոր մոդելը կարող էր լավ լուծում լինել՝ ենթադրելով, որ այն կարելի է հետ պահել հորինվածքներ անելուց: Բայց մենք չենք կորցնում մեր հասանելիությունը Համացանցին: Այդ դեպքում որքանո՞վ է օգտակար աղոտ JPEG-ը, երբ դուք դեռ ունեք բնօրինակը:
9 փետրվարի, 2023 թ.
Անգլերենից թարգմանույթունը՝ Gemini
