Воркшопты өткізу туралы есеп «Үлкен тілдік модельдер (LLM). LLM үшін NVIDIA бағдарламалық және аппараттық стек»

Модераторлар:

Рахимова Диана - PhD доктор, ақпараттық жүйелер кафедрасының доценті;

Қасымбек Нұрислам – информатика кафедрасының аға оқытушысы;

Тюлепбердинова Гүлнұр - ф.- м.ғ.к., жасанды интеллект және Big Data кафедрасының қауымдастырылған профессоры

 

Күні: 23 ақпан 2024

Өткен орыны: Digital Farabi форумы аясында Алматы қ., Әл-Фараби атындағы ҚазҰУ

Ұйымдастырушылары: әл-Фараби атындағы ҚазҰУ, Ақпараттық технологиялар факультеті

 

Өткізу форматы: аралас

Қатысушылар: жоғары оқу орындары мен ғылыми-зерттеу институттарының өкілдері:

- Әл-Фараби атындағы ҚазҰУ;

- Жәңгір хан атындағы БҚАТУ;

- Қорқыт ата атындағы Қызылорда университеті;

- Esil University;

- Астана халықаралық университеті;

- Ш. Есенов атындағы Каспий технология және инжиниринг университеті;

- Математика және математикалық модельдеу институты;

- Ақпараттық және есептеу технологиялары институты;

- М.С. Нәрікбаев атындағы КАЗГЮУ университеті;

- Л. Н. Гумилев атындағы Еуразия ұлттық университеті;

- А. Байтұрсынұлы атындағы тіл білімі институты;

- "Тұран" университеті;

- Astana IT University;

- Қазақстан-Британ техникалық университеті;

- И. Раззаков және т.б. атындағы Қырғыз мемлекеттік техникалық университеті.

 

Қатысушылардың жалпы саны: офлайн - 42 адам, онлайн – 44 адам.

Қатысушыларды алдын ала тіркеу: онлайн форматта.

 

Мақсаты мен мазмұны

Дөңгелек үстелдің мақсаты: LLM үшін NVIDIA бағдарламалық және аппараттық стегімен танысу және үлкен тілдік модельдерді теңшеу, оқыту және қолдануға шолу.

Баяндама:

1. Джораев Антон, NVIDIA корпорациясының корпоративтік бизнесті дамыту жөніндегі аға менеджері; Олег Овчаренко, NVIDIA энергетика, жоғары өнімді есептеу, NVIDIA корпорациясының ЖИ шешімдерінің архитекторы – «Үлкен тілдік модельдерді баптау, оқыту және қолдану. LLM үшін NVIDIA бағдарламалық және аппараттық стек".

 

Баяндаманың қысқаша мазмұны

Қарастырылған тақырыптар:

• Intro and challenges

• Data handling (RAPIDS)

• Training (NeMo)

• Customization

• Optimization (TRT-LLM)

• Inference (Triton Server)

• Moderation (NeMo Guardrails)

 

Воркшопта «Үлкен тілдік модельдер (LLM). LLM үшін NVIDIA бағдарламалық және аппараттық стек», NVIDIA жүргізген, генеративті ЖИ саласындағы ағымдағы даму мен болашақ трендтерге егжей-тегжейлі шолу жасалды, NVIDIA-ның аппараттық жеделдету, бағдарламалық қамтамасыз ету және ЖИ модельдерін әзірлеу аспектілеріне қосқан үлесіне назар аударды. Кіріспе, генеративті жасанды интеллекттің маңыздылығына және оның әртүрлі секторларға қосқан әлеуетті үлесіне арналды.

 

 

 

Ары қарай, NVIDIA платформасының архитектурасы мен мүмкіндіктері, олардың жұмыс процестері, оның ішінде үлкен тілдік модельдерді және генеративті ЖИжәне басқа да міндеттерін қолдауға баса назар аударды.

Презентацияның маңызды бөлімдері саладағы қарқынды дамуды және негізгі модельдерді, үлкен тілдік модельдердің жұмыс істеу принциптерін және NVIDIA-ның ЖИ модельдерін тиімді оқыту және енгізу үшін NeMo шеңберін ашты. Генеративті және қосымшаларды құру кезінде компаниялардың алдында тұрған қиындықтар талқыланды және NVIDIA-ның ЖИ платформасы арқылы шешімдер ұсынылды, оның ішінде деректерді өңдеу, модельдерді оқыту, оларды баптау және шығару үшін оңтайландыру құралдары бар екендігіне тоқталды. Оқытудағы NeMo шеңберінің өнімділігі, модельдердің тиімділігі үшін деректерді өңдеудің рөлі және NVIDIA жеделдетілген есептеу мүмкіндіктерін пайдалану үшін кодтың минималды өзгеруінің артықшылығы атап өтілді. Сондай-ақ, ашық бағдарламалық жасақтама, жедел деректерді өңдеуге арналған RAPIDS құралдар жинағы және NVIDIA-дан машиналық оқыту, байланыс аналитикасы және басқа ЖИ қосымшалары үшін GPU жеделдетілген кітапханалар мен құралдарды пайдаланудың артықшылықтары арқылы деректерді демократияландыруға баса назар аударылды.

 

Қорытынды

• Үлкен тілдік модельдермен (LLM) жұмыс істеуге арналған NVIDIA шешімдері қарастырылды. Осы шешімдерді пайдалану бойынша қысқаша нұсқаулық берілді. Воркшоп қатысушылары осылайша LLM үшін қуатты құралдарды пайдалану мүмкіндігіне ие болды.

 

Іс-шараның өзектілігі:

1) LLM ол ЖИ тренді және өзекті бағыты болып табылады. LLM-мен жұмыс істеуге арналған құралдар қарастырылды. Параллелизм арқылы модельдерді жеделдету міндеті де өте өзекті, воркшопта олардың түрлері қарастырылды.

 

Әсері:

Воркшоп қатысушылары GPU, әртүрлі параллельдеу әдістері арқылы модельдерді жеделдету процесі, сондай-ақ LLM үшін қуатты құралдарды пайдалану мүмкіндігі туралы нақты түсінік алды.