Отчет о проведении воркшопа «Большие языковые модели (LLM). Программный и аппаратный стек NVIDIA для LLM»

Модераторы:

Рахимова Диана – доктор PhD, доцент кафедры информационных систем

Қасымбек Нұрислам – старший преподаватель кафедры компьютерных наук 

Тюлепбердинова Гульнур – к.ф.-м.н., ассоциированный профессор кафедры иcкусcтвенного интеллекта и Big Data

Дата: 23 февраля 2024

Место проведения: г.Алматы, КазНУ им аль-Фараби в рамках форума Digital Farabi

Организаторы: КазНУ им аль-Фараби, Факультет информационных технологий

Формат проведения: смешанный

Участники: представители ВУЗов и исследовательских институтов, таких как:

- КазНУ им аль-Фараби;

- ЗКАТУ имени Жангир хана;

- Кызылординский университет имени Коркыт ата;

- Esil University;

- Международный университет Астана;

- Каспийский Университет технологий и инжиниринга им. Ш. Есенова;

- Институт математики и математического моделирования;

- Институт информационных и вычислительных технологий;

- Университет КАЗГЮУ имени М.С. Нарикбаева;

- Евразийский национальный университет имени Л.Н. Гумилева;

- Институт языкознания им. А. Байтурсынулы;

- Университет «Туран»;

- Astana IT University;

- Казахстанско-Британский технический университет;

- Кыргызский Государственный Технический Университет им. И. Раззакова и тд.

Общее количество участников: оффлайн - 42 чел., онлайн – 44 чел.

Предварительная регистрация участников: в онлайн формате.

Цель и содержание

Цель Круглого стола: знакомство с программным и аппаратным стеком NVIDIA для LLM и обзор настройки, обучения и применения больших языковых моделей.

Доклад:

1. Джораев Антон, Старший менеджер по развитию корпоративного бизнеса корпорации NVIDIA, Олег Овчаренко, Архитектор решений NVIDIA в сфере энергетики, высокопроизводительных вычислений, ИИ корпорации NVIDIA –«Настройка, обучение и применение больших языковых моделей. Программный и аппаратный стек NVIDIA для LLM».

Резюме доклада

Рассмотренные темы:

• Intro and challenges

• Data handling (RAPIDS)

• Training (NeMo)

• Customization

• Optimization (TRT-LLM)

• Inference (Triton Server)

• Moderation (NeMo Guardrails)

На воркшопе "Большие языковые модели (LLM). Программный и аппаратный стек NVIDIA для LLM", проведенном NVIDIA, был озвучен детальный обзор текущего развития и будущих трендов в области генеративного ИИ, акцентируя внимание на вкладе NVIDIA в аспектах аппаратного ускорения, программных фреймворков и разработки ИИ-моделей. Введение было посвящено значимости генеративного ИИ и его потенциальному вкладу в разнообразные сектора.

Далее освещалась архитектура и возможности платформ NVIDIA, подчеркивая их поддержку рабочих процессов ИИ, в том числе больших языковых моделей и других задач генеративного ИИ.

Важные разделы презентации раскрывали стремительное развитие в сфере ИИ, фундаментальные модели, принципы работы больших языковых моделей и фреймворк NeMo от NVIDIA для эффективного обучения и внедрения ИИ-моделей. Обсуждались вызовы, с которыми сталкиваются компании при создании генеративных ИИ-приложений, и предлагались решения через платформу ИИ от NVIDIA, включающую инструментарий для обработки данных, обучения моделей, их настройки и оптимизации для вывода. Подчеркивалась производительность фреймворка NeMo при обучении, роль кураторства данных для эффективности моделей и преимущества минимальных изменений в коде для использования возможностей ускоренных вычислений NVIDIA. Также акцентировалось внимание на демократизации данных через открытое программное обеспечение, набор инструментов RAPIDS для ускоренной обработки данных и преимущества использования библиотек и инструментов с GPU-ускорением от NVIDIA для машинного обучения, аналитики связей и других ИИ-приложений.

Заключение

• Были рассмотрены решения NVIDIA для работы с большими языковыми моделями (LLM). Представлено краткое руководство по использованию данных решений. Участники воркшопа тем самым получили возможность использования мощных инструментов для LLM.

Актуальность мероприятия:

1. LLM является трендовым и актуальным направлением AI. Были рассмотрены инструменты для работы с LLM. Также очень актуальным является задача ускорения моделей с помощью параллелизма, виды которых были рассмотрены на воркшопе.

Влияние: Участники воркшопа получили четкое представление о процессе ускорения работы моделей с помощью GPU, различных техник параллелизации, а также возможность использования мощных инструментов для LLM.