NVIDIA NeMo Framework пайдаланушы нұсқаулығы

NVIDIA NeMo Framework

Техникалық сипаттамалар

• Өнім атауы: NVIDIA NeMo Framework
• Зардап шеккен платформалар: Windows, Linux, macOS
• Зардап шеккен нұсқалар: 24-ке дейінгі барлық нұсқалар
• Қауіпсіздік осалдығы: CVE-2025-23360
• Тәуекелді бағалаудың базалық баллы: 7.1 (CVSS v3.1)

Өнімді пайдалану нұсқаулары

Қауіпсіздік жаңартуын орнату:
Жүйені қорғау үшін мына қадамдарды орындаңыз:

1. GitHub сайтындағы NeMo-Framework-Launcher шығарылымдары бетінен соңғы шығарылымды жүктеп алыңыз.
2. Қосымша ақпарат алу үшін NVIDIA өнімінің қауіпсіздігі бөліміне өтіңіз.

Қауіпсіздікті жаңарту мәліметтері:
Қауіпсіздік жаңартуы NVIDIA NeMo Framework жүйесіндегі кодтың орындалуына және деректерге әкелуі мүмкін осалдықты қарастырады.ampеру.

Бағдарламалық жасақтаманы жаңарту:
Бұрынғы филиал шығарылымын пайдалансаңыз, қауіпсіздік мәселесін шешу үшін соңғы филиал шығарылымына жаңарту ұсынылады.

Біттіview

NVIDIA NeMo Framework – зерттеушілер мен әзірлеушілерге арналған масштабталатын және бұлттық генеративті AI құрылымы. Үлкен тіл үлгілері, мультимодальды және Сөйлеу AI (мысалы Сөйлеуді автоматты тану және Мәтіннен сөзге). Ол пайдаланушыларға бар кодты және алдын ала дайындалған үлгі бақылау нүктелерін пайдалану арқылы жаңа генеративті AI үлгілерін тиімді жасауға, теңшеуге және орналастыруға мүмкіндік береді.

Орнату нұсқаулары: NeMo Framework орнатыңыз

Үлкен тілдік модельдер және мультимодальды модельдер
NeMo Framework үлкен тілдік үлгілерді (LLM) және мультимодальды үлгілерді (MMs) әзірлеу үшін түпкілікті қолдауды қамтамасыз етеді. Ол жергілікті, деректер орталығында немесе қалаған бұлт провайдерімен бірге пайдалану икемділігін қамтамасыз етеді. Ол сонымен қатар SLURM немесе Kubernetes қосылған орталарда орындауды қолдайды.

Деректерді курациялау
NeMo кураторы [1] деректерді өңдеуге және синтетикалық деректерді генерациялауға арналған модульдер жиынтығын қамтитын Python кітапханасы. Олар GPU үшін масштабталады және оңтайландырылған, бұл оларды LLM-ді үйрету немесе дәл баптау үшін табиғи тіл деректерін өңдеуге өте ыңғайлы етеді. NeMo Curator көмегімен ауқымды шикізаттан жоғары сапалы мәтінді тиімді шығаруға болады web деректер көздері.

Жаттығу және теңшеу

NeMo Framework тиімді оқыту және теңшеу құралдарымен қамтамасыз етеді LLMs және мультимодальды модельдер. Ол есептеу кластерін орнатуға, деректерді жүктеуге және жаңа деректер жиындары мен үлгілерге үйрету үшін реттеуге болатын үлгі гиперпараметрлеріне арналған әдепкі конфигурацияларды қамтиды. Алдын ала дайындықтан басқа, NeMo LoRA, Ptuning және т.б. сияқты бақыланатын дәл реттеу (SFT) және Параметрлік тиімді дәл реттеу (PEFT) әдістерін қолдайды.

NeMo 2.0 API интерфейсін пайдалану немесе NeMo Run көмегімен NeMo бағдарламасында жаттығуды бастау үшін екі нұсқа бар.

• NeMo Run көмегімен (ұсынылады): NeMo Run әртүрлі есептеу орталарында конфигурацияны, эксперименттерді орындауды және басқаруды жеңілдететін интерфейсті қамтамасыз етеді. Бұған жұмыс станцияңызда жергілікті немесе үлкен кластерлерде жұмыстарды іске қосу кіреді – SLURM қосылған немесе бұлттық ортадағы Kubernetes.
  • NeMo Run көмегімен алдын ала жаттығу және PEFT жылдам бастау
• NeMo 2.0 API пайдалану: Бұл әдіс шағын үлгілерді қамтитын қарапайым орнатумен жақсы жұмыс істейді немесе өзіңіздің пайдаланушы деректер жүктеушіңізді, оқыту циклдерін жазуды немесе үлгі қабаттарын өзгертуді қаласаңыз. Ол конфигурацияларға көбірек икемділік пен бақылау береді және конфигурацияларды бағдарламалы түрде кеңейтуді және теңшеуді жеңілдетеді.
  • ТраNeMo 2.0 API көмегімен жылдам бастау
  • NeMo 1.0 нұсқасынан NeMo 2.0 API нұсқасына көшу

Туралау

• NeMo-Aligner [1] тиімді үлгіні туралау үшін масштабталатын құралдар жинағы болып табылады. Құралдар жинағы SteerLM, DPO, адам кері байланысынан оқытуды күшейту (RLHF) және т.б. сияқты заманауи үлгіні туралау алгоритмдерін қолдайды. Бұл алгоритмдер пайдаланушыларға қауіпсіз, зиянсыз және пайдалы болу үшін тіл үлгілерін туралауға мүмкіндік береді.
• Барлық NeMo-Aligner бақылау нүктелері NeMo экожүйесімен өзара үйлесімді, әрі қарай теңшеуге және қорытынды шығаруға мүмкіндік береді.

Шағын GPT-2B үлгісіндегі RLHF барлық үш фазасының қадамдық жұмыс процесі:

• SFT жаттығуы
• Марапаттау үлгісін оқыту
• PPO жаттығуы

Сонымен қатар, біз әртүрлі басқа да жаңа теңестіру әдістеріне қолдау көрсетеміз:

• DPO: қарапайым жоғалту функциясы бар RLHF салыстырғанда жеңіл теңестіру алгоритмі.
• Өздігінен ойнау Нақты баптау (SPIN)
• SteerLM: басқарылатын шығысы бар шартты-SFT негізделген әдістеме.

Қосымша ақпарат алу үшін құжаттаманы қараңыз: Туралау құжаттамасы

Көпмодальды модельдер

• NeMo Framework бірнеше санаттар бойынша заманауи мультимодальды үлгілерді үйрету және орналастыру үшін оңтайландырылған бағдарламалық құралды ұсынады: мультимодальды тіл үлгілері, көру-тіл негіздері, мәтіннен кескінге үлгілер және нейрондық сәулелену өрістерін (NeRF) пайдаланып 2D генерациясынан тыс.
• Әрбір санат мәтінді, кескіндерді және 3D үлгілерін қоса алғанда, деректер түрлерінің кең ауқымын өңдеу үшін озық үлгілерді пайдалана отырып, нақты қажеттіліктер мен өрістегі жетістіктерді қанағаттандыруға арналған.

Орналастыру және қорытынды
NeMo Framework әртүрлі орналастыру сценарийлері мен өнімділік қажеттіліктерін қанағаттандыратын LLM тұжырымының әртүрлі жолдарын ұсынады.

NVIDIA NIM көмегімен орналастырыңыз

• NeMo Framework NVIDIA NIM арқылы кәсіпорын деңгейіндегі үлгіні орналастыру құралдарымен үздіксіз интеграцияланады. Бұл интеграция оңтайландырылған және масштабталатын қорытындыны қамтамасыз ететін NVIDIA TensorRT-LLM арқылы қамтамасыз етілген.
• NIM туралы қосымша ақпарат алу үшін NVIDIA сайтына кіріңіз webсайт.

TensorRT-LLM немесе vLLM көмегімен орналастырыңыз

• NeMo Framework екі оңтайландырылған қорытынды кітапханаға үлгілерді экспорттау үшін, TensorRT-LLM және vLLM және экспортталған үлгіні NVIDIA Triton Inference Server көмегімен орналастыру үшін сценарийлер мен API интерфейстерін ұсынады.
• Оңтайландырылған өнімділікті қажет ететін сценарийлер үшін NeMo үлгілері NVIDIA GPU құрылғыларында LLM қорытындысын жеделдету және оңтайландыруға арналған арнайы кітапхана TensorRT-LLM пайдалана алады. Бұл процесс NeMo үлгілерін nemo.export модулі арқылы TensorRT-LLM үйлесімді пішімге түрлендіруді қамтиды.
  • LLM орналастыру аяқталдыview
  • NIM көмегімен NeMo Large тіл үлгілерін орналастырыңыз
  • NeMo үлкен тіл үлгілерін TensorRT-LLM көмегімен орналастырыңыз
  • NeMo Large тіл үлгілерін vLLM көмегімен орналастырыңыз

Қолдау көрсетілетін үлгілер

Үлкен тіл үлгілері

Үлкен тіл үлгілері

Үлкен тіл үлгілері	Алдын ала дайындық және SFT	PEFT	Туралау	FP8 Тренинг конвергенциясы	TRT/TRTLLM	Құшақтап тұрған бетке түрлендіру	Бағалау
Llama3 8B/70B, Llama3.1 405B	Иә	Иә	x	Иә (ішінара расталған)	Иә	Екеуі де	Иә
Mixtral 8x7B/8x22B	Иә	Иә	x	Иә (тексерілмеген)	Иә	Екеуі де	Иә
Немотрон 3 8B	Иә	x	x	Иә (тексерілмеген)	x	Екеуі де	Иә
Немотрон 4 340B	Иә	x	x	Иә (тексерілмеген)	x	Екеуі де	Иә
Байчуань2 7Б	Иә	Иә	x	Иә (тексерілмеген)	x	Екеуі де	Иә
ChatGLM3 6B	Иә	Иә	x	Иә (тексерілмеген)	x	Екеуі де	Иә
Gemma 2B/7B	Иә	Иә	x	Иә (тексерілмеген)	Иә	Екеуі де	Иә
Gemma2 2B/9B/27B	Иә	Иә	x	Иә (тексерілмеген)	x	Екеуі де	Иә
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Иә	Иә	x	Иә (тексерілмеген)	x	x	Иә
Phi3 мини 4к	x	Иә	x	Иә (тексерілмеген)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Иә	Иә	x	Иә (тексерілмеген)	Иә	Екеуі де	Иә
StarCoder 15B	Иә	Иә	x	Иә (тексерілмеген)	Иә	Екеуі де	Иә
StarCoder2 3B/7B/15B	Иә	Иә	x	Иә (тексерілмеген)	Иә	Екеуі де	Иә
BERT 110M/340M	Иә	Иә	x	Иә (тексерілмеген)	x	Екеуі де	x
T5 220M/3B/11B	Иә	Иә	x	x	x	x	x

 

Көру тілінің үлгілері

 

Енгізу үлгілері

 

Дүниежүзілік негіз үлгілері

Ескерту
NeMo сонымен қатар диффузиялық және авторегрессивті архитектуралар үшін алдын ала дайындықты қолдайды text2world іргетас үлгілері.

Сөйлеу AI

Сөйлесу AI үлгілерін әзірлеу - белгілі бір домендерде модельдерді анықтауды, құруды және оқытуды қамтитын күрделі процесс. Бұл процесс әдетте жоғары дәлдік деңгейіне жету үшін бірнеше итерацияны қажет етеді. Ол көбінесе жоғары дәлдікке қол жеткізу үшін бірнеше итерацияны, әртүрлі тапсырмалар мен доменге қатысты деректерді дәл баптауды, оқу өнімділігін қамтамасыз етуді және қорытындыны енгізуге үлгілерді дайындауды қамтиды.

NeMo Framework Speech AI үлгілерін оқытуға және теңшеуге қолдау көрсетеді. Бұған автоматты түрде сөйлеуді тану (ASR) және мәтінді сөйлеуге (TTS) синтездеу сияқты тапсырмалар кіреді. Ол NVIDIA Riva көмегімен кәсіпорын деңгейіндегі өндірісті орналастыруға тегіс көшуді ұсынады. Әзірлеушілер мен зерттеушілерге көмектесу үшін NeMo Framework ең заманауи алдын ала дайындалған бақылау нүктелерін, қайталанатын сөйлеу деректерін өңдеуге арналған құралдарды және сөйлеу деректерінің жиынтықтарын интерактивті зерттеу мен талдауға арналған мүмкіндіктерді қамтиды. Speech AI үшін NeMo Framework құрамдастары келесідей:

Жаттығу және теңшеу
NeMo Framework сөйлеу үлгілерін үйрету және теңшеу үшін қажеттінің барлығын қамтиды (ASR, Сөйлеу классификациясы, Спикерді тану, Спикерді күнделендіру, және TTS) қайталанатын тәсілмен.

SOTA алдын ала дайындалған үлгілері

• NeMo Framework заманауи рецепттер мен бірнеше алдын ала дайындалған бақылау нүктелерін ұсынады ASR және TTS үлгілер, сондай-ақ оларды жүктеу туралы нұсқаулар.
• Сөйлеу құралдары
• NeMo Framework ASR және TTS үлгілерін әзірлеу үшін пайдалы құралдар жиынтығын ұсынады, соның ішінде:
  • NeMo Forced Aligner (NFA) таңбалауыш, сөз және сегмент деңгейіндегі уақыт өлшемін жасау үшінampNeMo компаниясының CTC негізіндегі Speech Recognition автоматты түрде тану үлгілерін пайдалану арқылы дыбыстағы сөйлеу с.
  • Сөйлеу деректерін өңдеуші (SDP), сөйлеу деректерін өңдеуді жеңілдетуге арналған құралдар жинағы. Ол конфигурацияда деректерді өңдеу әрекеттерін көрсетуге мүмкіндік береді file, стандартты кодты азайту және қайталану және бөлісу мүмкіндігін беру.
  • Speech Data Explorer (SDE), сызықшаға негізделген web сөйлеу деректер жиынтығын интерактивті зерттеуге және талдауға арналған қосымша.
  • Деректер жиынын құру құралы ұзақ дыбысты теңестіру үшін функционалдылықты қамтамасыз етеді fileсəйкес транскрипттермен бірге жəне оларды автоматты түрде сөйлеуді тану (ASR) үлгісін оқыту үшін қолайлы қысқарақ фрагменттерге бөліңіз.
  • Салыстыру құралы ASR үлгілері үшін сөз дәлдігі мен айтылу деңгейінде әртүрлі ASR үлгілерінің болжамдарын салыстыру.
  • ASR бағалаушысы ASR үлгілерінің өнімділігін және дауыс әрекетін анықтау сияқты басқа мүмкіндіктерді бағалау үшін.
  • Мәтінді нормалау құралы мәтінді жазбаша түрден ауызша нысанға және керісінше түрлендіру үшін (мысалы, «31-ші» және «отыз бірінші»).
• Орналастыру жолы
• NeMo Framework арқылы үйретілген немесе теңшелген NeMo үлгілерін NVIDIA Riva көмегімен оңтайландыруға және орналастыруға болады. Riva түймені орналастыру қадамдарын автоматтандыру үшін арнайы әзірленген контейнерлер мен Helm диаграммаларын ұсынады.

Басқа ресурстар

GitHub репосы

• NeMo: NeMo Framework үшін негізгі репозиторий
• NeMo–Жүгіру: Машиналық оқыту эксперименттерін конфигурациялауға, іске қосуға және басқаруға арналған құрал.
• NeMo-Aligner: Үлгіні тиімді теңестіруге арналған масштабталатын құралдар жинағы
• NeMo-кураторы: LLM үшін масштабталатын деректерді алдын ала өңдеу және өңдеу құралдары жинағы

Көмек алу
NeMo қауымдастығымен байланысыңыз, сұрақтар қойыңыз, қолдау алыңыз немесе қателер туралы хабарлаңыз.

• NeMo талқылаулары
• NeMo мәселелері

Бағдарламалау тілдері және фреймворктары

• Python: NeMo Framework пайдаланатын негізгі интерфейс
• Питорх: NeMo Framework PyTorch үстіне құрастырылған

Лицензиялар

• NeMo Github репосы Apache 2.0 лицензиясы бойынша лицензияланған
• NeMo Framework NVIDIA AI ӨНІМІ КЕЛІСІМІ бойынша лицензияланған. Контейнерді тарту және пайдалану арқылы сіз осы лицензияның шарттары мен шарттарын қабылдайсыз.
• NeMo Framework контейнерінде Meta Llama3 қауымдастық лицензиялық келісімімен реттелетін Llama материалдары бар.

Сілтемелер
Қазіргі уақытта мультимодальды үлгілерге арналған NeMo Curator және NeMo Aligner қолдауы орындалып жатқан жұмыс және жақын арада қолжетімді болады.

Жиі қойылатын сұрақтар

С: Менің жүйеме осалдық әсер еткенін қалай тексеруге болады?
A: Орнатылған NVIDIA NeMo Framework нұсқасын тексеру арқылы жүйеңізге әсер ететінін тексеруге болады. Егер ол 24 нұсқасынан төмен болса, жүйеңіз осал болуы мүмкін.

С: CVE-2025-23360 қауіпсіздік мәселесін кім хабарлады?
A: Қауіпсіздік мәселесі туралы Or Peles – JFrog Security хабарлады. NVIDIA олардың қосқан үлесін мойындайды.

С: Болашақ қауіпсіздік бюллетені хабарландыруларын қалай алуға болады?
A: Қауіпсіздік бюллетені хабарландыруларына жазылу және өнімнің қауіпсіздік жаңартулары туралы хабардар болу үшін NVIDIA өнімінің қауіпсіздігі бетіне кіріңіз.