NVIDIA NeMo Framework Gebruikersgids

NVIDIA NeMo-raamwerk

Spesifikasies

• Produk Naam: NVIDIA NeMo-raamwerk
• Geaffekteerde platforms: Windows, Linux, macOS
• Geaffekteerde weergawes: Alle weergawes voor 24
• Sekuriteitskwesbaarheid: CVE-2025-23360
• Risiko-evaluering basistelling: 7.1 (CVSS v3.1)

Produkgebruiksinstruksies

Installasie van sekuriteitopdatering:
Volg hierdie stappe om jou stelsel te beskerm:

1. Laai die jongste vrystelling af vanaf die NeMo-Framework-Launcher-vrystellingsbladsy op GitHub.
2. Gaan na NVIDIA Product Security vir verdere inligting.

Sekuriteitopdateringbesonderhede:
Die sekuriteitsopdatering spreek 'n kwesbaarheid in die NVIDIA NeMo Framework aan wat kan lei tot kode-uitvoering en data tampering.

Sagteware-opgradering:
As jy 'n vroeëre takvrystelling gebruik, word dit aanbeveel om op te gradeer na die jongste takvrystelling om die sekuriteitskwessie aan te spreek.

verbyview

NVIDIA NeMo Framework is 'n skaalbare en wolk-inheemse generatiewe KI-raamwerk gebou vir navorsers en ontwikkelaars wat aan werk. Groot taalmodelle, Multimodaal, en Spraak AI (bv Outomatiese spraakherkenning en Teks-na-spraak). Dit stel gebruikers in staat om doeltreffend nuwe generatiewe KI-modelle te skep, aan te pas en te ontplooi deur bestaande kode en vooraf-opgeleide modelkontrolepunte te benut.

Opstel instruksies: Installeer NeMo Framework

Groot taalmodelle en multimodale modelle
NeMo Framework bied end-tot-end ondersteuning vir die ontwikkeling van groottaalmodelle (LLM's) en multimodale modelle (MM's). Dit bied die buigsaamheid om op die perseel, in 'n datasentrum of met u voorkeurwolkverskaffer gebruik te word. Dit ondersteun ook uitvoering op SLURM- of Kubernetes-geaktiveerde omgewings.

Datakurasie
NeMo-kurator [1] is 'n Python-biblioteek wat 'n reeks modules vir data-ontginning en sintetiese data-generering insluit. Hulle is skaalbaar en geoptimaliseer vir GPU's, wat hulle ideaal maak vir die samestelling van natuurlike taaldata om LLM's op te lei of te verfyn. Met NeMo Curator kan u teks van hoë gehalte doeltreffend uit uitgebreide rou onttrek web databronne.

Opleiding en aanpassing

NeMo Framework bied gereedskap vir doeltreffende opleiding en aanpassing van LLM's en Multimodale modelle. Dit sluit verstekkonfigurasies vir rekenaarkluster-opstelling, data-aflaai en modelhiperparameters in, wat aangepas kan word om op nuwe datastelle en modelle op te lei. Benewens vooropleiding, ondersteun NeMo beide Supervised Fine-Tuning (SFT) en Parameter Efficient Fine-Tuning (PEFT) tegnieke soos LoRA, Ptuning, en meer.

Twee opsies is beskikbaar om opleiding in NeMo te begin – met die NeMo 2.0 API-koppelvlak of met NeMo Run.

• Met NeMo Run (aanbeveel): NeMo Run bied 'n koppelvlak om konfigurasie, uitvoering en bestuur van eksperimente oor verskeie rekenaaromgewings te stroomlyn. Dit sluit die bekendstelling van take op jou werkstasie plaaslik of op groot groepe in – beide SLURM-geaktiveer of Kubernetes in 'n wolkomgewing.
  • Pre-opleiding en PEFT Quickstart met NeMo Run
• Gebruik die NeMo 2.0 API: Hierdie metode werk goed met 'n eenvoudige opstelling wat klein modelle behels, of as jy belangstel om jou eie persoonlike datalaaier te skryf, opleidingslusse te skryf of modellae te verander. Dit gee jou meer buigsaamheid en beheer oor konfigurasies, en maak dit maklik om konfigurasies programmaties uit te brei en aan te pas.
  • Training Quickstart met NeMo 2.0 API
  • Migreer van NeMo 1.0 na NeMo 2.0 API

Belyning

• NeMo-Aligner [1] is 'n skaalbare gereedskapstel vir doeltreffende modelbelyning. Die gereedskapstel het ondersteuning vir die nuutste modelbelyningsalgoritmes soos SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF), en nog baie meer. Hierdie algoritmes stel gebruikers in staat om taalmodelle in lyn te bring om veiliger, onskadeliker en nuttiger te wees.
• Al die NeMo-Aligner-kontrolepunte is kruisversoenbaar met die NeMo-ekosisteem, wat verdere aanpassing en inferensie-ontplooiing moontlik maak.

Stap-vir-stap werkvloei van al drie fases van RLHF op 'n klein GPT-2B-model:

• SFT opleiding
• Beloon model opleiding
• PPO opleiding

Daarbenewens demonstreer ons ondersteuning vir verskeie ander nuwe belyningsmetodes:

• DPO: 'n liggewig-belyningsalgoritme in vergelyking met RLHF met 'n eenvoudiger verliesfunksie.
• Selfspeel Fyninstelling (SPIN)
• SteerLM: 'n tegniek gebaseer op gekondisioneerde-SFT, met stuurbare uitset.

Kyk na die dokumentasie vir meer inligting: Belyningsdokumentasie

Multimodale modelle

• NeMo Framework verskaf geoptimaliseerde sagteware om moderne multimodale modelle oor verskeie kategorieë op te lei en te ontplooi: Multimodale taalmodelle, Visie-taalgrondslae, teks-na-beeld-modelle, en verder 2D-generering deur gebruik te maak van Neural Radiance Fields (NeRF).
• Elke kategorie is ontwerp om aan spesifieke behoeftes en vooruitgang in die veld te voldoen, deur die nuutste modelle te gebruik om 'n wye verskeidenheid datatipes te hanteer, insluitend teks, beelde en 3D-modelle.

Ontplooiing en afleiding
NeMo Framework bied verskeie paaie vir LLM-afleidings, wat voorsiening maak vir verskillende ontplooiingscenario's en prestasiebehoeftes.

Ontplooi met NVIDIA NIM

• NeMo Framework integreer naatloos met ondernemingsvlakmodel-ontplooiingsnutsgoed deur NVIDIA NIM. Hierdie integrasie word aangedryf deur NVIDIA TensorRT-LLM, wat geoptimaliseerde en skaalbare afleiding verseker.
• Vir meer inligting oor NIM, besoek die NVIDIA webwebwerf.

Ontplooi met TensorRT-LLM of vLLM

• NeMo Framework bied skrifte en API's om modelle uit te voer na twee afleidingsgeoptimaliseerde biblioteke, TensorRT-LLM en vLLM, en om die uitgevoerde model met die NVIDIA Triton Inference Server te ontplooi.
• Vir scenario's wat geoptimaliseerde werkverrigting vereis, kan NeMo-modelle gebruik maak van TensorRT-LLM, 'n gespesialiseerde biblioteek om LLM-afleiding op NVIDIA GPU's te versnel en te optimaliseer. Hierdie proses behels die omskakeling van NeMo-modelle in 'n formaat wat versoenbaar is met TensorRT-LLM deur die nemo.export-module te gebruik.
  • LLM-ontplooiing verbyview
  • Ontplooi NeMo-groottaalmodelle met NIM
  • Ontplooi NeMo-groottaalmodelle met TensorRT-LLM
  • Ontplooi NeMo-groottaalmodelle met vLLM

Ondersteunde modelle

Groot taalmodelle

Groot taalmodelle

Groot taalmodelle	Vooropleiding en SFT	PEFT	Belyning	FP8 Opleidingskonvergensie	TRT/TRTLLM	Skakel na en van knuffelgesig	Evaluering
Lama3 8B/70B, Lama3.1 405B	Ja	Ja	x	Ja (gedeeltelik geverifieer)	Ja	Albei	Ja
Mixtral 8x7B/8x22B	Ja	Ja	x	Ja (ongeverifieer)	Ja	Albei	Ja
Nemotron 3 8B	Ja	x	x	Ja (ongeverifieer)	x	Albei	Ja
Nemotron 4 340B	Ja	x	x	Ja (ongeverifieer)	x	Albei	Ja
Baichuan2 7B	Ja	Ja	x	Ja (ongeverifieer)	x	Albei	Ja
ChatGLM3 6B	Ja	Ja	x	Ja (ongeverifieer)	x	Albei	Ja
Gemma 2B/7B	Ja	Ja	x	Ja (ongeverifieer)	Ja	Albei	Ja
Gemma2 2B/9B/27B	Ja	Ja	x	Ja (ongeverifieer)	x	Albei	Ja
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Ja	Ja	x	Ja (ongeverifieer)	x	x	Ja
Phi3 mini 4k	x	Ja	x	Ja (ongeverifieer)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Ja	Ja	x	Ja (ongeverifieer)	Ja	Albei	Ja
StarCoder 15B	Ja	Ja	x	Ja (ongeverifieer)	Ja	Albei	Ja
StarCoder2 3B/7B/15B	Ja	Ja	x	Ja (ongeverifieer)	Ja	Albei	Ja
BERT 110M/340M	Ja	Ja	x	Ja (ongeverifieer)	x	Albei	x
T5 220M/3B/11B	Ja	Ja	x	x	x	x	x

 

Visietaalmodelle

 

Inbedding van modelle

 

Wêreldstigtingsmodelle

Let wel
NeMo ondersteun ook vooropleiding vir beide diffusie en outoregressiewe argitekture text2world fondasie modelle.

Spraak AI

Die ontwikkeling van gespreks-KI-modelle is 'n komplekse proses wat die definiëring, konstruksie en opleiding van modelle binne bepaalde domeine behels. Hierdie proses vereis tipies verskeie iterasies om 'n hoë vlak van akkuraatheid te bereik. Dit behels dikwels veelvuldige iterasies om hoë akkuraatheid te bereik, fyninstelling op verskeie take en domeinspesifieke data, om opleidingsprestasie te verseker en modelle voor te berei vir inferensie-ontplooiing.

NeMo Framework bied ondersteuning vir die opleiding en aanpassing van Speech AI-modelle. Dit sluit take soos outomatiese spraakherkenning (ASR) en teks-na-spraak (TTS) sintese in. Dit bied 'n gladde oorgang na produksie-ontplooiing op ondernemingsvlak met NVIDIA Riva. Om ontwikkelaars en navorsers by te staan, sluit NeMo Framework die nuutste vooraf-opgeleide kontrolepunte, nutsmiddels vir reproduseerbare spraakdataverwerking en kenmerke vir interaktiewe verkenning en ontleding van spraakdatastelle in. Die komponente van die NeMo Framework for Speech AI is soos volg:

Opleiding en aanpassing
NeMo Framework bevat alles wat nodig is om spraakmodelle op te lei en aan te pas (ASR, Spraakklassifikasie, Luidsprekerherkenning, Speaker Diarisering, en TTS) op 'n reproduceerbare wyse.

SOTA vooraf-opgeleide modelle

• NeMo Framework verskaf die nuutste resepte en vooraf opgeleide kontrolepunte van verskeie ASR en TTS modelle, asook instruksies oor hoe om dit te laai.
• Spraakgereedskap
• NeMo Framework bied 'n stel gereedskap wat nuttig is vir die ontwikkeling van ASR- en TTS-modelle, insluitend:
  • NeMo Forced Aligner (NFA) vir die generering van teken-, woord- en segmentvlak-tydtoetseamps van spraak in oudio met behulp van NeMo se CTC-gebaseerde Outomatiese Spraakherkenningsmodelle.
  • Spraakdataverwerker (SDP), 'n gereedskapstel vir die vereenvoudiging van spraakdataverwerking. Dit laat jou toe om dataverwerkingsbewerkings in 'n konfigurasie voor te stel file, die vermindering van boilerplate-kode en laat reproduceerbaarheid en deelbaarheid toe.
  • Speech Data Explorer (SDE), 'n Dash-gebaseerde web toepassing vir interaktiewe verkenning en ontleding van spraakdatastelle.
  • Gereedskap vir die skep van datastel wat funksionaliteit bied om lang klank in lyn te bring files met die ooreenstemmende transkripsies en verdeel dit in korter fragmente wat geskik is vir Outomatiese Spraakherkenning (ASR) model opleiding.
  • Vergelykingsinstrument vir ASR-modelle om voorspellings van verskillende ASR-modelle op woordakkuraatheid en uitingvlak te vergelyk.
  • ASR Evalueerder vir die evaluering van die werkverrigting van ASR-modelle en ander kenmerke soos Voice Activity Detection.
  • Teksnormaliseringsinstrument vir die omskakeling van teks van die geskrewe vorm na die gesproke vorm en omgekeerd (bv. "31ste" vs "eerste en dertig").
• Pad na ontplooiing
• NeMo-modelle wat opgelei of aangepas is deur die NeMo-raamwerk te gebruik, kan met NVIDIA Riva geoptimaliseer en ontplooi word. Riva verskaf houers en Helm-kaarte wat spesifiek ontwerp is om die stappe vir drukknoppie-ontplooiing te outomatiseer.

Ander hulpbronne

GitHub Repos

• NeMo: Die hoofbewaarplek vir die NeMo-raamwerk
• NeMo–Hardloop: 'n Hulpmiddel om jou masjienleer-eksperimente op te stel, bekend te stel en te bestuur.
• NeMo-Aligner: Skaalbare gereedskapstel vir doeltreffende modelbelyning
• NeMo-kurator: Skaalbare data-voorverwerking en kurasie-instrumentstel vir LLM's

Kry hulp
Raak betrokke by die NeMo-gemeenskap, vra vrae, kry ondersteuning, of rapporteer foute.

• NeMo Besprekings
• NeMo-kwessies

Programmeringstale en -raamwerke

• Python: Die hoofkoppelvlak om NeMo Framework te gebruik
• Pytorch: NeMo Framework is bo-op PyTorch gebou

Lisensies

• NeMo Github repo is gelisensieer onder die Apache 2.0 lisensie
• NeMo Framework is gelisensieer onder die NVIDIA AI PRODUKOOREENKOMS. Deur die houer te trek en te gebruik, aanvaar jy die bepalings en voorwaardes van hierdie lisensie.
• Die NeMo Framework-houer bevat Lama-materiaal wat deur die Meta Llama3-gemeenskapslisensie-ooreenkoms beheer word.

Voetnotas
Tans is NeMo Curator en NeMo Aligner-ondersteuning vir multimodale modelle 'n werk aan die gang en sal binnekort beskikbaar wees.

Gereelde vrae

V: Hoe kan ek kyk of my stelsel deur die kwesbaarheid geraak word?
A: Jy kan kyk of jou stelsel geraak word deur die weergawe van die NVIDIA NeMo Framework wat geïnstalleer is, te verifieer. As dit onder weergawe 24 is, kan jou stelsel kwesbaar wees.

V: Wie het die sekuriteitskwessie CVE-2025-23360 aangemeld?
A: Die sekuriteitskwessie is aangemeld deur Or Peles – JFrog Security. NVIDIA erken hul bydrae.

V: Hoe kan ek toekomstige sekuriteitsbulletinkennisgewings ontvang?
A: Besoek die NVIDIA-produksekuriteitbladsy om in te teken op sekuriteitsbulletinkennisgewings en bly op hoogte van produksekuriteitopdaterings.