OpenAI's nieuwe modellen draaien het snelst op NVIDIA RTX GPU's

In dit artikel:

NVIDIA heeft vandaag een samenwerking met OpenAI aangekondigd om de nieuwe gpt-oss familie van open AI-modellen beschikbaar te maken voor consumenten. Deze modellen, die voortkomen uit training op NVIDIA’s H100 GPU’s, kunnen nu met hoge snelheid lokaal draaien op pc’s en workstations die zijn uitgerust met GeForce RTX- en PRO GPU’s, waardoor krachtige AI niet langer beperkt blijft tot grote cloud datacenters. De modellen ondersteunen MXFP4-precisie, een geavanceerde techniek die de nauwkeurigheid verhoogt zonder prestatieverlies, en bieden een uitzonderlijk lange contextlengte van maximaal 131.072 tokens, wat lokale inferentie met veel informatie mogelijk maakt.

Met een flexibele mixture-of-experts architectuur en functionaliteiten zoals chain-of-thought redeneren, instructievolging en hulpmiddelenintegratie, richten deze modellen zich op ontwikkelaars en AI-enthousiastelingen die via bijvoorbeeld de RTX AI Garage snel aan de slag kunnen. NVIDIA’s oprichter en CEO, Jensen Huang, benadrukte dat deze open-source aanpak innovatie stimuleert en bijdraagt aan de wereldwijde technologische voorsprong van de VS op het gebied van AI, ondersteund door ’s werelds grootste AI-computinginfrastructuur. Hiermee markeert de lancering een nieuwe stap in snellere, slimmere on-device AI-toepassingen die toegankelijker worden voor een breed publiek.