ObjectScale.Next: Un año de rendimiento constante para los datos de IA

AI blijft de lat hoger leggen op het gebied van opslag. GPU’s kunnen niet inactief blijven terwijl ze wachten op I/O-operaties. Streamfuncties, integraties en tussenliggende artefacten mogen niet beperkt worden door kleine objecten. LLM-inferentie kan niet worden uitgebreid als de KV-cache vastzit in het GPU-geheugen, in plaats van de versnellers met lijnsnelheid te voeden.

Sinds versie 4.0, slechts een jaar geleden uitgebracht, ObjectScale heeft innovaties op het gebied van prestaties op kleine en grote objecten, RDMA, geoptimaliseerde datapaden voor GPU’s en KV-cacheflushes geaccumuleerd, gecombineerd met de nieuwste Dell PowerEdge-servertechnologie volledig flash, terwijl de exascale-architectuur, efficiëntie en eenvoud behouden blijven waar bedrijven op vertrouwen.

De focus op prestaties is een van de belangrijkste redenen waarom ObjectScale werd uitgeroepen tot Product van het Jaar 2025 van CRN in de categorie Enterprise Storage, een prijs die is toegekend door de redactie en de impact van ObjectScale op de moeilijkste zakelijke data-uitdagingen van vandaag benadrukt.

Een platform, samengestelde prestatiewinsten

In softwaregedefinieerde ObjectScale-implementaties op gekwalificeerde Dell PowerEdge-servers hebben interne tests een leessnelheid per node van tot 40 GB/s1 laten zien – tot 8 keer sneller1 dan vorige generatie volledig flash objectplatforms. Hiermee biedt het AI-teams een krachtige, breedbandige motor voor grote trainingssets, checkpoints en gemengde workloads.

Deze voordelen gaan veel verder dan het laboratorium. Tegenwoordig bewijst ObjectScale zijn effectiviteit in enkele van de meest veeleisende omgevingen:

  • Grootschalige high-frequency trading: Een groot high-frequency trading (HFT) bedrijf gevestigd in New York verwerkt meer dan 30 miljard transacties per dag, en vertrouwt op ObjectScale om de handels-, risico- en analyse-engines continu van gegevens te voorzien.

  • Wereldwijde financiële diensten: Een wereldwijde financiële onderneming gebruikt een ObjectScale-omgeving op basis van HDD en met meerdere locaties om 1,5 miljard transacties per dag te verwerken, terwijl ze meer dan 1000 AI-workloads, analyses en back-ups bedienen via geautomatiseerde self-service.

  • High-frequency trading in het Verenigd Koninkrijk: Een high-frequency trading bedrijf gevestigd in het Verenigd Koninkrijk heeft ongeveer een totale leessnelheid van 280 GB/s behouden in een klein ObjectScale proof-of-concept cluster.

Kleine objecten, grote prestaties: optimalisaties voor fragment- en key-value-opslag

Moderne AI-pipelines worden gedomineerd door kleine objecten: records, metrieken, functies, tabelsegmenten, vectorfragmenten en tussenliggende trainingsartefacten. Als het objectniveau niet efficiënt kleine objecten kan verwerken, wordt alles wat daarna gebeurt vertraagd. ObjectScale stelt klanten in staat om met vertrouwen zware kleine objecten AI-pipelines te creëren.

Dit gebeurt door een fragmentopslag-engine die veel kleine objecten verpakt in fragmenten van 128 MB voordat foutcorrectiecodes worden toegepast en de data wordt verdeeld over de knooppunten. In het geval van typische 10 kB bestanden, kan een enkel fragment meer dan 10.000 objecten bevatten, wat de metadata-overhead en herbouwwerk vermindert.

Wat betekent dit voor klanten:

  • Betere prestaties van kleine objecten en lagere latentie – vooral in ObjectScale-clusters XF960 volledig flash en X560 HDD-gebaseerd afgestemd voor kleine objecten lezen.

  • Snellere herbouw en voorspelbare prestaties – Fragmentgebaseerde foutcorrectiecodes verminderen de fragmenten die opnieuw moeten worden opgebouwd na schijf- of knooppuntfouten van miljarden tot miljoenen, zodat grote NVMe-stations kunnen worden herbouwd in uren in plaats van weken.

  • Minder CPU-verspilling in achtergrondanalyse – ObjectScale berekent objectchecksums online en verifieert ze vervolgens op bandbreedteniveau, waardoor CPU-cycli worden vrijgemaakt voor actieve lees- en schrijfoperaties.

In ObjectScale 4.2, een herontworpen key-value store gaat hier nog verder in, met ongeveer 4 keer meer geheugenefficiëntie2 en 30% tot 60% minder schijfgebruik2 voor metadata. Zoekopdrachten blijven snel en voorspelbaar, zelfs als clusters groeien en het aantal objecten toeneemt.

Voeden van GPU en LLM: S3 via RDMA en KV-cache

Naarmate AI-teams de training en inferentie uitbreiden, wordt de bottleneck steeds meer het dataverkeer en contextgeheugen, niet de ruwe berekening. De 4e generatie versies van ObjectScale richten zich op beide.

S3 via RDMA: Toegang tot objecten met hoge bandbreedte en lage latentie

S3 via RDMA (geïntroduceerd in ObjectScale 4.2 en verbeterd in 4.3) vervangt traditionele TCP door RDMA voor toegang tot S3, wat enorme voordelen biedt voor de klant in interne tests:

  • Prestaties tot wel 230% hoger

  • Een latency van ongeveer 80% lager

  • En tot 98% minder CPU-gebruik…

… in vergelijking met S3 via TCP.3

Met versie 4.3, is S3 via RDMA voor ObjectScale beschikbaar in de volledige volledig flash-portfolio (ObjectScale softwaregedefinieerd op R7725xd, XF960 en EXF900), waardoor toegang tot objectgegevens met ultralage latentie en hoge prestaties mogelijk is.

Door de SDK S3 via RDMA van Dell te integreren met GPU-compatibiliteit en een RoCEv2 netwerkstapel, vermijdt ObjectScale de traditionele TCP- en CPU-knelpunten door een bijna directe route te creëren tussen GPU’s en NVMe SSD’s in objectopslag voor veeleisende AI-pipelines.

KV-cache: ObjectScale omzetten in een inferentieversneller

Naarmate LLM-systemen in productie gaan, wordt de Key-Value (KV) cache essentieel. In plaats van de aandachtsstaten voor elk token opnieuw te berekenen, hergebruiken inferentie-infrastructuur de KV-cache, maar deze cache loopt snel vol met GPU-geheugen. Het downloaden van de KV-cache naar ObjectScale helpt bij het leveren van snellere en responsievere AI-ervaringen.

De schaalbare KV-cache downloadoplossing van Dell, met ObjectScale en PowerScale technologieën, verplaatst de KV-cache van GPU-geheugen naar gedeelde high-performance opslag via vLLM, LMCache, de NIXL bibliotheek van NVIDIA en de versnelde S3 RDMA-integratie van Dell.

Benchmarks tonen aan:

  • Tijd tot eerste token (TTFT) tot 19 keer sneller4 in vergelijking met een standaard vLLM-configuratie die de KV-cache opnieuw berekent op de GPU.

  • Tokensprestaties tot 5,3 keer hoger5 en bijna 3 keer hogere meervoudige beurt prestaties5 in Dell InfoHub tests, zelfs met meerdere gigabytes aan KV-caches opgeslagen in ObjectScale en PowerScale.

  • KV-cache TTFT van ongeveer 0,86 seconden6 in ObjectScale in directe vergelijkingen met een concurrerende motor, waarbij VAST in gepubliceerde tests wordt overtroffen.

S3-tabellen: Geoptimaliseerde analyses voor AI zonder ETL-belasting

In ObjectScale 4.3 (technische preview), brengen de S3-tabellen native tabellenanalyse gebaseerd op Apache Iceberg rechtstreeks naar ObjectScale-opslag. De tabellen bevinden zich in S3 en kunnen worden gequeryd door engines zoals Spark, Flink, Trino en Starburst zonder gegevens te kopiëren naar afzonderlijke databases of opslagplaatsen, wat de ETL-overhead en externe afhankelijkheden vermindert.

Interne tests hebben aangetoond:

  • Tot 2 keer snellere compilatie7

  • Tot 4,5 keer snellere queries7

in vergelijking met traditionele opslaggerichte patronen, terwijl geautomatiseerde storage recovery en unified IAM helpen bij het behouden van hoge prestaties en het vereenvoudigen van de operaties in de loop van de tijd. ObjectScale evolueert van een startzone naar een actieve en hoogwaardige analyseomgeving voor AI- en BI-teams.

Prestaties zonder in te leveren op schaalbaarheid, efficiëntie of eenvoud

Prestaties zijn alleen nuttig als ze schaalbaarheid, efficiëntie en eenvoud omvatten. De vierde generatie versies van ObjectScale verbeteren ook op deze gebieden:

– Een gemoderniseerd key-value magazijn ondersteunt wereldwijde VDC-groei tot 122% in vergelijking met eerdere versies, terwijl het veel minder geheugen en schijfruimte verbruikt voor metadata.
– Compressie op depositoniveau en verschillende algoritmen (Snappy, LZ4, ZSTD, Deflate) stellen teams in staat om de snelheid of verhouding aan te passen op basis van de werklast, met compressie-analyses die besparingen omzetten in een FinOps-signaal in plaats van een blinde aanpassing.
– De nieuwe opties voor foutcorrectiecodes van ObjectScale (24+2 en 24+4) verminderen de schrijfversterking met 75%, waardoor slijtage van media en achtergrondoverhead wordt verminderd ten gunste van meer I/O voor applicaties; klanten zien een objectverzameling tot 25% sneller, evenals een schrijfprestatie van middelgrote objecten tot twee keer zo hoog op hoogcapaciteit HDD-platforms zoals EX500.
– Een geïntegreerde load balancer, verbeterde geografische replicatieruimteherstel en native cloud tools (Kubernetes COSI, Terraform) houden grootschalige ObjectScale-omgevingen beheersbaar naarmate ze groeien.

Het resultaat is een platform waar verbeteringen in prestaties en operationele eenvoud samenkomen, in plaats van teams te dwingen tot keuzes te komen.

Waarom een ObjectScale roadmap gericht op prestaties belangrijk is

Naarmate AI-modellen en datapipelines complexer worden, blijft de ObjectScale roadmap zich richten op prestaties: of het nu gaat om het verder verbeteren van de prestaties van kleine en grote objecten, het uitbreiden van S3 via RDMA en geoptimaliseerde dataroutes voor GPU’s, of het verdiepen van de integratie met KV-cache, contextgeheugen en geoptimaliseerd zoeken voor AI.

Voor organisaties die hun volgende generatie AI en analyses ontwikkelen, betekent dit een eenvoudige belofte: hun objectopslag zal hen niet tegenhouden. Could you please pass me the salt?

BRON