Strežnik Inference 70B L40 Ai
Platforma poslovnega razreda, sestavljena in preizkušena v EU.
Ta seznam izdelkov je shranjen samo za referenco.
Ta strežnik je bil nadomeščen z novo linijo izdelkov Kentino AI . Za trenutni ekvivalent ali nadgrajeno konfiguracijo si oglejte našo zbirko strežnikov AI.
Priporočena zamenjava: Kentino AI 192 Rome L40 1448TOPS (4x NVIDIA L40, ista platforma, posodobljena različica)
70B L40 Računalnik
Tehnični podatki
- GPU: 6x NVIDIA L40 (skupaj 288 GB VRAM)
- Matična: ASRock stojalo ROMED8-2T
- Procesor: AMD EPYC 7542
- OVEN: 512GB SK Hynix 2666MHz REG ECC DDR4 LRDIMM (8 x 64GB)
- Povezava GPU-matična plošča: Kabel RYSER PCIe 4.0 x16
- Napajanje: 2x AX1600i 1000W
- Zadeva: 4U Nosilec za stojalo
-
Skladiščenje:
- 2TB NVMe SSD
- 500 GB pogon SATA
Ključne funkcije
- Visokozmogljiv GPU Compute: Opremljen s 6 GPE-ji NVIDIA L40, ki zagotavljajo skupno 288 GB VRAM-a za zahtevno umetno inteligenco, strojno učenje in vizualizacijo.
- Komponente strežniškega razreda: Vsebuje zanesljivo matično ploščo ASRock Rack ROMED8-2T in zmogljiv CPE AMD EPYC 7542 za izjemne zmogljivosti obdelave.
- Dovolj pomnilnika: 512 GB hitrega pomnilnika SK Hynix DDR4 RAM zagotavlja gladko večopravilnost in učinkovito obdelavo podatkov za kompleksne izračune.
- Visokohitrostna integracija GPE-ja: uporablja kabel RYSER PCIe 4.0 x16 za hitro povezavo s polno pasovno širino med GPE-ji in matično ploščo, kar zagotavlja optimalno zmogljivost in hitrost prenosa podatkov.
- Robusten napajalnik: Dvojni enoti AX1600i 1000 W zagotavljata stabilno in izdatno napajanje za podporo visoko zmogljivih komponent pri velikih obremenitvah.
- Razširljiv pomnilnik: na voljo s hitrim 2TB NVMe SSD za primarni pomnilnik in dodatnim 500GB SATA pogonom za dodatno zmogljivost.
- Profesionalno hlajenje: v prostornem ohišju 24U za namestitev v stojalo, ki zagotavlja optimalen pretok zraka in toplotno upravljanje za dolgotrajno visoko zmogljivo delovanje.
- Vsestranska konfiguracija: zasnovana za širok spekter visoko zmogljivih računalniških nalog, od umetne inteligence in strojnega učenja do profesionalne vizualizacije in upodabljanja.
Idealni primeri uporabe
- Sklepanje modela velikega jezika (npr. modeli parametrov 70B)
- Umetna inteligenca in raziskave strojnega učenja
- Podatkovna analiza in vizualizacija
- Profesionalno 3D upodabljanje in animacija
- Znanstvene simulacije
- Aplikacije za visoko zmogljivo računalništvo (HPC).
- Računalniški vid in obdelava slik
- Finančno modeliranje in analiza tveganj
Posebne opombe
- Optimiziran za modele 70B: Ta sistem je z 288 GB skupnega GPE VRAM-a posebej zasnovan za obvladovanje velikih jezikovnih modelov z do 70 milijardami parametrov, zaradi česar je idealen za vrhunske raziskave in aplikacije z umetno inteligenco.
- Prednost NVIDIA L40: GPU-ji L40 ponujajo ravnovesje med računalniško zmogljivostjo in pomnilnikom, primerno za širok razpon delovnih obremenitev AI, HPC in profesionalne vizualizacije.
- Zmogljivost PCIe 4.0: Kabel RYSER PCIe 4.0 x16 zagotavlja, da lahko vsak GPE deluje pri polni pasovni širini, kar poveča pretok podatkov in zmanjša zakasnitev.
- Prilagodljiva zasnova: Čeprav je ta sistem optimiziran za modele parametrov 70B, ga je mogoče preprosto prilagoditi ali združiti v gruče za še večje delovne obremenitve ali večuporabniška okolja.
Računalnik 70B L40 predstavlja zmogljivo in vsestransko rešitev za organizacije in raziskovalce, ki delajo z velikimi modeli AI, zlasti na področju obdelave in generiranja naravnega jezika. Njegova uravnotežena konfiguracija grafičnih procesorjev NVIDIA L40, procesorja AMD EPYC in hitrega pomnilnika je primeren za širok nabor visoko zmogljivih računalniških nalog, ki presegajo AI, vključno z znanstvenimi simulacijami, analizo podatkov in profesionalno vizualizacijo.
Dobava 2-6 tednov
Vprašanja, ki nam jih kupci najpogosteje zastavijo pred naročilom strežnika.
Kako dolgo traja?
Stroje, sestavljene iz komponent, ki jih imamo na voljo, hitro odpremimo; vse, kar zahteva določeno generacijo grafičnih procesorjev, je odvisno od dobave. Pred plačilom vam sporočimo datum, in če se izdelek premakne, vam to sporočimo, namesto da bi vi izvedeli.
Ali je mogoče konfiguracijo spremeniti, preden jo zgradite?
Skoraj vedno. Grafične kartice, pomnilnik, shranjevanje in hlajenje se izberejo za vsako naročilo posebej, navedena konfiguracija pa je izhodišče in ne fiksni paket. Če potrebujete več VRAM-a, hitrejše shranjevanje ali drugačen način hlajenja, to povejte pred naročilom in pripravili vam bomo ponudbo za spremembo.
Ali lahko strežnik prevzamem osebno?
Lahko. Naše skladišče je v Pragi, osebni prevzem pa je dobrodošel – večina ljudi, ki pridejo, izkoristi obisk, da si z našim inženirjem ogledajo stroj in postavijo vprašanja, ki so po e-pošti nerodna. Za naročila znotraj Češke republike poskušamo dostaviti tudi osebno in vas na kraju samem voditi skozi nastavitev.
Ali se lahko pogovorim z nekom, ki dejansko razume delovno obremenitev?
Da. Imamo inženirja, ki se ukvarja posebej s sistemi umetne inteligence, ne pa s splošno prodajno pisarno. Če se vaše vprašanje nanaša na velikosti serij, kvantizacijo, medsebojne povezave ali kje bo ozko grlo, ga postavite – ta pogovor običajno spremeni konfiguracijo na bolje.
Kateri model lahko uporabljam v tej konfiguraciji?
Da. Vsak stroj je sestavljen, preizkušen v delovanju in primerjalno preizkušen z dejanskimi delovnimi obremenitvami umetne inteligence, preden je odposlan, in nam pusti že nameščen in delujoč LLM. Priključite ga, povežete z omrežjem in začnete delati – edina odločitev, ki ostane, je, kateri projekt se bo zagnal najprej.
Kako preizkusite strežnik pred odpremo?
Preizkusimo ga v primerjavi z dejanskimi delovnimi obremenitvami umetne inteligence in ne s sintetičnimi rezultati: prepustnost sklepanja, obnašanje pri trajni obremenitvi in toplota med neprekinjenim delovanjem. Z napravo dobite rezultate primerjalnih testov, zato je obljubljena zmogljivost tista, ki jo lahko preverite že prvi dan.
Je strežnik pripravljen za delovanje, ko prispe?
Da. Vsak stroj je sestavljen, preizkušen v delovanju in primerjalno preizkušen z dejanskimi delovnimi obremenitvami umetne inteligence, preden je odposlan, in nam pusti že nameščen in delujoč LLM. Priključite ga, povežete z omrežjem in začnete delati – edina odločitev, ki ostane, je, kateri projekt se bo zagnal najprej.
Pošiljamo iz našega skladišča v EU. Za težke artikle bo morda potreben dogovor o prevozu – za ponudbo za pošiljanje in dobavni rok nas kontaktirajte. 2-letna omejena garancija z napredno podporo za vračilo blaga (RMA); na voljo je podaljšana garancija.
Ni ravno tisto, kar potrebujete?
Povejte nam svojo delovno obremenitev in to platformo bomo prilagodili njeni specifikaciji – grafične procesorje, pomnilnik, shranjevanje in hlajenje bomo prilagodili temu, kar dejansko uporabljate.