[Ķīna, Šenžena, 2023. gada 14. jūlijs] Šodien Huawei atklāja savu jauno AI krātuves risinājumu liela mēroga modeļu laikmetam, nodrošinot optimālus uzglabāšanas risinājumus pamata modeļu apmācībai, nozarei specifisku modeļu apmācībai un secinājumiem segmentētos scenārijos. atraisot jaunas AI iespējas.
Izstrādājot un ieviešot liela mēroga modeļu lietojumprogrammas, uzņēmumi saskaras ar četrām galvenajām problēmām:
Pirmkārt, datu sagatavošanai nepieciešamais laiks ir ilgs, datu avoti ir izkaisīti un apkopošana notiek lēni, simtiem terabaitu datu pirmapstrādei nepieciešamas aptuveni 10 dienas. Otrkārt, daudzmodāliem lieliem modeļiem ar masveida teksta un attēlu datu kopām pašreizējais masveida mazu failu ielādes ātrums ir mazāks par 100 MB/s, kā rezultātā apmācības kopas ielādes efektivitāte ir zema. Treškārt, bieža parametru pielāgošana lieliem modeļiem, kā arī nestabilas treniņu platformas, rada treniņu pārtraukumus aptuveni ik pēc 2 dienām, tādēļ ir nepieciešams kontrolpunkta mehānisms, lai atsāktu treniņus, un atveseļošanās aizņem vairāk nekā vienu dienu. Visbeidzot, augsti ieviešanas sliekšņi lieliem modeļiem, sarežģīta sistēmas iestatīšana, resursu plānošanas problēmas un GPU resursu izmantošana bieži vien ir zem 40%.
Huawei pieskaņojas AI attīstības tendencēm liela mēroga modeļu laikmetā, piedāvājot dažādām nozarēm un scenārijiem pielāgotus risinājumus. Tas iepazīstina ar OceanStor A310 Deep Learning Data Lake Storage un FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage ir paredzēta gan pamata, gan nozares līmeņa liela modeļa datu ezera scenārijiem, panākot visaptverošu AI datu pārvaldību no datu apkopošanas, pirmapstrādes līdz modeļu apmācībai un secinājumu lietojumprogrammām. OceanStor A310 vienā 5 U statīvā atbalsta nozarē vadošo 400 GB/s joslas platumu un līdz 12 miljoniem IOPS ar lineāru mērogojamību līdz 4096 mezgliem, nodrošinot netraucētu starpprotokolu saziņu. Globālā failu sistēma (GFS) atvieglo viedo datu aušanu dažādos reģionos, racionalizējot datu apkopošanas procesus. Gandrīz krātuves skaitļošana realizē gandrīz datu priekšapstrādi, samazinot datu kustību un uzlabojot priekšapstrādes efektivitāti par 30%.
FusionCube A3000 apmācību/secinājumu superkonverģētā ierīce, kas izstrādāta nozares līmeņa lielu modeļu apmācības/secinājumu scenārijiem, ir piemērota lietojumprogrammām, kas ietver modeļus ar miljardiem parametru. Tajā ir integrēti OceanStor A300 augstas veiktspējas krātuves mezgli, apmācības/secināšanas mezgli, komutācijas iekārtas, mākslīgā intelekta platformas programmatūra un pārvaldības un darbības programmatūra, nodrošinot lieliem modeļu partneriem ar plug-and-play izvietošanas pieredzi vienas pieturas piegādei. Gatavs lietošanai, to var izvietot 2 stundu laikā. Gan apmācības/secināšanas, gan uzglabāšanas mezglus var neatkarīgi un horizontāli paplašināt, lai tie atbilstu dažādām modeļa mēroga prasībām. Tikmēr FusionCube A3000 izmanto augstas veiktspējas konteinerus, lai nodrošinātu vairākus modeļu apmācību un secinājumus, lai koplietotu GPU, palielinot resursu izmantošanu no 40% līdz vairāk nekā 70%. FusionCube A3000 atbalsta divus elastīgus biznesa modeļus: Huawei Ascend vienas pieturas risinājumu un trešās puses partneru vienas pieturas risinājumu ar atvērtu skaitļošanas, tīklu un AI platformas programmatūru.
Huawei datu uzglabāšanas produktu līnijas prezidents Džou Juefengs sacīja: “Liela mēroga modeļu laikmetā dati nosaka AI intelekta augstumu. Kā datu nesējs, datu glabāšana kļūst par galveno pamata infrastruktūru AI liela mēroga modeļiem. Huawei Data Storage turpinās ieviest jauninājumus, nodrošinot daudzveidīgus risinājumus un produktus AI lielo modeļu laikmetam, sadarbojoties ar partneriem, lai veicinātu AI iespējas dažādās nozarēs.
Ievietošanas laiks: 01.08.2023
