[Çin, Shenzhen, 14 Temmuz 2023] Bugün Huawei, temel model eğitimi, sektöre özel model eğitimi ve bölümlere ayrılmış senaryolarda çıkarım için en uygun depolama çözümlerini sağlayan, büyük ölçekli modeller çağına yönelik yeni AI depolama çözümünü tanıttı. yeni yapay zeka yeteneklerini açığa çıkarıyor.
Büyük ölçekli model uygulamalarının geliştirilmesinde ve uygulanmasında işletmeler dört büyük zorlukla karşı karşıyadır:
İlk olarak, veri hazırlığı için gereken süre uzundur, veri kaynakları dağınıktır ve toplama yavaştır; yüzlerce terabaytlık verinin ön işlenmesi yaklaşık 10 gün sürmektedir. İkinci olarak, büyük metin ve görüntü veri kümelerine sahip çok modlu büyük modeller için, büyük küçük dosyalara yönelik mevcut yükleme hızı 100 MB/s'den azdır ve bu da eğitim seti yüklemesinde düşük verimlilikle sonuçlanır. Üçüncüsü, büyük modeller için sık sık yapılan parametre ayarlamaları ve kararsız eğitim platformları, yaklaşık 2 günde bir eğitim kesintilerine neden olur, bu da Checkpoint mekanizmasının eğitime devam etmesini gerektirir ve toparlanma bir gün sürer. Son olarak, büyük modeller için yüksek uygulama eşikleri, karmaşık sistem kurulumu, kaynak planlama zorlukları ve GPU kaynak kullanımı genellikle %40'ın altındadır.
Huawei, büyük ölçekli modeller çağındaki yapay zeka geliştirme trendine uyum sağlayarak farklı sektörlere ve senaryolara özel çözümler sunuyor. OceanStor A310 Deep Learning Data Lake Depolamayı ve FusionCube A3000 Eğitim/Çıkarım Süper Yakınsanmış Cihazını tanıtıyor. OceanStor A310 Deep Learning Data Lake Storage, hem temel hem de endüstri düzeyinde büyük model veri gölü senaryolarını hedefleyerek veri toplama, ön işleme, model eğitimine ve çıkarım uygulamalarına kadar kapsamlı yapay zeka veri yönetimi sağlar. OceanStor A310, tek bir 5U rafta, sektör lideri 400 GB/sn bant genişliğini ve 12 milyona kadar IOPS'yi destekler ve 4096 düğüme kadar doğrusal ölçeklenebilirlik ile kesintisiz protokoller arası iletişim sağlar. Küresel Dosya Sistemi (GFS), bölgeler arasında akıllı veri dokumayı kolaylaştırarak veri toplama süreçlerini kolaylaştırır. Yakın depolama bilgi işlemi, yakın veri ön işlemeyi gerçekleştirerek veri hareketini azaltır ve ön işleme verimliliğini %30 artırır.
Endüstri düzeyinde büyük model eğitim/çıkarım senaryoları için tasarlanan FusionCube A3000 Eğitim/Çıkarım Süper Yakınsanmış Cihazı, milyarlarca parametreye sahip modelleri içeren uygulamalara hitap eder. OceanStor A300 yüksek performanslı depolama düğümlerini, eğitim/çıkarım düğümlerini, anahtarlama ekipmanını, yapay zeka platform yazılımını ve yönetim ve işletim yazılımını entegre ederek büyük model iş ortaklarına tek noktadan teslimat için tak ve çalıştır dağıtım deneyimi sağlar. Kullanıma hazır olup 2 saat içerisinde kullanıma hazır hale gelir. Hem eğitim/çıkarım hem de depolama düğümleri, çeşitli model ölçeği gereksinimlerine uyacak şekilde bağımsız ve yatay olarak genişletilebilir. Bu arada FusionCube A3000, birden fazla model eğitimi ve çıkarım görevinin GPU'ları paylaşmasını sağlamak için yüksek performanslı konteynerler kullanarak kaynak kullanımını %40'tan %70'in üzerine çıkarıyor. FusionCube A3000 iki esnek iş modelini destekler: Huawei Ascend Tek Noktadan Çözüm ve açık bilgi işlem, ağ oluşturma ve yapay zeka platform yazılımına sahip üçüncü taraf ortak tek noktadan çözüm.
Huawei'nin Veri Depolama Ürün Grubu Başkanı Zhou Yuefeng şunları söyledi: “Büyük ölçekli modeller çağında veriler, yapay zeka zekasının yüksekliğini belirliyor. Veri taşıyıcısı olarak veri depolama, yapay zekanın büyük ölçekli modelleri için temel temel altyapı haline geliyor. Huawei Veri Depolama, AI büyük modelleri çağına yönelik çeşitli çözümler ve ürünler sunarak, geniş bir endüstri yelpazesinde AI'nın güçlendirilmesini desteklemek için iş ortaklarıyla işbirliği yaparak yenilik yapmaya devam edecek."
Gönderim zamanı: Ağu-01-2023
