AWS, yapay zekay çalışmalarını desteklemek için altyapısında yaptığı çalışmaları açıkladı.
Amazon Web Services (AWS), üretken yapay zeka çalışmalarını ölçeklenebilir bir şekilde destekleyebilmek için altyapısını optimize etmeye devam ettiğini açıkladı. Ağ oluşturma alanında yeniliklerden veri merkezindeki tasarım değişikliklerine kadar pek çok alanda altyapı optimizasyonu yapan AWS, bu sayede müşterilerinin yeni teknolojileri kullanarak karar verme süreçlerini geliştirmelerini, müşteri deneyimini dönüştürmelerini, yaratıcılık ve inovasyonu artırmalarını sağlıyor.
Yapay zekanın yükselişi hızla devam ederken, kurumların hem maliyetlerini azaltıp hem de yüksek performans elde edebilmeleri için doğru teknolojik altyapıyı seçmeleri büyük önem taşıyor. Toyota, Pfizer, Ryanair, adidas ve New York Menkul Kıymetler Borsası’nın da aralarında bulunduğu 100.000’den fazla müşteri AWS’in yapay zeka (AI) ve makine öğrenimi (ML) servislerinden yararlanıyor. Bugün önde gelen üretken yapay zeka modelleri AWS altyapısı üzerinde eğitilip çalıştırılıyor. 15 yıldan uzun süredir grafik işleme birimi (GPU) tabanlı veri merkezleri kuran AWS, üretken yapay zekayı ölçeklenebilir bir şekilde destekleyecek yenilikler sunabilmek için altyapısının temelini geliştirmeye devam ediyor.
AWS Altyapı Servisleri Başkan Yardımcısı Prasad Kalyanaraman, bu alandaki çalışmalarının dört temel adımını paylaştı:
1. Düşük gecikme, büyük ölçekli ağ iletişimi
Üretken yapay zeka modellerinin eğitilmesi ve verimli bir şekilde çalışabilmesi için büyük miktarda veri gerekiyor. Model ne kadar büyük ve karmaşık olursa, eğitim süresi de o kadar uzun oluyor. Eğitim süresinin artması, yalnızca işletme maliyetlerini artırmakla kalmıyor, aynı zamanda inovasyonu da yavaşlatıyor. Geleneksel ağlar, üretken yapay zeka modeli eğitimi için gerekli olan düşük gecikme süresi ve büyük ölçeği sunamıyor.
Ağ gecikmesini azaltmak ve müşterilerimiz için daha iyi performans sağlamak adına sürekli çalışıyoruz. Ağ Arayüz Kartından ToR (Top-of-Rack) anahtarına, veri merkezi ağına, internet üzerinden erişilebilen yönlendiriciye ve omurga yönlendiricilerimize kadar geçici belleğin her katmanı için kendi ağ cihazlarımızı ve ağ işletim sistemlerimizi oluşturduğumuz benzersiz bir yaklaşıma sahibiz. Bu yaklaşım, müşterilerimiz için güvenlik, güvenilirlik ve performansı artırma konusunda bize daha fazla kontrol sağlamakla kalmıyor, aynı zamanda yenilik yapma konusunda diğerlerinden daha hızlı yol almamızı sağlıyor. Örneğin 2019 yılında Amazon EC2 bulut sunucularına işletim sistemini bypass etme işlevi sağlayan ve AWS tarafından özel olarak geliştirilen bir ağ arayüzü olan Elastic Fabric Adapter’ı (EFA) kullanıma sunduk. Bu da müşterilerin yüksek düzeyde düğümler arası iletişim gerektiren uygulamaları geniş ölçekte çalıştırmasına olanak tanıyor. EFA, AWS tarafından özel olarak tasarlanmış yüksek performanslı, düşük gecikmeli Ölçeklenebilir Güvenilir Datagram (SRD) ağ iletişim protokolünü kullanıyor.
Bunun yanı sıra, üretken yapay zeka iş yükleri için yeni bir ağ sunmak üzere hızla harekete geçtik. 2020’de inşa edilen ilk nesil UltraCluster ağımız, sunucular arasında sekiz mikrosaniyelik bir gecikme süresiyle 4.000 grafik işlem birimini veya GPU’yu destekliyordu. Yeni ağımız UltraCluster 2.0, gecikme süresini yüzde 25 azaltarak 20.000’den fazla GPU’yu destekliyor. Sadece yedi ayda hayata geçirilen bu hız, kendi özel ağ cihazlarımıza ve yazılımımıza yaptığımız uzun vadeli yatırımlar olmasaydı mümkün olamazdı. Şirket içinde UltraCluster 2.0’ı “10p10u” ağı olarak adlandırıyoruz, çünkü 10 mikrosaniyeden daha kısa bir gidiş-dönüş süresiyle saniyede onlarca petabit verim sağlıyor. Bu yeni ağ ile bir modeli eğitme süresi en az yüzde 15 kısalıyor.
2. Veri merkezlerimizin enerji verimliliğini sürekli olarak iyileştiriyoruz
Yapay zeka modellerini eğitmek ve çalıştırmak yoğun enerji gerektirdiğinden verimlilik çalışmaları kritik önem taşıyor. AWS olarak çevre üzerindeki etkimizi en aza indirmek için işimizi verimli bir şekilde yürütmeyi önemsiyoruz. Bu sadece toplumlar ve gezegenimiz için yapılması gereken doğru bir adım olmanın yanı sıra, AWS’in maliyetleri düşürmesine de yardımcı oluyor ve biz de bu maliyet tasarruflarını müşterilerimize aktarabiliyoruz. Uzun yıllardır altyapımız genelinde enerji verimliliğini artırmaya odaklandık. Bunlara birkaç örnek vermek gerekirse:
- Veri merkezi soğutma sistemlerimizdeki soğutma ortamının uzun ömürlülüğünü ve hava akışı performansını optimize ediyoruz.
- Bir veri merkezinin inşa edilmeden önce nasıl performans göstereceğini anlamak ve güç kullanımını en üst düzeye çıkarmak; sunucuları rafta ve veri alanında nasıl konumlandıracağımızı optimize etmek için gelişmiş modelleme yöntemlerini kullanıyoruz.
- Daha düşük karbonlu beton ve çelik kullanımı ve yedek jeneratörler için hidro-işlenmiş bitkisel yağa geçmek de dahil olmak üzere daha az karbon üretecek veri merkezleri inşa ediyoruz.
Accenture tarafından yapılan yeni bir araştırma bu çabalarımızın karşılığını aldığımızı gösteriyor. Araştırma, AWS altyapısının yerleşik altyapıya göre 4,1 kata kadar daha verimli olduğunu ve AWS’de optimizasyon yapıldığında karbon ayak izinin yüzde 99’a kadar azaltılabileceğini öngörüyor. Ancak güç talebi arttıkça bununla sınırlı kalamayız.
Yapay zeka çipleri matematiksel hesaplamaları yüksek hızda gerçekleştirdiğinden makine öğrenimi modelleri için kritik önem arz ediyor. Ayrıca diğer çip türlerine göre çok daha fazla ısı ürettikleri için çip başına 1.000 watt’tan daha fazla güce ihtiyaç duyan yeni yapay zeka sunucularının sıvı soğutma sistemleriyle donatılması gerekiyor. Bununla birlikte, bazı AWS servisleri sıvı soğutma gerektirmeyen ağ ve depolama altyapısı kullandığı için bu altyapının sıvı ile soğutulması enerjinin verimsiz kullanımı anlamına geliyor. AWS’in en yeni veri merkezi tasarımı, NVIDIA Grace Blackwell Superchips gibi en güçlü yapay zeka çip setleri için sıvı soğutma özelliklerinin yanı sıra optimize edilmiş hava soğutma çözümlerini de sorunsuz bir şekilde entegre ediyor. Bu esnek, çok modelli soğutma tasarımı, ister geleneksel iş kolları ister AI/ML modelleri ile çalışıyor olalım, maksimum performans ve verimlilik elde etmemizi sağlıyor. Ekibimiz, raf düzenlerinden elektrik dağıtımına ve soğutma tekniklerine kadar veri merkezlerimizi, bilgi işlem talepleri ne olursa olsun enerji verimliliğini sürekli olarak artıracak şekilde tasarladı.
3. Tepeden tırnağa güvenlik
Üretken yapay zeka dünyasına adım atarken müşterilerimizden duyduğumuz en yaygın altyapı sorularından biri, son derece hassas verilerini nasıl koruyacakları oluyor. Güvenlik bizim en önemli önceliğimiz ve tüm çalışmalarımızda da bu önceliğe yer veriyoruz. Altyapımız 7/24 denetleniyor ve veriler fiziksel sınırlarımızı terk edip altyapı merkezlerimiz arasında seyahat ederken altta yatan ağ katmanında şifreleniyor. Tüm bulut sistemleri bu şekilde inşa edilmediğinden, yapay zeka odağını AWS’e taşıyan şirketlerin sayısı da giderek artıyor.
AWS, en güvenli ve güvenilir küresel bulut altyapısı olacak şekilde tasarlandı. AI altyapısının güvenliğini sağlamaya yönelik yaklaşımımız üç temel ilkeye dayanıyor: 1) AI verilerinin altyapı operatöründen tamamen yalıtılması, yani altyapı operatörünün müşteri içeriğine, yapay sinir ağları ve modellerle işlenen veriler gibi yapay zeka verilerine erişememesi; 2) Müşterilerin AI verilerini kendilerinden yalıtabilmesi, yani verilere müşterilerin kendi kullanıcıları ve yazılımları tarafından erişilememesi; ve 3) Korumalı altyapı iletişimi, yani ML hızlandırma altyapısındaki cihazlar arasındaki iletişimin korunması.
2017 yılında, müşterilerin kodlarını ve verilerini işleme sırasında yetkisiz erişime karşı koruyan ve Güvenli Yapay Zeka Altyapısının ilk ilkesini yerine getiren AWS Nitro Sistemini kullanıma sunduk. İkinci ilkemizi ise AWS Nitro Enclaves ve AWS Anahtar Yönetimi Hizmeti (AWS KMS) arasındaki entegre çözümümüzle yerine getiriyoruz. Nitro Enclaves ve AWS KMS ile müşteriler, hassas yapay zeka verilerini kendi sahip oldukları ve kontrol ettikleri anahtarları kullanarak şifreleyebiliyor, bu verileri kendi seçtikleri bir konumda depolayabiliyor ve şifrelenmiş verileri çıkarım için yalıtılmış bir bilgi işlem ortamına güvenli bir şekilde aktarabiliyor. Bu süreç boyunca veriler şifreleniyor ve EC2 bulut sunucularındaki kendi kullanıcılarından ve yazılımlarından yalıtılıyor ve AWS operatörleri bu verilere erişemiyor. Önceden Nitro Enclaves yalnızca CPU’da çalışıyordu. Yakın zamanda, bu Nitro uçtan uca şifrelenmiş akışı, ML hızlandırma programları ve GPU’larla birinci sınıf entegrasyonu içerecek şekilde genişletme planlarımızı duyurarak üçüncü ilkeyi de yerine getirdik.
4. AWS Yapay Zeka Çipleri
Üretken yapay zekaya güç veren çipler son derece önemli ve modellerin ne kadar hızlı, uygun maliyetli ve sürdürülebilir bir şekilde eğitilip çalıştırabileceğini etkiliyor.
AWS olarak uzun yıllardır servislerimizin maliyetlerini düşürmek için yenilikler yapıyoruz. Yapay zeka için de durum farklı değil; müşterilerimize maliyetlerini kontrol altında tutmalarında yardımcı olarak yapay zekanın her ölçekten ve sektörden müşteri için erişilebilir olmasını sağlayabiliyoruz. Bu nedenle son birkaç yıldır AWS Trainium ve AWS Inferentia dahil olmak üzere kendi yapay zeka çiplerimizi tasarlıyoruz. Bu amaca yönelik çipler üstün fiyat performansı sunuyor ve üretken yapay zeka modellerini eğitmeyi ve çalıştırmayı daha enerji verimli hale getiriyor. AWS Trainium, makine öğrenimi modellerinin eğitimini hızlandırmak ve maliyetini diğer benzer eğitim için optimize edilmiş Amazon EC2 bulut sunucularına kıyasla yüzde 50’ye kadar düşürmek için tasarlandı ve AWS Inferentia, modellerin diğer benzer çıkarım için optimize edilmiş Amazon EC2 bulut sunucularına kıyasla yüzde 40’a kadar daha iyi fiyat performansı ile daha hızlı ve daha düşük maliyetle çıkarımlar üretmesini sağlıyor. Yapay zeka çiplerimize olan talep, mevcut alternatiflere göre uygun fiyat-performans avantajları göz önüne alındığında oldukça yüksek. Üçüncü nesil yapay zeka çipimiz olan Trainium2, bu yılın sonlarına doğru satışa sunulacak. Trainium2, birinci nesil Trainium çiplerine göre 4 kata kadar daha hızlı eğitim sunacak şekilde tasarlandı ve 100.000 çipe kadar EC2 UltraCluster’larda konuşlandırılabiliyor. Bu da temel modelleri ve büyük dil modellerini çok daha kısa sürede eğitmeyi mümkün kılarken enerji verimliliğini 2 kata kadar artırıyor.
Ayrıca AWS, ML ve üretken yapay zeka uygulamaları için buluttaki en kapsamlı hızlandırma setini sunmak üzere NVIDIA, Intel, Qualcomm ve AMD ile birlikte çalışıyor. Müşterilerimize daha da iyi fiyat performansı sağlayan AWS tasarımı çiplerin gelecek nesillerini sunmak için yenilikler yapmaya devam edeceğiz.
