Amazon Web Services, kendi mühendislerine EC2 kullanımını azaltmalarını söylüyor. Şirket, ajan tabanlı yapay zeka patlamasının ortasında dış müşterilerden gelen CPU kapasite talebini karşılamakta zorlanıyor. Bu durum önemli, çünkü dünyanın en büyük bulut sağlayıcısı için bile bulut işlem gücünün ne kadar sıkışık hale geldiğini gösteriyor.
Ne oldu
Tom's Hardware'in haberine göre Amazon Web Services, iç mühendislerine EC2 kullanımını azaltma talimatı veriyor. Habere göre AWS, ajan tabanlı yapay zeka iş yüklerini çalıştıran dış müşterilerden gelen artan talep nedeniyle bir CPU kapasite krizi yaşıyor. Düşük kullanım oranına sahip EC2 örnekleri, ekiplerin boşta kalabilecek işlem gücü için birbiriyle rekabet etmesiyle şirket içinde aranan bir kaynağa dönüşmüş durumda. Rapor, kısıtlamanın kapsamını, hangi ekiplerin etkilendiğini veya bir çözüm zaman çizelgesini belirtmiyor. Ayrıca AWS yöneticilerinden doğrudan bir alıntı da yer almıyor. AWS'nin dış CPU talebini iç mühendislik kolaylığına önceliklendirdiği yönündeki temel iddia, tamamen Tom's Hardware'in haberine dayanıyor.
Buraya nasıl gelindi
Bulut sağlayıcıları uzun süredir iç mühendislik kullanımını, müşterilerin o an kullanmadığı boşta duran kapasiteden ödünç alınan esnek bir tampon olarak değerlendirdi. Ajan tabanlı yapay zeka iş yükleri bu dengeyi değiştiriyor. Geleneksel toplu işlerin aksine, yapay zeka ajanları sürekli çalışabiliyor ve az sayıda büyük istek yerine çok sayıda küçük istek gönderiyor. Bu örüntü, eskiden yedek kabul edilen CPU alanını tüketiyor. AWS, yıllardır esnek kapasiteyi EC2'nin temel satış noktası olarak pazarlıyordu. İç kullanıma yönelik bu kamuya açık kısıtlama, en azından çoğu yapay zeka haberinin odaklandığı GPU yarışının dışındaki CPU ağırlıklı iş yükleri için bu esnekliğin daha önce olduğundan daha fazla zorlandığını gösteriyor.
Sizin için neden önemli
AWS müşterileri için, iç kullanımda sıkılaşma, bazen fiyat ayarlamalarından veya örnek erişilebilirliği sınırlamalarından önce gelen daha geniş bir kapasite baskısının erken bir işareti olabilir. EC2 üzerinde node, doğrulayıcı veya arka uç servisleri çalıştıran geliştiriciler için bu, sadece GPU'nun değil CPU'nun da bir darboğaz haline gelebileceğinin bir hatırlatıcısı. AWS altyapısında yapay zeka ajanı dağıtımları planlayan geliştiriciler için, kapasite kısıtlamalarının önümüzdeki aylarda tedarik hızını veya maliyeti etkileyip etkilemeyeceğini izlemekte fayda var.
Büyük soru
Eğer yapay zeka büyümesinin bir sonraki kısıtlayıcısı GPU kapasitesi değil de CPU kapasitesi haline gelirse, teknoloji yığınının hangi kısımları bu değişime en az hazırlıklı olacak?
Neyi izlemeli
Bu haberle birlikte resmi bir AWS açıklaması, politika belgesi veya zaman çizelgesi yayınlanmadı. Okuyucuların, Amazon'dan gelecek herhangi bir kamuoyu açıklamasını, EC2 fiyatlandırması veya erişilebilirliğindeki değişiklikleri ve bu kapasite baskısının ne kadar yaygın olduğuna dair ipuçları verecek AWS'nin bir sonraki kazanç çağrısını takip etmesi gerekiyor.
