Yapay zeka maliyetleri neden düşmüyor?

Teknoloji yöneticilerinin yapay zeka maliyetlerinin düşeceği yönündeki öngörülerine rağmen, şirketlerin token tüketimi kontrolsüz şekilde artıyor. Gelişmiş yazılım kodlama ve bağımsız yapay zeka aracılarının devreye girmesiyle birlikte işletmeler, bütçelerini birkaç ay içinde tüketerek beklenmedik faturalarla karşı karşıya kalıyor.

Teknoloji devleri uzun süredir yapay zekanın daha gelişmiş hale gelmesi ve kullanımının yaygınlaşmasıyla maliyetlerin düşeceğini öngörüyordu.

Bu öngörü bir bakıma gerçekleşti; yapay zeka adaptasyonu büyüyor, bilgi işlem gücünü artırmak için veri merkezleri inşa ediliyor ve çıkarım olarak bilinen yapay zeka modellerini çalıştırma maliyetleri düşüyor.

Ancak yapay zekanın, özellikle de en karmaşık görevler için kullanımı o kadar hızlı artıyor ki şirketler, büyük dil modellerinin okuduğu ve ürettiği temel veri birimleri olan token kullanımı nedeniyle artık her zamankinden daha fazla ödeme yapıyor.

Axios haber sitesine göre, bir şirketin Anthropic firmasına ait Claude lisansları için tek bir ayda 500 milyon ABD doları harcadığı bildirildi.

Diğer bazı şirketler ise beklenmedik yapay zeka harcamaları nedeniyle çalışanların maaş artışlarını erteliyor ya da insan çalışanları işe almanın yapay zekayı yaygınlaştırmaktan daha ucuz hale geldiğini ifade ediyor.

Yapay zeka token’ı nedir?

Yapay zeka token’ları; OpenAI Inc.’in ChatGPT’si, Anthropic’in Claude’u ve Google’ın Gemini’si gibi yapay zeka modellerinin metin tabanlı yanıtlar, kod satırları ve görüntüler oluşturmak üzere dili işlemek için kullandığı en temel metin veya veri birimleri.

Örneğin, bir yazılım mühendisi Claude’dan bir proje için kod satırları üretmesini istediğinde, Claude talebi anlamak ve çıktı üretmek için bu komutu daha küçük veri birimlerine ayırıyor.

KPMG’nin Kanada Yapay Zeka Bölüm Başkanı Andrew Forde, Financial Post’a verdiği mülakatta, kod yazmak veya yapay zeka aracılarının asgari insan müdahalesiyle çok aşamalı talepleri yerine getirdiği “özerk yapay zeka iş akışları” oluşturmak gibi karmaşık görevlerin, basit bir sohbet robotu sorgusuna kıyasla on binlerce, hatta yüz binlerce daha fazla token tükettiğini belirtiyor.

Forde, “Yeni bir yazılım parçası yazıyorsanız, bir yapay zekadan alınacak paragraf uzunluğundaki metin yanıtı için harcanacak 100 token’a karşılık 150 bin token sınırına ulaşabilirsiniz” değerlendirmesinde bulunuyor.

Kullanıcılar hem girdi hem de çıktı token’ları için ücretlendiriliyor.

Bu nedenle şirketler, çalışanlarının yapay zekaya sorduğu her talep veya komutun yanı sıra ortaya çıkan yanıt için de ödeme yapıyor.

Şirketler neden token tüketimine yöneliyor?

İşletmeler yapay zekadan kodlama ve özerk yapay zeka gibi giderek daha karmaşık görevleri üstlenmesini talep ediyor. Bu da kurumsal kullanıcılar tarafından tüketilen token miktarının fırlamasına yol açıyor.

Andrew Forde, “Şirketlerin denemeye başladığı iş akışlarını gerçekleştirmek, normalden katbekat daha yüksek maliyetli. İstediğiniz sonucu elde etmek için birden fazla yapay zeka aracısının derinlemesine çalıştığı daha özerk işlere yöneldiğinizde, bunun kullanım maliyeti çok yüksek oluyor” diyor.

Evident AI Endeksi’ne göre yapay zeka alanında dünyanın en gelişmiş üçüncü bankası olan Royal Bank of Canada, ikinci çeyrekte yapay zeka token kullanımının yüzde 500’den fazla arttığını açıkladı.

Shopify Inc. Teknolojiden Sorumlu Başkanı Mikhail Parakhin, nisan ayında katıldığı yayında, şirketin çalışanları genelinde günlük yapay zeka aracı kullanımında yüzde 100 oranına ulaştığını ve herkes için “sınırsız token” bütçesi sağladıklarını belirtti.

Google ise geçen yıla göre yedi katlık bir artışla her ay 3 katrilyondan fazla token işlediğini duyurdu.

Silikon Vadisi’ndeki iş yerlerinde token tüketimi bir üretkenlik ölçütü haline gelmiş durumda. Mühendisler ve çalışanlar, üretkenliklerini ve yapay zekaya olan bağlılıklarını kanıtlamak için mümkün olduğunca çok token tüketiyor; bu eyleme ise “tokenmaxxing” adı veriliyor.

Nvidia Corp. Üst Yöneticisi Jensen Huang, yüksek maaş alan mühendislerin token harcamalarını en üst düzeye çıkarması gerektiğini savunuyor.

Huang, mart ayında katıldığı All-In adlı yayında, “Eğer 500 bin dolarlık o mühendis en az 250 bin dolar değerinde token tüketmediyse, bundan derin bir endişe duyarım” ifadesini kullandı.

Token fiyatlarında son durum ne?

Yapay zeka token’larının fiyatı, ChatGPT’nin 2022 sonundaki lansmanından bu yana keskin bir düşüş gösterdi.

Forde, “ChatGPT öncesinde, yaklaşık bir milyon bilişsel token size 20 dolara mal oluyordu. 2023’e gelindiğinde bu rakam tekrar düştü ve şu anda yaklaşık sekiz sent civarında” bilgisini paylaşıyor.

Ancak Anthropic gibi erken dönem yapay zeka geliştiricileri, kullanıcıları yapay zekaya alıştırmak için tasarlanmış sabit ücretli modellerden kullanım bazlı fiyatlandırmaya geçiş yapıyor.

Forde, “Artık kritik kütleye ulaşmaya başladıkları için stratejileri bunu bir kamu hizmeti gibi işletmek yönünde” diyerek şirketlerin yıllık yapay zeka bütçelerini birkaç ay içinde tükettiğini ve maliyetlerin bu yüzden arttığını ekliyor.

Örneğin, siber güvenlik şirketi Palo Alto Networks Inc., kodlarındaki açıkları kontrol etmek için Anthropic’in Mythos yapay zeka modelini kullandı ve The Information haber sitesine konuşan bir şirket yöneticisinin aktardığına göre, “çok hızlı bir şekilde” 1 milyon ABD doları değerinde token tüketti.

Forde, artan yapay zeka maliyetlerinin büyük ve küçük işletmeler arasındaki yapay zeka adaptasyonu ve yatırım getirisi makasını açabileceğine dikkat çekiyor.

Büyük şirketler, büyüklükleri sayesinde taahhütlü kullanım indirimleri için pazarlık yapabiliyor, maliyetleri kontrol etmek ve fiyat dalgalanmalarını absorbe etmek için kendi altyapılarını kurup yapay zeka kabiliyetlerine yatırım yapabiliyor.

Küçük işletmeler ise piyasadaki cari fiyata daha yakın ödemeler gerçekleştiriyor.

Kurumsal iş yeri araçları üreten Toronto merkezli Convictional Inc.’in kurucu ortağı ve yöneticisi Roger Kirkness, yatırımcı fonlarının yapay zekanın artan maliyet etkisini hafifletmeye yardımcı olduğunu ifade etti.

Yazılım mühendisliğiyle ilgili artan token tüketiminin etkisiyle şirketinin yapay zeka harcamalarının yılın başından bu yana üç katına çıktığını belirten Kirkness, “Yatırımcı desteği olmayan şirketler, gelir elde etmeden önce bu maliyetleri karşılamakta daha fazla zorlanacaktır” dedi ve token harcamalarının, yapay zeka aracılarının çalışmalarını iş hedefleriyle uyumlu hale getirecek kaynaklara sahip, “iyi finanse edilen şirketlerin” lehine olduğunu sözlerine ekledi.

Şirketler artan maliyetlerle nasıl mücadele ediyor?

Goldman Sachs, yapay zeka token tüketiminin 2026 ile 2030 yılları arasında 24 kat artarak ayda 120 katrilyon token’a ulaşacağını tahmin ediyor.

Forde, fiyatların yakın vadede dalgalı seyretmesinin muhtemel olduğunu ve işletmelerin şu anda bu “sürekli baskıya” karşı nasıl önlem alacaklarını çözmeye çalıştıklarını ifade ediyor.

Bazı yöneticiler yapay zeka kullanım sınırları koyarak maliyetleri dizginlemeye çalışıyor. Örneğin Uber Technologies, kodlama aracı başına aylık bin 500 ABD doları tutarında bir yapay zeka token harcaması sınırı uyguluyor.

Araştırma şirketi Evident Insights’ın istihbarat başkanı Colin Gilbert, çoğu bankanın token tüketimi üzerinde daha fazla denetim talep ettiğini ancak yapay zeka kullanımını kısıtlamadığını belirtiyor.

Gilbert, şirketler arasında popüler olan bir stratejinin, en gelişmiş ve pahalı yapay zeka modellerini karmaşık ve özerk iş akışları için saklamak, daha basit görevler için ise daha küçük ve ucuz modelleri devreye sokmak olduğunu aktarıyor ve bu yönteme “model yönlendirme” dendiğini ifade ediyor.

Kirkness, Convictional’ın şu anda belirli iş türlerini daha ucuz cihaz ve bulut tabanlı modellere kaydırıp kaydiremeyeceğini değerlendirdiğini söylerken, OpenAI CEO’su Sam Altman da şirketin modellerini nasıl daha verimli hale getirebilecekleri ve “insanların daha az harcamayla daha fazla değer elde etmelerine nasıl yardımcı olabilecekleri” üzerinde çalıştıklarını belirtiyor.