Örnek bir test, bir yapay zekâ özelliğinin çalışıp çalışmadığını söyler. Gerçek kullanıcılarla yapılan aşamalı test, özelliğin herkes tarafından kullanılıp kullanılmadığını ortaya koyar. Üçüncü test ise özelliğin altı ay sonra hâlâ mevcut olup olmadığını gösterir; alıcının satın aldığı da aslında üçüncüsüdür. Akıllı gözlükler üzerindeki bir asistan bir bileşen değil, bir bağımlılıktır: model bir yerde çalışır, hizmeti birileri işletir ve özelliği iki haftadır kullanan bir müşteri, onu alıcının asla deneyimlemeyeceği bir şekilde keşfeder. Bu nedenle program, sırayla üç soruyu yanıtlamalıdır: hizmet olmadığında ne olur, gerçek insanlar özelliğe ne sıklıkla başvurur ve bir yıl sonra hâlâ mevcut mudur? Yanıtlar sözleşme maddelerine dönüşmelidir; çünkü üçüncü soru teknik bir risk değil, ticari bir risktir. Hiçbir model için uyandırma oranını, yanlış etkinleştirme oranını, komut başarı oranını, gecikmeyi, tanıma doğruluğunu veya çevrimdışı davranışı yayımlamıyor, tahmin de etmiyoruz.
Akıllı Gözlük Yapay Zekâ Özellikleri: ne başarısız olur ve ne zaman
Bir tanıtım ile müşterinin ilk haftası arasındaki fark
Kataloğumuz, Yapay Zekâ Kamera Gözlükleri ailesinin kilit teknolojileri arasında yapay zekâ tabanlı bir ses asistanını sayar; bağımsız sitemiz ise K01 üzerindeki, sesli bir model olan yapay zekâ çevirisini tanımlar. Kanıtlayabildiğimiz iddialar bunlardır. Bu kategorideki diğer her şey — uyandırma oranı, yanlış etkinleştirme oranı, komut başarı oranı, gecikme, tanıma doğruluğu ve çevrimdışı davranış — hiçbir model için yayımlanmaz ve tahmin edilmez.
Bu boşluk bir nedenle var ve bu neden tüm satın alma yaklaşımını şekillendirir. Bir asistanın davranışı, fabrikadan değil, onu destekleyen model ve hizmetten üretilir; dolayısıyla bunu tanımlayan bir sayı, hizmeti işleten kişiye aittir. Fabrika, elde edilen sonucu kendi yazılımının nasıl işlediğini bildirebilir ve sonucun hiç ulaşmadığı durumda sevk edilen birimin nasıl davrandığını bildirebilir. Ancak modelin gelecek ay ne yapacağına söz veremez; çünkü modeli değiştirme onun yetkisinde değildir.
Bunun yapısal sonucu, bir tanıtımın ve müşterinin ilk haftasının farklı olaylar olmasıdır. Tanıtım biriminde hesaplar bağlıdır, dil ayarlıdır, bölge yapılandırılmıştır, ağın çalıştığı bilinir ve odada sorun çıktığında ne yapılacağını bilen biri bulunur. Kutudan çıkan birim ise müşterinin aldığı şeydir; bu iki durum arasındaki fark, bulguların çoğunun ortaya çıktığı yerdir.
Okur, bir yapay zekâ asistanının ürünün öne çıkan özelliği mi yoksa listedeki bir kalem mi olacağına karar vermesi gereken bir marka ürün yöneticisi, tedarikçi alıcısı veya kanal alıcısıdır; elinde numuneler, hedef fiyat, kanal ve özellik listesi vardır. Yönetilen risk, özelliğin duyurulduğu, gerçek bir hane ile karşılaştığında hayatta kalamadığı ve teknik bir talep olarak değil, iade yükümlülüğü ve değerlendirme sorunu olarak geri döndüğü bir lansmandır.
Alıcının kaçınmaya çalıştığı şeyler
Müşterilerin kullanmayı bıraktığı bir özelliği sevk etmek. Her bireysel test geçmiş olsa bile ikinci haftada ilk haftaya göre daha az kullanılan bir özellik, önemli bir şey anlatmıştır. Hiçbir özelliğe ulaşmayan bir özellik üzerinden satılan ürün, iade yükümlülüğü ve değerlendirme sorunu olan bir üründür.
Bağlantı olmadan çalışmadığı hâlde özelliğin çalıştığını belirten bir ürün sayfası. Hatalı koşullar aşaması, başarısızlığın zarif bir şekilde mi karşılandığını belirler ve ürün sayfasının neyi söyleyebileceğine karar veren aşamadır.
Testi yapan kişinin sonuca ilgi duyması nedeniyle ürünü olduğundan iyi gösteren bir sonuç. Sonuçla ilgilenen bir iş arkadaşı özelliği düzgün kullanır; düzgün kullanmak ile ona ihtiyaç duymak aynı şey değildir.
Markanın varlığından haberdar olmadığı bir bağımlılık. Bu, yalnızca bu kategoriye özgü risktir. Üründeki diğer tüm özellikler, alıcının sözleşme yaptığı biri tarafından geliştirilir. Bu özellik ise böyle olmayabilir; alıcı bunu sormadıysa varsayılan cevap şudur: hizmeti başka biri işletir ve markanın hiç tanımadığı bir kişi tarafından değiştirilebilir veya geri çekilebilir.

Satın alma görevi: hizmet olmadığında ne olacağına karar vermek
Özelliğin arkasındaki hizmeti kim işletiyor?
Herhangi bir şey ölçülmeden önce marka, özelliğin mülkiyetini belirlemelidir; çünkü mülkiyet, programın tüm ticari yapısını belirler ve sonradan değiştirilmesi en zor unsurdur.
Üç soru bunu netleştirir. Model cihazda mı çalışıyor, yoksa sunucuda mu? Sunucuysa kim tarafından işletiliyor? Ve operatör fiyatlarını, modelini veya ürünü destekleme konusundaki kararını değiştirirse bu özellik ne olur?
Bunlar teknik merak konuları değildir. Cihaz tarafında çalışan bir asistan, ürünün kullanım ömrüne ve fabrikasının kontrol ettiği bir davranışa bağlıdır; bu da onu bir özellik yazımı sorunu hâline getirir. Sunucu tarafında çalışan bir asistan ise fabrikasının kontrol etmediği bir davranışa sahiptir; bu da sorunu bir tedarik zinciri meselesine dönüştürür ve marka artık tek muhatap yerine iki muhatapla görüşmektedir. Bu ayrım, programın toplam maliyetini, sözleşme yapısını ve özelliğin ilanda ürünün yaptığı bir işlev olarak dürüstçe tanımlanıp tanımlanamayacağını belirler.
İkinci olarak netleştirilmesi gereken konu, markanın bir değişiklik hakkında neleri bilmeye yetkili olduğudur. Sözleşmeye bağlı bir bildirim olmadan değiştirilebilen bir özellik, birim fiyat farkından daha büyük bir ticari risktir; çünkü marka, ambalaj, metin, eğitim ve destek betiklerini kontrol edemediği bir davranış için hazırlamıştır. Süreli bir bildirim yükümlülüğü ise bu riski yönetilebilir hâle getirir.
Üçüncü olarak netleştirilmesi gereken konu, hizmetin sonlandırılması hâlinde ne olacağıdır. Uygulamada bunun her zaman bir yanıtı vardır ve bu yanıt genellikle şudur: Özellik, onunla birlikte ilan edilen bir ürün için ödeme yapmış müşteriler açısından ortadan kalkar. Hizmetin sağladığı herhangi bir özellikten daha değerli olan, yedek bir durumu — çevrimdışı davranışı, azaltılmış komut kümesini veya yerel yedek işlevi — belirleyen hükümdür; çünkü markanın garanti verebileceği tek kısım budur.
Yukarıdaki matris, önemli olan iki boyutu yan yana gösterir. Sağ alttaki hücre, bir markanın ulaşabileceği en güçlü konumdur ve teknolojiyle değil, sözleşmeyle ulaşılır. Sol üstteki hücre ise bu kategoride en yaygın konumdur ve bunu azaltmanın yolu daha iyi bir model değil, yedek bir durum ve bir bildirim süresidir.
Dört bozulma durumu ve her birine karşılık gelen eşikler
Dört durum ve her birinin gerektirdiği hüküm
Asistan tek bir koşulda değildir; dört farklı koşulda bulunur ve her biri markanın metni üzerinde farklı bir yükümlülük, sözleşme üzerinde ise farklı bir hüküm getirir.
Bağlantılı ve çalışıyor. Komut anlaşılıyor ve yanıtlanıyor. Buradaki yükümlülük en azdır: Yetenek listesi koşullarını taşıyorsa iddialar arasına bu yetenek dâhil edilebilir. "Doğal konuşmayı anlar" ifadesi, "Belirtilen gürültü seviyesinde, belirtilen yazılım sürümünde kırk ifadeden oluşan bir listeden bir komutu tanır" hâline gelir — yani bir yetenek değil, bir iddia.
Bağlantılı ancak bozulmuş. Daha yavaş bir yanıt, kısmi bir yanıt veya ret. Bu, kimsenin yazmadığı ama herkesin yaşadığı bir durumdur ve metindeki vaat genellikle burada bozulur. Korunması gereken eşik, tedarikçi tarafından markanın dışından doğru şekilde tanımlanamayacağı için bozulmuş davranışın yazılı bir açıklamasıdır. Yanıt süresi vaat eden bir ilan, çalışan durumla ilgili değil, bozulmuş durumla ilgili bir iddiadır.
Ağ yok. Yerel bir ret, bir kuyruk veya sessizlik. Eşik, davranışın belirtilmiş olması ve bu belirtimin hem ilanda hem de kullanma kılavuzunda müşteri tarafından görülebilmesidir. Asansörde sessizce başarısız olan bir cihaz bir destek talebidir; ne yaptığını söyleyen bir cihaz ise bir özelliktir.
Hizmet sonlandırılmış. Özellik müşteri açısından ortadan kalkar. Eşik sözleşmeseldir: Bir bildirim süresi, tanımlanmış bir yedek durum ve markanın hizmetin aktif tutulmasını talep edebileceği fiyat. Bu satırı marka imzalar, müşteri keşfeder ve lansman haftasından sonra hayatta kalabilen tek satırdır.
Dört durumun tamamı için faydalı bir yaklaşım, metni gösterebileceğiniz en iyi duruma değil, ulaşabileceğiniz en kötü duruma göre yazmaktır. Ağ yokken ve bozulmuş durumda ayakta kalabilen bir ilan, çalışıyor durumda otomatik olarak ayakta kalır; tersi ise doğru değildir.
Depozito ödenmeden önce yazıya geçirilmesi gereken sorular
Bu kontrol listesindeki üç grup, kimlerin sağladığına göre değil, neye karar verdiklerine göre düzenlenmiştir. Sahiplik grubu, programın ticari yapısına karar verir ve sözleşme hazırlanmadan önce kapatılması gereken gruptur. Süreklilik grubu riski belirler ve lansmandan sonra markanın geceleri rahat uyuyup uyuyamayacağına karar veren gruptur. Veri grubu ise gizlilik beyanının neler söyleyebileceğine karar verir ve kendi veri kurallarına sahip bir pazarın soracağı gruptur. Toplam dokuz satır vardır; her aday için sorulacak sorular aynıdır ve adaylar arasındaki karşılaştırmanın adil olmasını sağlayan da budur.
- Asistanın arkasındaki hizmeti kim işletiyor ve bu, fabrika mı, uygulama işletmecisi mi yoksa üçüncü taraf mı?
- Model cihazda mı sunucuda mı çalışıyor ve cihaz onsuz neler yapabiliyor?
- Yazılı yetenek listesi ve her bir öğenin geçerli olduğu koşul.
- Desteklenen diller listesi ve çeviri özelliği iddia ediliyorsa her dil çiftinin yönü.
- Veri açıklaması: nelerin toplandığı, nerede işlendiği ve mikrofonun nasıl devre dışı bırakıldığı.
- Güncelleme mekanizması ve firmware sürümlerinin ne kadar süre erişilebilir tutulduğu.
- Bir model veya davranış değişikliği öncesinde markanın aldığı bildirim.
- Hizmetin kullanımdan kaldırıldığı durumdaki davranış, yazılı olarak.
- Sertifika numaraları, düzenleyen kurum ve geçerlilik tarihleriyle birlikte.

Benimseme kanıtı üreten iki haftalık bir program oluşturmak
Altı aşama ve ürettikleri kayıt
Program, sonuçla hiçbir ilgisi olmayan kişilerle iki hafta boyunca yürütülür ve buradan çıkan önemli iki sayı vardır: kullanım oranı ve hata modu dağılımı.
Birinci aşama, hiçbir yardım alınmadan yapılan ilk kullanımdır. Bir kişi, bir cihaz, kutudan çıktığı hâliyle daha önce hiç eşleştirilmemiş bir telefona. İzleyin ve müdahale etmeyin. Bu aşama, örnek testin atladığı yapılandırma sorunlarını ortaya çıkarır: dil ayarlanmamıştır, hesap bağlanmamıştır, bölge yanlıştır, bir izin eksiktir ve ilk deneme özellikle ilgisiz bir nedenle başarısız olur.
İkinci aşama, kişinin normal rutinindeki ilk gündür. Özellik bir kez mi kullanıldı, üç kez mi, hiç kullanılmadı mı? O anda değil, ertesi sabah sorun; çünkü o anda verilen yanıt gösteri etkisiyle şekillenir.
Üçüncü aşama, beş kişinin kendi cihazları, hesapları ve ağlarıyla katıldığı ilk haftadır. Artık değişkenlik ortaya çıkar. Kimileri gürültülü bir yerde olacak, kimilerinin ağzı aksanlı olacak, birinin telefonu eski olacak. Beş kişiden dördünde çalışan bir özellik, beşincisinden iade alma talebi doğuracak bir özelliktir.
Dördüncü aşama, kötü koşulların bilerek oluşturulduğu aşamadır. Gürültülü bir kafe, zayıf sinyal, karanlık bir oda, düşük pil seviyesindeki bir telefon. Yanlış etkinleştirme oranı ve gecikme burada görünür hâle gelir; gösteri hiçbir zaman bu aşamaya ulaşmaz.
Beşinci aşama, yanlış koşullardır. Ağı olmayan cihaz ve hesabı kaybolmuş cihaz. Soru, hatanın zarif bir şekilde mi ortaya çıktığıdır; yanıt ise ürün sayfasında nelerin söylenebileceğidir.
Altıncı aşama, ikinci haftadır. Aynı beş kişiye yeniden sorun. Soru, davranışın değişip değişmediğidir.
Kayıt, beş alandan ibarettir ve fazlası değildir: kişi, cihaz, firmware sürümü, koşul ve sonuç. Kullanım oranı ile hata modu dağılımı, hatırlanmaktan çok bu kayıttan türetilir. Atlanan sütun, sürüm numarasıdır; bu sütun, ikinci haftayı ilk haftayla ya da üç ay sonraki bir destek vakasını not ettiğiniz sonuçla karşılaştırmanızı sağlar.
Korunmaya değer eşikler
Kullanım oranı, özelliğin önemli olup olmadığını öngören sayıdır. Gerçek bir kişinin bir günde ona kaç kez başvurduğu. Motivasyonlu bir test kullanıcısının saatte 20 kez kullandığı, normal bir kişinin günde iki kez kullandığı bir özellik farklı bir özelliktir; önemli olan ikinci sayıdır.
Hata modu dağılımı, hata sayısından daha önemlidir. Kaç hata olduğu değil, ne tür hatalar olduğu önemlidir. Gürültülü bir odada sessizce başarısız olan bir özellik, zayıf bir ağda yavaşça başarısız olan bir özellik için farklı bir çözüm gerektirir ve bu iki çözümün sahipleri farklı kişilerdir.
Koşullar eklenmemiş bir yetenek listesi, niyetlerin listesidir. Korunması gereken eşik şudur: Her yetenek bir sayı, bir koşul ve bir örneklem büyüklüğüyle gelmelidir; aksi hâlde hiç gelmemelidir.
Her sonuç için derleme tanımlayıcısının kaydedilmesi gerekir. Bu, üç ay sonra bir destek vakasını, test odasında bir yere yazılmış bir sayıyla karşılaştırılabilir kılan unsurdur; ayrıca kaydedilmesi en ucuz alan, yeniden oluşturulması ise en pahalı alandır.
Veri açıklaması teknik bir ayrıntı değil, ticari bir gerçektir. Hizmeti kimin işletttiğini, gizlilik beyanının neleri ifade edebileceğini ve kendi veri kurallarına sahip bir pazarda ne olacağını belirler. Verinin nereye gittiğini açıklayamayan bir marka gizlilik sayfasını yazamaz; gizlilik sayfasını yazamayan bir marka ise lansman yapamaz.

Lansmandan sonra bir yapay zekâ özellikleri programının nerede bozulduğu
Özellik bir ilanda duyurulur ve kimse kullanmaz. Temel neden, programın her şeyin çalıştığı ve test edenin bu duruma yatırım yaptığı laboratuvar aşamasında durmasıdır. Bunu önlemenin yolu, süreci ikinci haftaya kadar sürdürmek ve kullanım oranını sonradan raporlanacak bir istatistik değil, metin için bir geçiş ölçütü olarak ele almaktır.
İlk çalıştırma hatası, ürün yazılımı hatası olarak kapatılır. Temel neden genellikle bir yapılandırma, dil, hesap, izin veya kılavuzda eksik bir adımdır. Bunu önlemenin yolu, hızlı başlangıç kılavuzunu ilk çalıştırma bulgularıyla birlikte okumaktır; çünkü düzeltme çoğu zaman bir ürün yazılımı sürümü değil, bir paragraftır.
İlan, özelliğin bağlantı olmadan çalıştığını söyler. Temel neden, uygun olmayan koşullar aşamasının atlanması veya hatanın zarif bir şekilde ele alınamamasıdır. Bunu önlemenin yolu, bu aşamayı uygulamak ve ilanda kullanıcının gerçekte ne gördüğünü açıklamaktır.
Hizmet değişir ve ürün paketle uyuşmaz hâle gelir. Temel neden, bildirim yükümlülüğü bulunmamasıdır; bu nedenle değişiklik, marka ve eski metni okuyan her müşteri için sürpriz olur. Bunu önlemenin yolu, bildirim süresini bir sözleşme hükmü hâline getirmek ve değişiklik sürecine metin gözden geçirmesini dâhil etmektir.
Destek ekibi, özellikle ilgili bir soruyu yanıtlayamaz. Temel neden, yetenek listesinin bir niyet listesi olarak yazılması ve hiçbir sonucun destek ekibinin aktarabileceği bir biçimde kaydedilmemesidir. Bunu önlemenin yolu, destek ekibine koşulları ve ürün yazılımı derlemeleriyle birlikte yetenek listesini vermektir; bu bir toplantı değil, bir belgedir.
Bir müşteri, özelliğin çalıştığını ve sonra durduğunu bildirir. Temel neden, hizmetin değişmesi, hesabın süresinin dolması veya derlemenin kullanımdan kaldırılmasıdır. Bunu önlemenin yolu, müşterinin ne yapması gerektiğine ilişkin yazılı bir açıklama sunmaktır; uygulamada bu, geri düşüş seçeneğini bir destek yanıtında değil, kullanma kılavuzunda açıkça belirtmek anlamına gelir.
Uygulamalı senaryo: Bir markanın asistanın ürün sayfasında öne çıkarılıp çıkarılmayacağına karar vermesi
Bu, canlı bir sipariş değil, uygulamalı bir vakadır. Burada amaç, süreci ortaya koymaktır.
Genel bir pazar için yapay zekâ kamera ürün hattını değerlendiren, iki aday platformu bulunan ve altı hafta içinde yazılması gereken bir ilana sahip tüketici markası varsayalım. Bağlayıcı kısıt fiyat değildir. Markanın önceki lansmanında bazı müşteriler için çalışmayı bırakan bir özellik bulunması ve markanın kendi destek ekibinin bu müşterilere yanıt verememiş olmasıdır.
Sahiplik sorusu, platformların karşılaştırılmasından önce gelir. Marka iki soruyu sorar: model nerede çalışıyor ve hizmeti kim işletiyor? Bir aday cihaz üzerinde çalışır ve marka davranışı açıklayabilir. Diğeri ise markanın sözleşme yapmadığı bir hizmet üzerinde çalışır; tedarikçinin yanıtı ise bir bildirim süresi ve yazılı bir geri düşüş durumu içerir. Bu yanıt karşılaştırmayı tamamen değiştirir: ilk platformun teknik riski markanın yönetebileceği, ikinci platformun bağımlılık riski ise yalnızca kâğıt üzerinde örtülebileceği bir risktir.
Dört durum, metin yazılmadan önce sözleşmeye yazılır. Çalışıyor, kısıtlı çalışıyor, ağ yok ve kullanımdan kaldırıldı. İkinci platform için tedarikçi, kısıtlı çalışma açıklamasını ve geri düşüş durumunu yazılı olarak sağlar; marka ise ağ olmadığında ortaya çıkan davranışın ifadesi üzerinde anlaşır. Ardından metin, en kötü duruma göre yazılır. Bu daha yavaş ve daha az çarpıcı bir ilan olsa da ayakta kalabilen bir ilandır.
Aşamalı program, kutusundan çıkan ünitelerde yürütülür. Yeni bir telefonda yapılan ilk çalıştırma, hazırlanmış bir ünitede görünmez olacak iki yapılandırma sorununu ortaya çıkarır. Beş kişiyle yürütülen ilk hafta bir hesap sorunu ve bir zayıf ağ hatası üretir. İkinci hafta ise mütevazı bir kullanım oranı ortaya çıkar ve marka, özelliğin ürün sayfasında öne çıkarılacak bir başlık değil, bir kalem olduğuna karar verir.
Metin buna göre düzenlendi. Kullanım oranı düşük olduğu için özellik, ilan başlığında yerine ilanın ikinci paragrafında tanımlanıyor; destek betiği ve broşür de buna uygun şekilde hazırlanıyor. Marka daha küçük bir iddiayı kabul ediyor ve lansman riskini ortadan kaldırıyor.
Ticari yapı, mülkiyete göre belirleniyor. Markanın sözleşme yapabileceği platform için bildirim süresi ve yapıyı saklama süresi üzerinde pazarlık yapılıyor; yedek durumun üretim biriminde doğrulanabilmesi için ikinci bir numune turu talep ediliyor. Markanın sözleşme yapamadığı platformda ise cihaz tarafında yedek çözüm şart olarak talep ediliyor; yanıt olumsuz olursa marka ilgili adayı eliyor.
Sonuç, daha küçük bir iddia, yazılı bir yedek çözüm ve soruyu yanıtlayabilecek bir destek ekibidir. Belirleyici karar mülkiyet sorusu oldu ve bu karar metin yazılmadan önce verildi.
Yapay zekâ programının kâr payını kaybettiği noktalar
Ambalaj ve metin, markanın kontrol etmediği bir davranışı taşımak üzere hazırlanıyor. Bu, kategorideki en büyük tek risktir ve hiçbir fiyat teklifinde görünmez. Azaltma yöntemi, bildirim süresi ve gözden geçirme maddesidir; tedarikçinin saklayacak bir şeyi yoksa ikisi de tedarikçiye hiçbir maliyet getirmez.
Yedek durum hazırlanmadığı için ağ olmadığında ortaya çıkan davranış, yazılımın ne yaptığına bağlıdır. Bunun maliyeti lansmanda değil, destek gelen kutusunda ortaya çıkar; bu da düzeltmeyi daha zor ve taşımayı daha pahalı hâle getirir. Yedek çözümü ilk numuneden önce kabul kriterlerine dâhil etmek düşük maliyetlidir.
Yapıyı saklama süresi kısa. Lansmandan altı ay sonra çekilen bir yapı, sahadaki birimlerin yeniden üretilememesi anlamına gelir; yeniden üretilemeyen bir ürün, ikinci siparişin de farklı bir ürün olduğu anlamına gelir. Yapıyı saklama süresi, üzerinde sertçe pazarlık yapılması gereken bir koşuldur ve çoğu zaman sessizce kısa tutulur.
Kullanım oranı hiç ölçülmediği için metin, kanıt yerine gösteriye dayanarak yazılıyor. Bir alıcının bilinçli olarak yapması gereken ödünleşme, daha kısa bir program ile doğru bir iddia arasındadır. İki haftalık program iki haftaya mal olur; özelliği abartarak tanımlanan bir ilan ise tüm üretim turunu maliyetlendirir.
Çeviri iddiası, yön belirtilmeden ileri sürülüyor. Yalnızca bir yönde çalışan bir dil çifti, tam olarak markanın ulaşmayı amaçladığı pazarda başarısız olan bir iddiadır. Her dil çiftinin yönüyle birlikte sunulan desteklenen diller listesi, pazar pazar başarısızlıkları önleyen tek satırlık bir taleptir.
Asistan hakkında neleri yayımlıyoruz ve neleri tahmin etmeyeceğiz
Uyguladığımız çalışma kuralı şudur: alıcının bir gösteriye inanması yerine programı uygulamasını tercih ederiz; sonuç sunmak yerine testi destekleriz.
Belgelerimizin desteklediği yapay zekâ yeteneklerini yayımlar, kalanları açık olarak işaretleriz. Herhangi bir model için uyandırma oranı, yanlış aktivasyon oranı, komut başarı oranı, gecikme, tanıma doğruluğu, çeviri doğruluğu ve çevrimdışı davranış yayımlamayız; hiçbirini tahmin etmeyeceğiz. Bu da yukarıdaki altı aşamanın bu sayıların ortaya çıkmasının tek yolu olduğu anlamına gelir. Destekleyemediğimiz rakamları aktarmak yerine bu sayıların oluşmasına yardımcı olmayı tercih ederiz.
Hangi bulgular üzerinde harekete geçebileceğimizi de açıkça belirtiriz. Bir yapılandırma, dil, hesap, izin veya kılavuzdaki eksik adım bizim düzeltebileceğimiz konulardır; düzeltme genellikle hızlı başlangıç kılavuzunda bir paragraftır. Model davranışı, gecikme profili veya servis mimarisi ise uygulama ve yazılımın konusudur; lansman planını buna dayandırmadan önce hangisinin hangisi olduğunu size açıkça söyleriz.
Yapacağımız şey, altı aşamayı tasarlamanıza yardımcı olmak, nelerin kaydedileceği üzerinde anlaşmak, bilinen yapıya sahip birimler sağlamak ve olumsuz olanlar dâhil sonuçları raporlamaktır. Çünkü ikinci haftayı atlatabilen bir özellik, fuarı atlatabilen bir gösteriden daha değerlidir. Arka plan Yapay Zekâ Özellikleri başlığı altında, betiklendiği laboratuvar protokolü Yapay Zekâ Özellikleri Nasıl Ölçülür? başlığında, ön sipariş planı Sipariş Vermeden Önce Yapay Zekâ Özellikleri Nasıl Test Edilir? başlığında ve kaçınılması gereken iddia hataları ise Yapay Zekâ’da Yaygın Hatalar başlığındadır.
Asistan bir ilanda yer almadan önce yapılacak dört eylem
Mülkiyet sorularını yazılı olarak sorun. Modelin cihazda mı yoksa sunucuda mı çalıştığını, servisi kimin işlettiğini ve değişiklik yapılmadan önce markaya neyin söylendiğini sorun. Bu üç sorunun yanıtları, programın ticari yapısını belirler ve metin basıldıktan sonra yeniden pazarlık etmektense şimdi almak daha ucuzdur.
Dokuz satırlık talep listesini tüm adaylara gönderin. Sorulacak sorular hepsi için aynıdır; bu nedenle karşılaştırma adil olur ve yanıtlar birbiriyle kıyaslanabilir.
Dört bozulma durumunu kabul kriterlerine yazın. Çalışıyor, bozuldu, ağ yok, geri çekildi. Metin en kötü duruma göre yazılır ve en kötü durumun metni hayatta kalır.
Yayımlamayı düşündüğünüz özelliği bize gönderin. Altı aşamayı sizinle birlikte tasarlayacağız, kanalınız için hangi ölçümlerin soruyu belirleyeceğini söyleyecek ve hoş olmayan sonuçlar dâhil olmak üzere sonuçları bildireceğiz.
İlgili okumalar
- Bir numune üzerinde hazırlanmış protokol — yapay zekâ özellikleri nasıl ölçülür
- Ön sipariş planı — sipariş vermeden önce yapay zekâ özellikleri nasıl test edilir
- Kaçınılması gereken iddia hataları — yapay zekâda yaygın hatalar
Yayımlamayı düşündüğünüz özelliği bize söyleyin, altı aşamayı sizinle birlikte tasarlayalım.



