Bu kategorideki her yapay zekâ özelliği bir tanıtımda başarılı performans gösterir ve bunun nedeni tanıtımların dürüst olmaması değildir. Tanıtım kontrollü bir ortamdır: sessiz bir oda, iş birliği yapan tek bir konuşmacı, önceden hazırlanmış bir ifade, iyi çalışan bir ağ ve önceden biri tarafından kurulmuş bir cihaz. Müşteri ise bu koşulların hiçbirine sahip değildir. Aradaki fark üründe bir kusur değildir. Tedarikçinin seçtiği koşullarla müşterinin karşılaştığı koşullar arasındaki farktır. Bu makale, bir özelliğin kullanılıp kullanılmayacağını belirleyen bu farkla ilgilidir.
Akıllı Gözlük Yapay Zekâ Özellikleri: tanıtım ile saha verileri neden farklılık gösterir
Alıcı ve kendisine verilen sayı
Okuyucu, az önce bir sayı alan bir marka ürün yöneticisi veya tedarik alıcısıdır. Bu sayı bir tedarikçinin testinden, rakibin pazarlama materyalinden veya birinin ofisinde gerçekleştirilen bir tanıtımdan gelmiş ve ürünün performans özelliği olarak sunulmuştur. Alıcının sorunu sayının yanlış olması değildir. Sorun, koşulsuz bir sayının ölçüm olmaması ve bunu bir şartnameye koyan alıcının, müşterinin sınayacağı ancak tedarikçinin sorumlu olmayacağı bir söz satın almasıdır.
Bu sorunun, bu kategoride daha yaygın ve daha pahalı olan ikinci bir versiyonu vardır. Alıcının elinde tamamen geçerli bir sayı vardır — sessiz bir odada elde edilen bir uyandırma oranı, hazırlanmış bir cümle üzerinde elde edilen bir çeviri doğruluğu gibi — ancak bu sayı müşterinin bulunacağı koşulları tanımlamaz. Sayıda hiçbir yanlışlık yoktur. Yalnızca karar için yanlış sayıdır.
Bu ayrım, öncelikle sayının değil ona bağlı koşulların belirlenmesi gerektiğini ve koşulsuz bir sayıya verilecek doğru yanıtın değeri tartışmak yerine koşulları istemek olduğunu gösterir.
Yayımlanan duruş ve bunun karşılaştırma açısından anlamı
Kataloğumuz, yapay zekâ kamera gözlüğü ailesinin temel teknolojileri arasında bir yapay zekâ sesli asistanı belirtir; bağımsız sitemiz ise K01 üzerindeki yapay zekâ çeviri özelliğini tanımlar. K01 bir kamera modeli değil, Bluetooth ses modelidir. İkincisini kendi pazarlama materyalimizden bir gözlem olarak, doğrulanmış bir şartname olarak değerlendirir ve katalog satırına kıyasla daha düşük ağırlık veririz.
Hiçbir model için uyandırma oranı, yanlış etkinleşme oranı, komut başarı oranı, gecikme değeri, tanıma doğruluğu, çeviri doğruluğu veya çevrimdışı davranış yayımlamıyoruz. Bunları tahmin etmiyor, ölçmediğimiz bir işlev için sektörden bir sayı aktarmıyoruz; çünkü bu makalenin temel mesajı, koşulsuz bir sayının ölçüm olmadığıdır.
Yayımladığımız şey donanımdır ve bunu eksiksiz yayımlıyoruz: Kamera modelleri 8MP ile 13MP arasında değişen kamera çözünürlüğüne, 220 mAh ile 290 mAh arasında değişen pil kapasitelerine, iki saat veya altındaki şarj sürelerine ve yaklaşık beş ile sekiz saat arasındaki çalışma süresi aralıklarına sahiptir. Üç modelde şarj kutusu 1400 mAh, L2 Utral'de 900 veya 1400 mAh seçenek, MT6'da katlanır 1200 mAh şarj kutusu bulunur; KY06 ve MT5'te ise kapasitesi yayımlanmamış şarj kutuları vardır. IP54 yalnızca V06 ve S7 üzerinde işaretlidir. MT6 için belirtilen 158 g değeri de katalogdaki yayımlanmış tek ağırlıktır.
Bu asimetri, yukarıdaki grafiğin mesajıdır. Katalog, çalışma süresi aralığını ve koşulları yayımlamadan sunar. Bir yapay zekâ davranışı değeri için ise ikisi de gereklidir. Alıcının planlama yapabileceği bir sayı ile alıcının test etmek zorunda olduğu bir sayı arasındaki fark budur.

Oda ile sokağı arasında değişen beş değişken
Arka plan gürültüsü, ifade, ağ, yapılandırma ve duruş
Arka plan gürültüsü. Sessiz bir ofiste ölçülen uyandırma oranı, neredeyse hiçbir öngörücü değeri olmayan bir sayıdır; çünkü tetikleyici gürültü karşısındaki bir sorundur ve ofis bu sorunu çözecek şekilde seçilmiştir. Sokakta, kafede ve arabada bu oran çöker; ancak düzensiz biçimde çöker, çünkü sürekli bir arka plan gürültüsünü reddetmek ara sıra ortaya çıkan gürültüyü reddetmekten daha kolaydır.
İfade. Bir tanıtımda kısa, yaygın ve doğru biçimlendirilmiş bir komut kullanılır. Gerçek kullanıcılar daha uzun cümleler kurar, ürünün adını başta değil cümlenin ortasında kullanır ve kendi söz dizimlerini uydurur. Hazırlanmış bir ifade üzerinde ölçülen tanıma doğruluğu, gerçek kullanım koşullarındaki tanıma doğruluğunun tahmini değildir.
Ağ. Tanıtım genellikle iyi bir bağlantıyla kaydedilir ve yanıt anında görünür. Gerçek kullanımda gecikme, sinyale göre değişir; iyi bir bağlantıda bir saniyenin altında yanıt veren bir özellik, zayıf bağlantıda bunu birkaç saniyeye çıkarabilir. Özellik çalışıyor olsa da kullanıcı bunu güvenilmezlik olarak deneyimler.
Cihaz. Tanıtım cihazında dil ayarlanmış, bölge yapılandırılmış, hesap bağlanmış ve güncelleme yolu çalışır durumdadır. Kutudan çıktığı hâliyle, bir müşterinin telefonunda, müşterinin ağında ve müşterinin dilinde kullanılan bir cihaz ise farklı bir yapılandırmadır. İlk haftadaki arızaların en yaygın nedeni budur ve bu tamamen bir ürün sorunu değil, yapılandırma meselesidir.
Kullanım biçimi. Tanıtım bir gösterimdir. Müşteri cihazı takar; takıldığında mikrofon hareketli bir başın üzerindedir, kullanıcı başka bir yere bakmaktadır ve etkileşimi başlatan hareket, bir düğmeye basmak yerine yüze yakın bir el hareketidir.
Alıcıların en sık gözden kaçırdığı değişken
Hiçbir listede yer almayan altıncı bir değişken vardır; çünkü bu, ortamın bir özelliği değildir. Müşterinin yanında getirdiği beklentidir ve ürünten ziyade, ilan metni tarafından şekillendirilir.
"Komutlarınızı anlar ve sorularınızı yanıtlar" diyen bir alıcı, bir sohbet beklentisi oluşturur. "Bağlandığında kısa sesli soruları yanıtlar" diyen bir alıcı ise bir araç beklentisi oluşturur. Her iki cihaz da tamamen aynı biçimde davranabilir ve buna rağmen tamamen farklı memnuniyet düzeyleri yaratabilir; fark yalnızca metinde bulunur.
Bu nedenle yalnızca teknik davranışı ölçen bir saha testi sorunu olduğundan daha az gösterecektir. Gözlem formuna, kullanıcının neler olmasını beklediğinin yanı sıra gerçekte ne olduğunu da kaydetmelidir; çünkü ikisi arasındaki fark iadedir.
Özelliklerin belirlendiği ilk kullanım oturumu
Örüntü ve neden düzeltilebilir
Yapay zekâ özelliklerinin sahada başarısız olma biçimine dair belirli bir örüntü vardır. Düzeltilebilir olduğu için bunu açıkça belirtmek önemlidir.
Müşteri ürünü kutudan çıkarır, takar ve özelliği denemeye çalışır. Özellik çalışmaz; çünkü dil ayarlanmamıştır, hesap bağlanmamıştır, ağ yapılandırılmamıştır veya kullanılan ifade tanıtımdaki ifadeyle aynı değildir. Müşteri özelliğin çalışmadığı sonucuna varır ve çoğu durumda ürün kutuya geri konulur.
Çözüm teknik değildir. İlk kullanım deneyiminin tasarlanması gerekir: Ürün, ilk kullanımdan önce ve bir arıza yaşandıktan sonra değil, kendi arayüzü aracılığıyla kullanıcıya ihtiyaçlarını bildirmelidir. Tedarikçinin tanıtımı bir pazarlama varlığıdır; özelliğin kullanılıp kullanılmayacağını belirleyen şey bu varlık değil, ilk kullanım rehberliğidir.
Bunu yanlış yapmanın maliyeti
Başarısız bir ilk kullanımın ticari maliyeti, teknik nedenine göre orantısız derecede yüksektir; çünkü yalnızca özellikten vazgeçilmez, ürün iade edilir. Özelliği çalıştıramayan bir müşteri genellikle "yapay zekâ bölümünün yapılandırılması gerekiyor" sonucuna varmaz; "bu ürün çalışmıyor" sonucuna varır. Bu, bir iade, para iadesi, olumsuz değerlendirme ve yeniden stoklama maliyeti anlamına gelir. Hepsi de otuz saniye süren bir kurulum adımından kaynaklanır.
Bu nedenle ilk kullanım testi, bu kategoride en yüksek değere sahip tek testtir. Diğer tüm testlerin kaçırdığı bir arıza biçimini bulur ve ürün müşterinin eline geçmeden önce, sonrasında değil, bu arıza biçimini ortaya çıkarır.

Kendi kullanıcılarınızla saha testi yürütmek
Altı adım, iki gün, laboratuvar yok
- Yirmi müşteri ifadesini belirleyin. Tedarikçinin ifadeleri değil. Kendi müşterilerinizin kullandığı ifadeler; zor ifadeler de dâhil: özel adlar, sayılar, iki farklı anlama gelebilen bir ifade ve reddedilmesi gereken bir talep.
- İlk kullanımı tanımadığı biriyle test edin. Cihazı, daha önce görmemiş bir kişiye; onun konuştuğu dilde ve kendi telefonuyla verin, ardından yardımcı olmadan ne olduğunu izleyin.
- Hedef ortamda tekrarlayın. Yalnızca sessiz bir oda değil; gürültü, hareket ve zayıf ağ.
- Ağ olmadan tekrarlayın. Çoğu markanın uygulamadığı adımdır ve bir laboratuvarın asla ortaya çıkaramadığı biçimde hizmet bağımlılığını gösteren adımdır.
- Yanlış etkinleşmeleri ölçün. Yalnızca uyandırma oranını değil. İnsanları kesen bir özellik, kapatılan bir özelliktir; yanlış etkinleşme oranı, bunu öngören sayıdır.
- Metni sonuçlara göre yeniden yazın. Niyete göre değil. İlan, testin ne gösterdiğini söylemelidir.
Formun kaydetmesi gerekenler
Gözlem sayfası bilerek sıkıcıdır ve tam da bu nedenle değerlidir: amacı, sonucu bir hafıza kaydı değil, belgelenmiş bir kayıt hâline getirmektir. Oturum başına dört öğe — ortam ve gürültü düzeyi, verilen ifade ve sonuç, hissedilen veya ölçülen gecikme ve kullanıcının bir hatada gördüğü şey. Kampanya başına ise dört öğe daha — sayılan yanlış etkinleştirmeler, ilk denemenin yardımsız tamamlanıp tamamlanmadığı, ağ kaldırıldığında ortaya çıkan sonuç ve metnin bunun sonucunda düzeltilip düzeltilmediği.
Kampanya kendisi her seferinde tek bir değişkeni ve haftada tek bir ortamı değiştirmelidir; böylece bir oran düştüğünde bu düşüşün nedeni belirlenebilir. Genellikle üç ortam yeterlidir: sessiz, normal ve kötü.
Sonucu ticari bir karara dönüştürmek
Saha testi bir sayı üretir ve bu sayı, ürünün konumlandırılmasına ilişkin bir karar üretir. Özellik sessiz ortamda güvenilir biçimde çalışıyor ve normal ortamda başarısız oluyorsa bu bir tanıtım ürünüdür ve ürün sayfasında öne çıkarılmamalıdır. Özellik bozulmadan çalışıp tamamen devre dışı kalmıyorsa, bir geliştirmedir ve açıklanan boşluğu belirterek metin bunu ifade edebilir. Özellik tamamen bozuluyorsa ürünün temel işlevi, bu özelliğe bağlı olmayan bir işleve kaydırılmalıdır.
Son sonucu açıkça ifade etmek değerlidir çünkü alıcıların kaçındığı sonuç budur. “Özellik bozuluyor” sonucunu veren bir test yine de işini yerine getirmiştir; sonuç, iade edilen değil satılabilen bir üründür.
Test yapılmadan önce yazılması gereken kabul ölçütleri
Önceden üzerinde anlaşılmış eşikleri olmayan bir saha testi, karar değil rapor üretir ve raporlar tartışılır. Herkes başlamadan önce sabitlenmesi gereken ölçütler kısadır ve üretim kabul testi için bir alıcının yazacağı ölçütlerle aynıdır.
Başarılı olması gereken yirmi müşteri ifadesinin sayısını belirleyin ve bunu tek bir genel rakam yerine ortam başına belirleyin; çünkü ölçülen değişken ortamdır. Gecikme üst sınırını ofiste değil, hedef ortamda belirleyin. Bir görüşmede kabul edilebilir yanlış etkinleştirme sayısını belirleyin; bu, teknik bir rakamdan ziyade ürünün kullanımına ilişkin bir değerlendirmedir. Çevrimdışı sonucu belirleyin; bu, başarılı/başarısız yerine bir liste olmalıdır. İlk deneme tamamlama ölçütünü de belirleyin: ilk kez kullanan kullanıcıların görevi yardımsız tamamlayan oranı, iade oranını öngören tek sayıdır.
Hangi modeli test edeceğiniz, eşikler kadar önemlidir. Sevk etmeyi planladığınız modeli, yazılım sürümünü ve yapılandırmayı test edin; çünkü bu üçünün farklı birleşimiyle elde edilen bir sonuç başka bir modele aktarılamaz ve alıcının bir hafta kaybettiği yer burasıdır. Sonuç sayfasında derleme tanımlayıcısını isteyin ve kaydedin.
Testi izleyen karar
Sayılar elde edildikten sonra üç karar seçeneği vardır ve bunlar arasındaki denetimler teknik değil, ticari niteliktedir.
Birincisi, özelliği koruyup iddiayı daraltmaktır. Ürün sevk edilir, metin davranışı tanımlar ve iade oranı, metin ile davranış arasındaki farkla belirlenir. İkincisi, özelliği ve geniş iddiayı korumaktır; bu yalnızca saha sonuçları tanıtım sonuçlarına yakın olduğunda uygulanabilir. Üçüncüsü, özelliği bu ürünün kapsamından çıkarıp özelliğin etrafında tasarlanmış ayrı bir varyant planlamaktır; bu pahalı seçenektir ve ürünün satıldığı ortamda özelliğin çalışamadığını saha sonucu gösterdiğinde doğru seçenektir.
Hangisinin seçileceği, performanstan ziyade toplam maliyetle ilgili bir sorudur. Dar iddia, görsellerin bir kez yeniden basılması ve ilan sayfasında daha düşük bir dönüşüm oranı maliyetindedir. Geniş iddia, özelliğin ne kadar öne çıkarıldığıyla orantılı olarak iadeler, iade ödemeleri ve pazaryeri görünürlüğü maliyetindedir. Ayrı varyant ise ikinci bir ürün hattı, ikinci bir belgelendirme ve ikinci bir ambalaj seti maliyetindedir; yalnızca özellik, kanalların ürünü talep etme nedeni olduğunda gerekçelendirilebilir.
Sipariş vermeden önce ısrarla istemeniz gerekenler
Sipariş vermeden önce üç şeyi yazılı hâle getirin. Ağ kaldırıldığında hâlâ çalışanların listesi. Yardımcının davranışını değiştiren bir yazılım veya model değişikliği öncesindeki bildirim süresi ve belirlenmiş süre. Ayrıca pazarlama ve etiket metinlerinin, üreticinin belirttiği yetenek listesiyle eşleşmesi gerekliliği.
Bu üçü, bir saha sonucunun geçerliliğini koruyan maddelerdir. Bunlar olmadan metin, lansman sırasında yazıldığı gibi kalır ve metin bir tanıtım üzerinden yazılmıştır.

Uygulamalı bir senaryo: çeviri özelliğini test eden bir turizm kanalı
Bu, bir müşteri projesi değil, karar sürecini gösteren varsayımsal bir senaryodur.
Kamera donanımlı bir modele yapay zekâ sesli asistan yerleştiren ve rehberlere yönelik kullanım senaryosunu teklifin merkezine koyan bir turizm kanalı markası olduğunu varsayalım. Markanın pazarlama ekibi, tedarikçi gösteriminden elde ettiği bir çeviri rakamını ürün açıklamasına eklemek istiyor. Markanın alıcısının ise belirli bir iddiayı sorgulamaktan ziyade, yapay zekâ özelliklerine ilişkin genel bir sorusu var.
İlk adım: rakamın arkasındaki koşullar. Marka gösterimin ne olduğunu sorar. Gösterim, sessiz bir odada, iyi bir bağlantıyla ve tedarikçinin kurduğu bir cihaz üzerinde gerçekleştirilmiş hazır bir cümleydi. Rakam geçerli ancak ilgisizdir ve markanın ürün açıklamasında kullanabileceği bir sayı yoktur.
İkinci adım: yirmi ifade. Marka, bir gezginin veya rehberin gerçekte söyleyeceği yirmi şeyi yazar: bir sokak adı, bir fiyat, alışılmadık yazımı olan bir yer adı ve reddedilmesi gereken bir ifade. Tedarikçi bu ifadeleri, sevk edilen yazılım sürümüne sahip iki cihazda çalıştırır.
Üçüncü adım: ortamlar. Marka aynı test setini sessiz bir ofiste, kalabalık bir sokağında ve zayıf bir bağlantıda çalıştırır. Sokak sonuçları ofis sonuçlarından belirgin biçimde daha kötüdür; bu beklenen ve artık ölçülmüş bir durumdur.
Dördüncü adım: ağ kapalı test. Marka test setini ağ bağlantısı kesilerek çalıştırır. Görüntü yakalama ve oynatma devam eder; yazıya dökme ve çeviri yapılmaz. Bu, tanımlanabilir bir performans düşüklüğüdür ve artık bilinmeyen bir durum değil, yazılı bir gerçektir.
Beşinci adım: karar. Marka, özelliğin satın alma nedeni değil, bir geliştirme olduğu sonucuna varır, metni buna göre yazar ve bağlantı gereksinimini ile dil setini açıkça belirtir. Ürün açıklamasına asistanla başlamaz ve rehberlere yönelik iş akışının bu özelliğin kullanılabilir olmasına bağımlı olmasını engeller.
Altıncı adım: ticari sonuç. Marka, ayrıntılı olarak belirtilen çevrimdışı davranışı, davranışı değiştiren güncellemeler için bir bildirim süresini ve metin uyumluluğu maddesini satın alma siparişine ekler; üretim sürümünde yapılacak kabul testinin pilot sürümden farklı sonuçlar üretmesi hâlinde ikinci bir değerlendirme turunun finanse edilmesini ister.
Belirleyici adım ilk adımdı. Tedarikçinin rakamı yanlış değildi; yalnızca müşterinin elinde tutacağından farklı bir ürünü tanımlıyordu. Alıcının, metnin hangi ürünü tanımlayacağını belirlemesi gerekiyordu.
Yayımladığımız ve uydurmayacağımız rakamlar
Saha ölçümü konusundaki yaklaşımımız
Uyguladığımız iş kuralı şudur: Bir gösterimle müşteri arasındaki mesafe, bu kategorideki en önemli ölçülmemiş değişkendir. Tedarikçinin gösterim rakamlarını sanki saha rakamlarıymış gibi sunması, alıcıya zarar verir. Testi, gerçekten önemli olan koşullarda yapmayı ve sayıları, elbette gösterişli olmayanlar dâhil, olduğu gibi aktarmayı tercih ederiz.
Yapabileceğimiz şey, sevk etmeyi planladığınız yapılandırmaya sahip bir cihaz sağlamak ve ilk kullanım deneyimini gerçek dünya testleriyle birlikte sizinle birlikte ele almaktır; böylece yayımladığınız metni görmüş olursunuz. Yazdığınız yirmi komutu, belirttiğiniz ortamlarda ve belirlediğiniz yazılım sürümünde çalıştırır; sonuçları ideal olanlar gibi değil, çıktıkları hâliyle raporlarız.
Bu tür sorunları çözen ölçüm formu yapay zekâ özelliklerini ölçme başlığında, bir numune için test protokolü sipariş vermeden önce yapay zekâ özelliklerini test etme başlığında, kaçınılması gereken iddia hataları ise yaygın hatalar başlığında ele alınır. Bağlantı olmadan nelerin çalıştığı çevrimdışı kullanım başlığında açıklanmıştır. Platformun arka planı akıllı gözlüklerde yapay zekâ özellikleri başlığında yer alır.
Müşterileriniz cihazı nerede kullanacak?
Müşterilerinizin bulunacağı ortamları, kullanacakları dilleri ve sevk etmeyi planladığınız yazılım sürümünü bize bildirin; gerçek dünya testini sizinle birlikte oluşturalım: yirmi komut, ürünü daha önce görmemiş biriyle ilk kullanım oturumu ve ağ kapalı test. Ardından sonuçların ne olduğunu aktarır ve ürün açıklamanızı bunlardan yazarsınız.
İlgili okumalar
- Konuyu çözen ölçüm formu — yapay zekâ özelliklerini ölçme
- Bir numune için test protokolü — sipariş vermeden önce yapay zekâ özelliklerini test etme
- Kaçınılması gereken iddia hataları — yaygın hatalar
- Bağlantı olmadan nelerin çalıştığı — çevrimdışı kullanım
- Sipariş vermeden önce nasıl test edilir?
Müşterilerinizin bulunacağı ortamları bize bildirin, gerçek dünya testini sizinle birlikte oluşturalım.



