Tính năng AI của kính thông minh: mối quan hệ, không phải một thành phần
Lý do không thể đánh giá một tính năng AI chỉ bằng cách xem phần trình diễn không phải vì phần trình diễn gây hiểu lầm. Đó là vì phần trình diễn là cấu hình mà trợ lý luôn thể hiện tốt nhất: một câu lệnh được chuẩn bị sẵn, một căn phòng yên tĩnh, một mạng đã được kiểm chứng và tài khoản của thiết bị đã được liên kết trước bởi người lắp đặt. Mọi điều người mua cần biết đều là thuộc tính của mối quan hệ giữa thiết bị, nhà cung cấp mô hình, mạng và khu vực — và không yếu tố nào trong bốn yếu tố đó là sản phẩm có trong hộp.
Quyết định, trong ba câu. Nếu trợ lý giọng nói đóng vai trò quan trọng trong nội dung niêm yết, hãy kiểm tra nó như một mối quan hệ chứ không phải một tính năng: soạn danh sách câu lệnh và điều kiện đạt trước khi mẫu đến, chạy kế hoạch trên một thiết bị khác với thiết bị dùng để trình diễn và ghi lại phiên bản phần mềm cùng mỗi kết quả. Chỉ số quyết định sản phẩm có thể đưa ra thị trường hay không thường là tỷ lệ kích hoạt sai, chứ không phải tỷ lệ đánh thức, bởi một thiết bị cắt ngang cuộc trò chuyện của khách hàng là một sản phẩm sẽ bị tháo ra. Nếu không thể nhận được mã định danh bản dựng, mô tả luồng dữ liệu và hành vi ngoại tuyến có tên trong văn bản, đừng đưa trợ lý vào nội dung — tính năng đó sẽ chỉ tồn tại trên trang sản phẩm và ở một nơi khác duy nhất.
Ai vận hành kế hoạch này và kế hoạch phải tạo ra điều gì. Người đọc thường đang quyết định liệu một trợ lý AI có thuộc về sản phẩm hay không, hoặc so sánh hai cách triển khai cùng một tính năng được quảng bá từ hai nhà cung cấp. Họ có các mẫu, danh sách tính năng, một kênh, giá mục tiêu và một kế hoạch tiếp thị vốn đã giả định tính năng đó tồn tại. Họ không có dữ liệu hiệu năng, và lý do mang tính cấu trúc: dữ liệu thuộc về nhà cung cấp mô hình chứ không thuộc về nhà máy, đồng thời thay đổi theo bản dựng chứ không phải theo phần cứng. Do đó, kế hoạch phải tạo ra ba thứ — một con số chứ không phải ấn tượng, mã định danh bản dựng gắn với con số đó và danh sách bằng văn bản về các điều kiện dùng để đo con số này.
Điều danh mục của chúng tôi nói và không nói. Chúng tôi liệt kê trợ lý giọng nói AI trong số các công nghệ trọng tâm của dòng kính camera AI, và trang độc lập của chúng tôi mô tả tính năng dịch AI trên K01, một mô hình xử lý âm thanh. Chúng tôi không công bố tỷ lệ đánh thức, tỷ lệ kích hoạt sai, tỷ lệ thành công khi thực hiện lệnh, số liệu độ trễ, độ chính xác nhận dạng, độ chính xác dịch hoặc hành vi ngoại tuyến cho bất kỳ mô hình nào trong dòng sản phẩm, và chúng tôi sẽ không ước tính bất kỳ chỉ số nào trong số đó. Sự thiếu dữ liệu này không phải là vấn đề dữ liệu mà chúng tôi không thu thập được; đó là đặc điểm của một danh mục chưa có đường cơ sở hiệu năng được công bố, và là lý do kế hoạch dưới đây tồn tại.
Chi phí của một tính năng AI nằm ở đâu. Chi phí phần cứng của một trợ lý gần như bằng không — micrô và radio đã có sẵn trong sản phẩm. Điều trợ lý thực sự tốn kém là bốn yếu tố xung quanh nó: công sức xác định hành vi có thể kiểm thử, việc bản địa hóa danh sách câu lệnh và tài liệu cho từng thị trường ra mắt, kịch bản hỗ trợ cho các trường hợp lỗi và cơ chế hợp đồng cho bạn biết khi nào nhà cung cấp đã thay đổi điều gì đó bên dưới. Hai nhà cung cấp báo giá cho cùng một trợ lý sẽ khác nhau nhiều hơn ở bốn hạng mục này so với bất kỳ giá thiết bị nào, và sự khác biệt đó sẽ không thấy rõ cho đến khi nội dung niêm yết được đăng.

Năm con số cần yêu cầu và ba con số không ai báo cáo
Gửi năm câu hỏi này trong một tin nhắn, dùng đúng từ ngữ giống nhau, cho mọi đối thủ và yêu cầu câu trả lời ở dạng bảng thay vì văn xuôi. Cột mẫu số là yếu tố quan trọng nhất, bởi một tỷ lệ phần trăm không có mẫu số chỉ là một dòng quảng bá.
| Chỉ số | Điều chỉ số đo lường | Mẫu số bắt buộc | Ngưỡng đạt |
|---|---|---|---|
| Tỷ lệ đánh thức | Trợ lý khởi động đúng thời điểm | Số lần thử, số người nói, môi trường | Một tỷ lệ phần trăm có nêu đủ cả ba yếu tố |
| Tỷ lệ kích hoạt sai | Trợ lý khởi động khi không nên khởi động | Số lần thử và số giờ sử dụng thông thường | Một tỷ lệ phần trăm hoặc tuyên bố bằng văn bản rằng chưa được đo lường |
| Tỷ lệ thành công khi thực hiện lệnh | Danh sách câu lệnh của bạn được hiểu đúng | Danh sách câu lệnh do bạn cung cấp và số lần lặp lại cho mỗi câu | Một tỷ lệ phần trăm so với danh sách của chính bạn |
| Độ trễ | Thời gian chờ trước khi có câu trả lời | Trạng thái mạng và bản dựng phần mềm | Một ngưỡng cố định, không phải đánh giá cảm tính |
| Độ chính xác nhận dạng | Có nhận dạng đúng thứ cần nhận dạng hay không | Bối cảnh và hướng của người nói | Số liệu cho cả căn phòng yên tĩnh lẫn môi trường thực tế |
Các ngưỡng bằng ngôn ngữ đơn giản và ba hàng thường bị thiếu
Một tỷ lệ không có số lần thử không phải là tỷ lệ. Chín mươi tám phần trăm được đo trong mười lần thử tại một văn phòng yên tĩnh dự báo dưới tám mươi lăm phần trăm được đo trong ba trăm lần thử ngoài đường, và con số thứ hai mới là con số mô tả sản phẩm. Ngưỡng đạt phải là một tỷ lệ phần trăm kèm mẫu số, số người nói và môi trường đo; nhà cung cấp không thể cung cấp đủ cả ba thì chưa đo được sản phẩm.
Tỷ lệ kích hoạt sai là cổng kiểm tra khả năng sử dụng, không phải ghi chú kỹ thuật. Nó quyết định nơi sản phẩm có thể được bán, thay vì tính năng có hoạt động hay không, bởi vì phòng họp và ngoài đường là hai thị trường khác nhau cho cùng một thiết bị. Một thiết bị thức tỉnh khi người dùng ho khanh trong văn phòng yên tĩnh là sản phẩm dành cho phòng họp; cùng thiết bị đó ngoài đường sẽ gây khó chịu. Ngưỡng mà bên mua đặt ra tại đây là quyết định sản phẩm về kênh phân phối, và nên được ghi lại trước khi soạn trang sản phẩm.
Tỷ lệ thành công khi ra lệnh phải được đo theo danh sách của bạn, không phải của nhà cung cấp. Danh sách của nhà cung cấp có lời chào và bộ hẹn giờ vì những lệnh đó dễ thực hiện. Danh sách của bạn có câu lệnh mà một giám sát kho thực sự nói mười một lần mỗi ngày. Ngưỡng đạt là tỷ lệ phần trăm theo các câu lệnh bạn đã cung cấp, với số lần lặp lại được nêu rõ cho từng câu.
Độ trễ cần một con số cụ thể thay vì một tính từ. Hãy đặt ngưỡng — dưới hai giây là điểm khởi đầu hợp lý — rồi đo độ trễ. Nó thay đổi tùy theo mạng, vì vậy trạng thái mạng phải là một phần của phép đo; và con số độ trễ không kèm trạng thái mạng chỉ là con số đo tại văn phòng của nhà cung cấp.
Số bản dựng là cột biến kết quả thành dữ liệu đáng lưu giữ. Trợ lý thay đổi giữa các bản dựng, và một kết quả đo không có mã định danh bản dựng thì không thể tái tạo, không thể bảo vệ và không thể so sánh với kết quả của nhà cung cấp tiếp theo. Đây là cột quan trọng nhất trong bảng tính, nhưng cũng là cột thường xuyên bị bỏ trống nhất.
Ba hàng hư gần như không bao giờ được gửi lại, và cách xử lý từng hàng. Hành vi khi ngoại tuyến — thiết bị làm gì khi mạng bị ngắt hoàn toàn — là hàng quyết định tranh chấp phổ biến nhất trong nhóm sản phẩm này, tức liệu sản phẩm có hoạt động đúng như tài liệu nói khi không có mạng hay không; hãy yêu cầu bằng văn bản, và nếu không có câu trả lời, hãy coi hành vi ngoại tuyến là chưa được xác định trong nội dung. Đường dữ liệu — những gì rời khỏi thiết bị, đi đâu và cách xử lý sự đồng ý — là hàng mà người kiểm tra tuân thủ yêu cầu; hãy xác minh bằng quan sát thay vì đọc mô tả, và để tuyên bố quyền riêng tư trong danh sách sản phẩm mô tả đúng những gì bạn đã quan sát. Cơ chế cập nhật — cách một thiết bị đã xuất xưởng nhận bản dựng mới và ai là người quyết định — là hàng cho biết tính năng có thể thay đổi mà không có thông báo hợp đồng cho bạn hay không.
Thực hiện kế hoạch: mã định danh bản dựng, môi trường và ngày thứ hai
Bước một, trước khi mẫu đến. Hãy viết danh sách câu lệnh. Danh sách đó nên chứa các lệnh mà khách hàng thực sự sẽ đưa ra, bằng ngôn ngữ của thị trường ra mắt, bao gồm cả hai hoặc ba câu khó phát âm. Hãy đặt điều kiện đạt dưới dạng số. Quyết định bài kiểm tra nào cần môi trường nào. Cố định điện thoại, mạng và điều kiện âm thanh. Đồng thời xác định bản dựng phần mềm mà bạn mong đợi mẫu sử dụng, để việc đầu tiên khi mẫu đến là xác nhận điều đó.
Bước hai, vào ngày kiểm tra, trước khi thực hiện bất kỳ phép đo nào. Xác nhận và ghi lại mã định danh bản dựng trên thiết bị. Xác nhận ngôn ngữ, khu vực và trạng thái tài khoản. Kiểm tra xem thiết bị có cấu hình mới nguyên bản sau khi mở hộp hay không, thay vì là thiết bị trình diễn, điều này thường có nghĩa là tài khoản mới, không có dịch vụ nào được liên kết và các cài đặt xử lý mặc định. Kết quả từ thiết bị trình diễn đã liên kết không phải là kết quả về sản phẩm mà khách hàng nhận được, và đây là cách phổ biến nhất để quá trình đánh giá trợ lý tạo cảm giác quá tốt cho nhà cung cấp.
Bước ba, tỷ lệ thức tỉnh, trong số lượng lớn lần thử. Hãy dùng nhiều người nói khác nhau, bởi trợ lý giọng nói thay đổi nhiều hơn theo người nói so với phần cứng. Ghi lại số lần thử, số người nói và môi trường, rồi tự tính tỷ lệ từ nhật ký thay vì tin vào một con số đã làm tròn.
Bước bốn, tỷ lệ kích hoạt sai, trong môi trường có ý nghĩa. Đây là bài kiểm tra lâu nhất trong kế hoạch và thường xuyên bị bỏ qua nhất. Nó có nghĩa là để trợ lý luôn bật trong suốt các hoạt động thông thường — bàn làm việc, cuộc họp, ngoài đường — và ghi lại mọi lần kích hoạt không được yêu cầu. Con số bạn nhận được chính là con số quyết định kênh phân phối.
Bước năm, tỷ lệ thành công của lệnh, trên danh sách câu lệnh của bạn. Mỗi yêu cầu được chạy một số lần cố định, và các lần thất bại được ghi lại kèm lý do, bởi vì "không hiểu" và "hiểu nhưng thực hiện sai việc" là hai kiểu thất bại khác nhau, đòi hỏi hai cách khắc phục khác nhau.
Bước sáu, độ trễ, so với ngưỡng cố định. Hãy đo khoảng thời gian từ lúc kết thúc lời nói đến lúc bắt đầu phản hồi, đồng thời ghi lại trạng thái mạng, và lặp lại đủ nhiều lần để thấy phần đuôi của phân phối thay vì mức trung bình.
Bước bảy, hành vi khi ngoại tuyến, với mạng đã được ngắt vật lý. Không phải chế độ máy bay khi vẫn có kết quả trong bộ nhớ đệm — mạng phải thực sự không khả dụng, và kết quả phải được ghi lại. Nhà cung cấp chưa từng kiểm tra điều này sẽ có một sản phẩm mà hành vi trong thang máy vẫn chưa được biết.
Bước tám, đường dữ liệu, được xác minh bằng quan sát. Hãy theo dõi thiết bị hoạt động thế nào trên mạng, so sánh với những gì tài liệu tuyên bố, và lưu lại nội dung so sánh trong hồ sơ. Một tuyên bố quyền riêng tư được viết từ một câu quảng cáo là rủi ro pháp lý, còn một tuyên bố quyền riêng tư được viết từ quan sát thực tế thì có cơ sở để bảo vệ.
Hãy kiểm tra hai hoặc ba thiết bị cùng phiên bản ở mọi nơi có tính năng quan trọng. Một tính năng hoạt động trên một mẫu nhưng lỗi trên mẫu khác là vấn đề tỷ lệ thành công, và vấn đề này không thể thấy được trong bài kiểm tra chỉ với một thiết bị. Khi tính năng là lý do khách hàng mua sản phẩm, một thiết bị duy nhất không tạo nên bằng chứng nào.
Hãy chạy toàn bộ kế hoạch hai lần, vào hai ngày khác nhau, và coi khoảng chênh lệch là một phát hiện. Hành vi của trợ lý thay đổi theo ngày, mạng và tiếng ồn xung quanh, và khoảng chênh lệch lớn giữa hai lần chạy cho biết tính năng chưa đủ ổn định để làm nền tảng cho một tuyên bố. Nếu khoảng chênh lệch nhỏ, kết quả đáng để giữ lại; nếu lớn, phát hiện đó có giá trị hơn con số.
Hãy ghi lại mã định danh bản dựng, môi trường và thời gian cho mọi kết quả. Hãy lưu các bản ghi ở nơi nền tảng cho phép. Một phép đo không thể tái tạo thì không phải bằng chứng, và trong lĩnh vực này, bản dựng chính là yếu tố thay đổi.
Những gì cần ghi lại cùng mọi kết quả. Tên và cấu hình của mô hình, mã định danh bản dựng phần mềm, phiên bản ứng dụng, ngôn ngữ và khu vực, trạng thái tài khoản, điện thoại và mạng, môi trường cùng mức tiếng ồn, câu lệnh hoặc bài kiểm tra đã thực hiện, kết quả, thời gian và người kiểm tra. Bảng ghi dài chính là điểm mấu chốt: số lượng dòng giúp kết quả có cơ sở để bảo vệ sáu tháng sau.
Những gì kế hoạch này không thể xác lập. Kế hoạch này không xác lập được tính năng sẽ hành xử thế nào đối với toàn bộ tập khách hàng của bạn, không xác lập được hành vi của nó tại một thị trường hoặc ngôn ngữ mà bạn chưa kiểm tra, không xác lập được hành vi của nó sau lần thay đổi tiếp theo của nhà cung cấp, và cũng không xác lập được tình trạng tuân thủ, vì điều đó phải căn cứ vào tài liệu. Điểm cuối cùng rất quan trọng: Chỉ thị Thiết bị Vô tuyến có các yêu cầu về an ninh mạng là một phần của dấu CE, được mô tả trong loạt tiêu chuẩn hài hòa EN 18031 và bao gồm truyền thông an toàn, mã hóa, lưu trữ an toàn, sự đồng ý của người dùng và quy trình xử lý các lỗ hổng đã xác định. Trợ lý giọng nói nằm trọn vẹn trong phạm vi đó, và hành vi ngoại tuyến được đo là bằng chứng cho thấy sản phẩm hoạt động đúng như tài liệu mô tả khi không có mạng.

Những điểm chương trình AI thường đi sai, và dấu hiệu cảnh báo sớm cho từng điểm
Tính năng được quảng bá trong danh sách sản phẩm nhưng lại lỗi trong cuộc họp của khách hàng. Triệu chứng là lời phản ánh kèm mô tả về một cuộc trò chuyện bị gián đoạn. Nguyên nhân gốc là chỉ tỷ lệ đánh thức được đo. Cách phòng ngừa là đo cả hai tỷ lệ và thiết lập ngưỡng kích hoạt sai trước khi viết trang sản phẩm.
Khách hàng báo cáo rằng trợ lý ngừng hoạt động sau một bản cập nhật. Triệu chứng là một cụm phản ánh bắt đầu vào một ngày mà không ai giải thích được. Nguyên nhân gốc là phép đo bị gắn với một bản dựng, nhưng bản dựng đã thay đổi mà không kiểm tra lại. Cách phòng ngừa là ghi lại bản dựng cùng mọi kết quả, chạy lại kế hoạch trên đúng bản dựng sẽ được giao, và yêu cầu thông báo trước khi có thay đổi ảnh hưởng đến hành vi của trợ lý.
Một tuyên bố về bản dịch được đưa ra nhưng người đánh giá bản ngữ đích lại bác bỏ. Triệu chứng là một danh sách sản phẩm hứa hẹn khả năng phiên dịch và một người đánh giá không thể tái tạo kết quả đó. Nguyên nhân gốc là độ chính xác được đánh giá bởi một người không phải người bản ngữ, với các lời chào thay vì các câu lệnh sử dụng thực tế. Cách phòng ngừa là để một người bản ngữ của ngôn ngữ đích chấm điểm các câu lệnh mà khách hàng cần, kèm danh sách câu lệnh vào bảng chấm điểm.
Một câu hỏi về quyền riêng tư được trả lời bằng một câu quảng cáo. Triệu chứng là khách hàng doanh nghiệp yêu cầu rà soát bảo mật, đòi biết đường đi của dữ liệu, trong khi thương hiệu chỉ có URL chính sách. Nguyên nhân gốc là đường đi của dữ liệu chưa từng được xác minh. Biện pháp phòng ngừa là xác minh bằng quan sát và để tuyên bố về quyền riêng tư mô tả đúng những gì đã quan sát được.
Sản phẩm hoạt động tốt tại thị trường demo nhưng lại gặp sự cố tại thị trường ra mắt. Triệu chứng là một loạt yêu cầu hoàn trả chỉ từ một thị trường. Nguyên nhân gốc là kế hoạch chỉ được thực hiện tại một khu vực trên một mạng. Biện pháp phòng ngừa là thực hiện kế hoạch tại thị trường ra mắt, trên các mạng mà khách hàng sẽ sử dụng, và báo cáo song song cả hai nhóm kết quả.
Hai người đánh giá đưa ra những kết luận trái ngược vào cùng một ngày. Triệu chứng là danh sách rút gọn thay đổi giữa cuộc họp thứ Ba và cuộc họp thứ Sáu. Nguyên nhân gốc là các điều kiện đạt yêu cầu lại được diễn đạt bằng tính từ. Biện pháp phòng ngừa là xác định rõ các điều kiện đạt yêu cầu dưới dạng số trước khi đặt mẫu, để khi bất đồng, điểm bất đồng chỉ ra một tiêu chí mơ hồ thay vì chỉ ra vấn đề của sản phẩm.

Những gì bạn có thể yêu cầu trong hợp đồng khi nhà cung cấp thay đổi điều gì đó
Mã bản dựng và cơ chế cập nhật là hai dòng cần đưa vào yêu cầu báo giá. Nhà cung cấp không thể nêu tên cả hai thì đang cho bạn biết rằng trợ lý có thể thay đổi mà không cần thông báo theo hợp đồng cho bạn, và đây là mức rủi ro thương mại lớn hơn đơn giá. Hai dòng này không tốn chi phí gì để yêu cầu và là những dòng duy nhất giúp bạn có điểm neo.
Danh sách câu thoại và các điều kiện đạt yêu cầu cần nằm trong đơn mua hàng, được viện dẫn làm tiêu chí nghiệm thu. Trợ lý là bộ phận duy nhất của sản phẩm mà khách hàng có thể đổ lỗi cho người khác, vì vậy các tiêu chí phải được lập thành văn bản trước khi nhận mẫu chứ không phải sau lời phàn nàn đầu tiên. Mẫu đáp ứng các tiêu chí trên bản dựng được giao là mẫu mà bạn có thể nghiệm thu.
Điều khoản thông báo bao gồm các thay đổi hành vi là điều khoản có giá trị nhất trong nhóm này. Mọi thay đổi về micrô, tinh chỉnh DSP, trạng thái xử lý mặc định hoặc mô hình trợ lý đều có thể làm thay đổi hành vi quan sát được mà không thay đổi phần cứng, vì vậy điều khoản phải bao quanh hành vi chứ không phải linh kiện.
Công việc bản địa hóa có thể thương lượng và đáng để thương lượng. Danh sách câu thoại, ngôn ngữ tài liệu và kịch bản hỗ trợ cho từng thị trường đều là một vòng công việc, mỗi vòng kéo dài một tuần. Điều đáng thương lượng là số vòng được bao gồm và liệu thị trường thứ hai có được tính giá như một bản sao của thị trường đầu tiên hay như một nhiệm vụ dịch thuật mới.
Số lượng đặt hàng tối thiểu và công việc đóng gói là các dòng thương mại thông thường. Khoản tiền được giữ lại đối với bộ tài liệu bảo vệ bên mua trong trường hợp thất bại gây thiệt hại nhất, đó là thiết bị đến tay kèm giấy tờ không phù hợp; còn khoản đặt trước cùng số dư thanh toán sau khi kiểm tra trước khi giao hàng là cấu trúc tiêu chuẩn.
Các dòng tiến độ trong một chương trình trợ lý là thời điểm chốt bản dựng và lịch chứng nhận, và không dòng nào chuyển được chỉ vì bên mua thúc ép. Thời điểm chốt bản dựng phải nằm trước đơn hàng chứ không phải sau đó, bởi một bản dựng thay đổi sau khi đặt hàng sẽ làm mất hiệu lực của mọi phép đo mà tiêu chí nghiệm thu dựa vào. Chi phí chứng nhận và thời gian chờ chứng nhận phụ thuộc vào quy trình và cơ quan kiểm thử; thúc ép ở bất kỳ yếu tố nào cũng chỉ làm lịch dài hơn chứ không ngắn hơn. Chi phí khuôn đúc là chi phí một lần, thường được phân bổ trên đơn hàng đầu tiên; các câu hỏi đáng hỏi là phân bổ trên quy mô bao nhiêu và điều gì sẽ xảy ra với khuôn đó nếu chương trình bị ngừng.
Những tài liệu cần yêu cầu trước khi đặt cọc. Mã bản dựng firmware và cơ chế cập nhật. Số hiệu chứng chỉ kèm cơ quan cấp và ngày hiệu lực. Bản khai báo về sự phù hợp với đúng mã định danh mô hình. Mô tả bằng văn bản về đường đi của dữ liệu và cơ chế đồng ý. Tuyên bố bằng văn bản về hành vi khi hoạt động ngoại tuyến. Mã định danh mô hình được ghi trên báo giá.
Những điều khoản cần viết vào đơn mua hàng. Mã định danh mô hình dưới dạng một dòng kèm số hiệu chứng chỉ. Tiêu chí nghiệm thu từ tám bài kiểm thử, kèm danh sách câu thoại. Điều khoản yêu cầu thông báo trước khi thay đổi firmware hoặc mô hình có ảnh hưởng đến hành vi của trợ lý, kèm nghĩa vụ kiểm thử lại. Điều khoản quy định ai chịu chi phí khi mẫu không đáp ứng tiêu chí nghiệm thu.
Kế hoạch thực tế dành cho một thương hiệu ra mắt tại một thị trường
Đây là một tình huống được phân tích chi tiết chứ không phải một tình huống của khách hàng. Chính thứ tự ưu tiên nằm ở điểm này.
Giả sử một thương hiệu điện tử tiêu dùng có một dòng camera gồm mười một mẫu, một nền tảng camera hiện hữu và kế hoạch bổ sung trợ lý bằng giọng nói cho hai cấu hình, làm tính năng nổi bật cho một lần ra mắt tại một thị trường duy nhất. Quản lý sản phẩm của thương hiệu đã soạn nội dung giới thiệu sản phẩm với nội dung trợ lý "hiểu một cách tự nhiên" và "luôn ở đó khi bạn cần", và người kiểm duyệt tuân thủ của thương hiệu đã yêu cầu làm rõ luồng dữ liệu.
Quyết định đầu tiên là loại bỏ trợ lý khỏi nội dung cho đến khi được đo lường. Quản lý sản phẩm xóa cả hai tính từ và không thay thế bằng nội dung nào, bởi một tính năng không thể được mô tả chính xác thì hiện chưa nên được mô tả. Chỉ một chỉnh sửa như vậy cũng loại bỏ rủi ro lớn nhất của thương hiệu mà không tốn kém gì.
Quyết định thứ hai là thị trường ra mắt, và được đưa ra trước khi kế hoạch được viết. Thương hiệu chọn một thị trường, một ngôn ngữ và hai mạng mà khách hàng thực sự sử dụng, đồng thời chấp nhận rằng trợ lý sẽ không ra mắt tại thị trường thứ hai cho đến khi được đo lường tại đó. Lý do là chi phí: một danh sách câu lệnh bằng một ngôn ngữ chỉ là bài tập dịch thuật, còn một danh sách câu lệnh bằng ngôn ngữ mà đội ngũ không thể đánh giá là một tài sản không thể sử dụng.
Quyết định thứ ba là bản dựng. Thương hiệu yêu cầu nhà cung cấp đóng băng một mã định danh bản dựng cho đợt đánh giá và xác nhận rằng chính bản dựng đó sẽ được bán ra. Nhà cung cấp xác nhận một bản dựng và thương hiệu ghi lại thông tin này. Đây là quyết định khiến mọi con số sau đó có ý nghĩa và chỉ tốn kém một email.
Bước thứ tư là thực hiện đánh giá trên một thiết bị không phải thiết bị trình diễn. Thương hiệu đặt mua một thiết bị tiêu chuẩn, thiết lập tài khoản mới và thực hiện tám bài kiểm tra trong hai ngày với hai người đánh giá. Tỷ lệ đánh thức cao trong phòng yên tĩnh và thấp hơn trong môi trường mục tiêu. Tỷ lệ kích hoạt sai, được đo trong một ngày làm việc thông thường, chính là kết quả đáng chú ý: tỷ lệ này cao đến mức các tuyên bố tiếp thị của chính thương hiệu sẽ không thể vượt qua một tuần sử dụng trong môi trường đó.
Quyết định thứ năm là hệ quả của tỷ lệ kích hoạt sai. Thương hiệu không ra mắt trợ lý tại thị trường đó và giữ nguyên dòng phần cứng. Phương án thay thế sẽ là ra mắt rồi gánh chịu một cụm khiếu nại mà chương trình thử nghiệm mẫu đã dự báo. Đợt đánh giá tốn một vòng lấy mẫu và một tuần; phương án thay thế tốn một lần ra mắt.
Quyết định thứ sáu là cách xử lý kết quả. Thương hiệu đưa ngưỡng kích hoạt sai vào đơn mua hàng như một điều kiện cho bản cập nhật phần mềm về sau, đồng thời thương lại một điều khoản thông báo về các thay đổi hành vi. Thương hiệu giữ lại các bản ghi và bảng đánh giá, bởi một bản cập nhật phần mềm về sau sẽ cần được kiểm tra lại và bảng đánh giá chính là thứ giúp cho lần kiểm tra lại đó có tính đối chiếu.
Kết quả là một dòng sản phẩm ra mắt với nhiều hạn chế hơn so với mong muốn của thương hiệu, và một mối quan hệ với nhà cung cấp hiện có tiêu chuẩn bằng văn bản cho tính năng mà thương hiệu dự kiến bổ sung sau này. Điểm chính của hướng dẫn này là con số quyết định đến từ một bài kiểm tra trên thiết bị mẫu chứ không phải từ một buổi trình diễn, và điều đó chỉ tốn một thiết bị cùng hai ngày.
Những gì nhật ký trợ lý của chúng tôi có và không thể xác lập
Cụ thể, chúng tôi muốn người mua tự kiểm tra một tính năng AI hơn là tin vào lời mô tả về tính năng đó, và một kế hoạch kiểm tra là thứ duy nhất biến một năng lực thành một đặc tả. Chúng tôi nêu trợ lý giọng nói AI là một trong các công nghệ trọng tâm cho dòng kính camera AI, và trang web độc lập của chúng tôi mô tả tính năng dịch thuật AI trên K01, một mẫu thiết bị hỗ trợ âm thanh — chúng tôi xem đây là một quan sát từ tài liệu tiếp thị của chính mình chứ không phải là một đặc tả. Chúng tôi không công bố tỷ lệ đánh thức, tỷ lệ kích hoạt sai, tỷ lệ thành công khi thực hiện lệnh, thông số độ trễ, độ chính xác nhận dạng, độ chính xác dịch thuật hay hành vi ngoại tuyến đối với bất kỳ mẫu nào, và chúng tôi sẽ không ước tính bất kỳ chỉ số nào trong số đó.
Chúng tôi cũng sẽ không đưa vào nội dung giới thiệu sản phẩm một con số được đo trên thiết bị trình diễn, bởi một con số không thể tái tạo là một tuyên bố không thể bảo vệ khi khách hàng đang đứng trước mặt bạn. Và chúng tôi sẽ cung cấp các thiết bị có bản dựng phần mềm đã biết, cùng đồng hành triển khai một kế hoạch với bạn thay vì gửi một buổi trình diễn.
Ba điều cần xác lập trước khi hứa hẹn về một trợ lý trong nội dung giới thiệu sản phẩm
Hãy yêu cầu mã định danh bản dựng và cơ chế cập nhật ngay trong tin nhắn đầu tiên. Đây là hai câu trả lời duy nhất cho biết liệu tính năng có thể thay đổi dưới nền tảng chương trình của bạn hay không, và một nhà cung cấp trả lời được cả hai câu hỏi đó là một nhà cung cấp có quy trình.
Hãy viết danh sách câu cụm trước khi mẫu đến. Đây là phần duy nhất trong kế hoạch mà nhà cung cấp không thể thực hiện thay bạn, và cũng là phần giúp tỷ lệ thành công thuộc về bạn chứ không phải họ.
Hãy gửi cho chúng tôi các tính năng bạn dự kiến công bố, thị trường ra mắt và ngôn ngữ; chúng tôi sẽ cùng bạn viết kế hoạch kiểm thử. Nền tảng được trình bày tại tính năng AI của kính, quy trình đánh giá mẫu nằm trong đánh giá mẫu, phương pháp đo lường có trong cách đo tính năng AI, và các câu hỏi dành cho nhà cung cấp nằm trong xác minh nhà cung cấp AI.
Nội dung liên quan
- Kỹ thuật đo lường — cách đo tính năng AI
- Các câu hỏi dành cho nhà cung cấp — xác minh nhà cung cấp AI
- Quy trình đánh giá mẫu — đánh giá mẫu
Hãy cho chúng tôi biết các tính năng bạn dự kiến công bố và môi trường kiểm thử; chúng tôi sẽ cùng bạn viết kế hoạch kiểm thử.



