Mọi tính năng AI trong danh mục này đều thể hiện tốt khi trình diễn, và lý do không phải vì các buổi trình diễn gian dối. Mà bởi buổi trình diễn là một môi trường có kiểm soát: một căn phòng yên tĩnh, một người nói hợp tác, một câu lệnh đã chuẩn bị, một mạng hoạt động ổn định và một thiết bị được ai đó thiết lập trước. Khách hàng không mang theo bất kỳ điều kiện nào trong số đó. Khoảng cách giữa hai bên không phải là lỗi của sản phẩm. Đó là sự khác biệt giữa điều kiện do nhà cung cấp lựa chọn và điều kiện khách hàng đến với, và bài viết này nói về khoảng cách ấy, bởi chính khoảng cách đó quyết định một tính năng có được sử dụng hay không.
Tính năng AI của kính thông minh: tại sao số liệu trình diễn và thực tế lại khác nhau
Người mua và con số được cung cấp
Người đọc là quản lý sản phẩm thương hiệu hoặc nhân viên mua hàng nguồn vừa nhận được một con số. Con số đó đến từ bài kiểm tra của nhà cung cấp, tài liệu tiếp thị của đối thủ hoặc một buổi trình diễn tại văn phòng của ai đó, và được giới thiệu như một đặc tính hiệu năng của sản phẩm. Vấn đề của người mua không phải là con số sai. Vấn đề là một con số không kèm điều kiện không phải là phép đo, và người mua đưa nó vào đặc tả chính là mua một lời hứa mà khách hàng sẽ kiểm tra còn nhà cung cấp sẽ không chịu trách nhiệm.
Phiên bản thứ hai của vấn đề này phổ biến hơn và tốn kém hơn trong danh mục. Người mua có một con số hoàn toàn hợp lệ — tỷ lệ đánh thức đo trong một căn phòng yên tĩnh, độ chính xác dịch đo trên một câu đã chuẩn bị — nhưng con số đó đơn giản là không mô tả đúng điều kiện khách hàng sẽ gặp. Không có gì trong đó là sai. Nó chỉ đơn giản là con số không phù hợp với quyết định cần đưa ra.
Chính sự phân biệt này giải thích vì sao điều cần xác định đầu tiên không phải là con số mà là các điều kiện đi kèm, và vì sao cách phản hồi đúng đắn đối với một con số không kèm điều kiện là yêu cầu cung cấp các điều kiện ấy chứ không phải tranh luận về giá trị của con số.
Thông tin đã công bố và ý nghĩa đối với việc so sánh
Danh mục của chúng tôi nêu trợ lý giọng nói AI là một trong những công nghệ trọng tâm của dòng kính camera AI, và trang độc lập của chúng tôi mô tả tính năng dịch AI trên K01, một mẫu Bluetooth âm thanh chứ không phải mẫu có camera. Chúng tôi xem thông tin thứ hai là một quan sát từ tài liệu tiếp thị của chính mình chứ không phải là đặc tả đã được xác minh, nên nó có sức nặng thấp hơn một dòng trong danh mục.
Chúng tôi không công bố tỷ lệ đánh thức, tỷ lệ kích hoạt sai, tỷ lệ thành công của lệnh, độ trễ, độ chính xác nhận diện, độ chính xác dịch hoặc hành vi ngoại tuyến của bất kỳ mẫu nào. Chúng tôi sẽ không ước tính các chỉ số đó, cũng sẽ không trích dẫn số liệu của ngành cho một chức năng mà chúng tôi chưa đo lường, bởi toàn bộ ý điểm của bài viết này là một con số không kèm điều kiện không phải là phép đo.
Điều chúng tôi công bố là thông số phần cứng, và được công bố đầy đủ: các mẫu có camera sử dụng cảm biến từ 8MP đến 13MP, với dung lượng pin từ 220 mAh đến 290 mAh, thời gian sạc tối đa hai giờ, các mức thời gian sử dụng khoảng từ năm đến tám giờ; ba mẫu có hộp sạc 1400 mAh, L2 Utral có lựa chọn 900 hoặc 1400 mAh, MT6 có hộp sạc gập 1200 mAh, còn KY06 và MT5 có hộp sạc chưa công bố dung lượng. IP54 chỉ được đánh dấu trên V06 và S7, và con số 158 g của MT6 là trọng lượng duy nhất được công bố trong danh mục.
Sự bất đối xứng này chính là điểm mấu chốt của biểu đồ trên. Danh mục công bố một mức thời gian sử dụng mà không kèm điều kiện. Một chỉ số hành vi AI cần cả hai. Đó là sự khác biệt giữa một con số để người mua có thể lên kế hoạch dựa trên đó và một con số buộc người mua phải tự kiểm tra.

Năm biến số thay đổi giữa phòng kín và ngoài đời thực
Nền tảng âm thanh, câu lệnh, mạng, cấu hình, tư thế
Nền tảng âm thanh. Tỷ lệ đánh thức được đo trong một văn phòng yên tĩnh là con số có gần như không giá trị dự báo, bởi vấn đề của tín hiệu kích hoạt là xử lý nhiễu và văn phòng được chọn vì nơi đó giải quyết được nhiễu. Ngoài đường, trong quán cà phê và trên xe là nơi tỷ lệ này sụt giảm, và sụt giảm không đều, bởi nền âm thanh ổn định dễ bị loại bỏ hơn nền âm thanh không liên tục.
Câu lệnh. Buổi trình diễn sử dụng một lệnh ngắn, phổ biến và đúng cấu trúc. Người dùng thực tế nói các câu dài hơn, đặt tên sản phẩm ở giữa câu thay vì ở đầu câu và tự nghĩ ra cách diễn đạt. Độ chính xác nhận diện được đo trên một câu lệnh đã chuẩn bị không phải là ước tính về độ chính xác nhận diện trong điều kiện sử dụng thực tế.
Mạng. Thường thì phần trình diễn được ghi hình trên kết nối tốt và phản hồi xuất hiện ngay lập tức. Trong thực tế sử dụng, độ trễ thay đổi theo tín hiệu, và một tính năng phản hồi dưới một giây trên kết nối tốt có thể mất vài giây trên kết nối yếu. Người dùng cảm nhận điều đó là thiếu ổn định, dù tính năng vẫn đang hoạt động.
Thiết bị. Thiết bị trình diễn đã được cài đặt ngôn ngữ, cấu hình khu vực, liên kết tài khoản và thiết lập đường dẫn cập nhật. Một thiết bị mới xuất hiện trên điện thoại của khách hàng, trong mạng của khách hàng và với ngôn ngữ của khách hàng sẽ có cấu hình khác. Đây là nguyên nhân phổ biến nhất dẫn đến sự cố trong tuần đầu tiên, và hoàn toàn là vấn đề cấu hình chứ không phải vấn đề sản phẩm.
Tư thế sử dụng. Khi trình diễn, người dùng cầm thiết bị. Khi sử dụng thực tế, khách hàng đeo thiết bị, tức là micrô đặt trên một đầu đang di chuyển, người dùng nhìn hướng khác và cử chỉ kích hoạt tương tác là động tác tay gần khuôn mặt chứ không phải nhấn nút.
Yếu tố mà người mua thường bỏ sót nhất
Có một yếu tố thứ sáu không xuất hiện trong bất kỳ danh sách nào, bởi vì đó không phải là đặc điểm của môi trường. Đó là kỳ vọng mà khách hàng mang theo khi tiếp cận sản phẩm, được hình thành bởi nội dung mô tả chứ không phải bởi chính sản phẩm.
Người mua viết rằng "hiểu lệnh của bạn và trả lời câu hỏi của bạn" sẽ tạo ra kỳ vọng về một cuộc trò chuyện. Người mua viết rằng "trả lời các câu hỏi ngắn bằng lời nói khi có kết nối" sẽ tạo ra kỳ vọng về một công cụ. Cả hai thiết bị có thể hoạt động giống hệt nhau nhưng tạo ra mức độ hài lòng hoàn toàn khác nhau, và sự khác biệt nằm hoàn toàn trong nội dung mô tả.
Đó là lý do một bài kiểm thử thực địa chỉ đo lường hành vi kỹ thuật sẽ đánh giá thấp vấn đề. Phiếu quan sát phải ghi lại điều người dùng tin rằng sẽ xảy ra cũng như điều thực sự đã xảy ra, bởi chính khoảng cách giữa hai điều này dẫn đến việc sản phẩm bị trả lại.
Phiên sử dụng lần đầu, nơi quyết định số phận của các tính năng
Mẫu thức và lý do có thể khắc phục
Có một mẫu thức cụ thể trong cách các tính năng AI thất bại ngoài thực tế, và điều đáng để chỉ ra vì nó có thể khắc phục được.
Khách hàng lấy sản phẩm ra khỏi hộp, đeo vào và thử tính năng. Tính năng không hoạt động vì chưa cài đặt ngôn ngữ, chưa liên kết tài khoản, chưa cấu hình mạng hoặc câu lệnh sử dụng khác với câu lệnh trong phần trình diễn. Khách hàng kết luận rằng tính năng không hoạt động, và trong hầu hết các trường hợp, sản phẩm sẽ được đưa trả lại.
Cách khắc phục không nằm ở yếu tố kỹ thuật. Trải nghiệm lần đầu phải được thiết kế: sản phẩm phải thông báo cho người dùng biết mình cần những gì, thông qua giao diện của chính sản phẩm, trước lần sử dụng đầu tiên chứ không phải sau khi xảy ra sự cố. Phần trình diễn của nhà cung cấp là một tài sản tiếp thị, nhưng tài sản tiếp thị không phải là thứ quyết định tính năng có được sử dụng hay không. Quá trình làm quen mới là thứ quyết định.
Chi phí khi làm sai
Chi phí thương mại của một lần chạy đầu tiên thất bại không tương xứng với nguyên nhân kỹ thuật, bởi sản phẩm sẽ bị trả lại chứ không phải người dùng từ bỏ tính năng. Khách hàng không thể khiến tính năng hoạt động thường không kết luận rằng "phần AI cần được cấu hình"; khách hàng kết luận rằng "sản phẩm này không hoạt động". Đó là một lần trả hàng, một khoản hoàn tiền, một đánh giá tiêu cực và chi phí nhập lại tồn kho, tất cả đều do một bước thiết lập chỉ mất ba mươi giây.
Đây cũng là lý do bài kiểm thử lần chạy đầu tiên là bài kiểm thử đơn lẻ có giá trị cao nhất trong danh mục này. Nó phát hiện một kiểu sự cố mà mọi bài kiểm thử khác đều bỏ lỡ, đồng thời phát hiện trước khi sản phẩm đến tay khách hàng chứ không phải sau đó.

Chạy kiểm thử thực địa với chính người dùng của bạn
Sáu bước, hai ngày, không cần phòng thí nghiệm
- Xác định hai mươi câu lệnh của khách hàng. Không phải câu lệnh của nhà cung cấp. Hãy dùng những câu lệnh mà chính khách hàng của bạn nói, bao gồm cả những câu khó nói: danh từ riêng, số, một câu có hai cách hiểu hoặc một yêu cầu cần từ chối.
- Kiểm thử lần chạy đầu tiên với một người xa lạ. Đưa thiết bị cho một người chưa từng nhìn thấy nó, bằng ngôn ngữ họ nói, với điện thoại của họ, rồi quan sát những gì xảy ra mà không hỗ trợ họ.
- Lặp lại trong môi trường mục tiêu. Có tiếng ồn, chuyển động và mạng yếu, không chỉ trong một căn phòng yên tĩnh.
- Lặp lại khi đã ngắt mạng. Đây là bước mà phần lớn các thương hiệu không thực hiện, và cũng là bước cho thấy sự phụ thuộc vào dịch vụ theo cách mà phòng thí nghiệm không thể làm được.
- Đo mức kích hoạt sai. Không chỉ tỷ lệ đánh thức. Một tính năng cắt ngang hoạt động của mọi người sẽ bị tắt đi, và tỷ lệ kích hoạt sai chính là chỉ số dự báo điều đó.
- Viết lại nội dung mô tả dựa trên kết quả. Không dựa trên ý định. Trang sản phẩm cần nói rõ điều mà bài kiểm thử đã chứng minh.
Những gì phiếu cần ghi lại
Bảng ghi chép cố tình được thiết kế đơn giản, và đó chính là ưu điểm của nó: mục đích là biến kết quả thành hồ sơ ghi nhận chứ không phải ký ức. Sau mỗi phiên, gồm bốn mục — môi trường và mức độ ồn, cụm từ được cung cấp cùng kết quả, độ trễ cảm nhận hoặc được đo thời gian, và những gì người dùng nhìn thấy khi thất bại. Sau mỗi chiến dịch, có thêm bốn mục — số lần kích hoạt sai được đếm, lần chạy đầu tiên có hoàn thành mà không cần hỗ trợ hay không, kết quả khi ngắt mạng, và nội dung mô tả có được sửa lại do kết quả thử nghiệm hay không.
Bản thân chiến dịch nên thay đổi từng biến một và mỗi tuần chỉ thay đổi một môi trường, để khi một tỷ lệ giảm, có thể xác định nguyên nhân. Thường chỉ cần ba môi trường: yên tĩnh, bình thường và kém.
Chuyển kết quả thành quyết định thương mại
Thử nghiệm thực địa tạo ra một con số, và con số đó dẫn đến quyết định về định vị của sản phẩm. Nếu tính năng hoạt động đáng tin cậy trong môi trường yên tĩnh nhưng thất bại trong môi trường bình thường, đây là sản phẩm dùng để trình diễn và trang sản phẩm không nên đưa tính năng đó lên đầu. Nếu tính năng suy giảm thay vì hoàn toàn hỏng, đây là một cải tiến và nội dung mô tả có thể nói rõ điều đó kèm theo khoảng cách được nêu rõ. Nếu tính năng hỏng, nhiệm vụ cốt lõi của sản phẩm phải chuyển sang một điều không phụ thuộc vào nó.
Kết quả cuối cùng đáng được nói thẳng vì đây là điều người mua thường né tránh. Một bài kiểm tra cho kết quả “tính năng bị lỗi” vẫn đã hoàn thành nhiệm vụ, và kết quả là một sản phẩm có thể bán được, chứ không phải một sản phẩm bị trả lại.
Tiêu chí nghiệm thu cần viết trước khi chạy thử
Một bài thử nghiệm thực địa không có các ngưỡng được thống nhất trước sẽ tạo ra một báo cáo chứ không phải một quyết định, và báo cáo thì sẽ bị tranh luận. Các tiêu chí cần ấn định trước khi ai bắt đầu rất ngắn gọn, và cũng chính là những tiêu chí mà người mua sẽ viết cho một lần nghiệm thu sản xuất.
Hãy ấn định số cụm từ trong số hai mươi cụm từ khách hàng phải thành công, và đặt tiêu chí riêng cho từng môi trường thay vì dùng một con số chung, vì môi trường chính là biến đang được đo. Hãy đặt giới hạn độ trễ trong môi trường mục tiêu, không phải trong văn phòng. Hãy đặt số lần kích hoạt sai có thể chấp nhận trong một cuộc trò chuyện; đây là đánh giá về cách sử dụng sản phẩm chứ không phải một con số kỹ thuật. Hãy ấn định kết quả khi ngoại tuyến, kết quả này phải được liệt kê chứ không phải đánh dấu đạt hoặc không đạt. Và hãy ấn định tiêu chí hoàn thành lần chạy đầu tiên: tỷ lệ người dùng lần đầu hoàn thành tác vụ mà không cần hỗ trợ, đây là con số duy nhất dự báo tỷ lệ trả lại.
Việc bạn chọn mẫu nào để thử cũng quan trọng không kém các ngưỡng. Hãy thử đúng mẫu, bản phần mềm và cấu hình mà bạn dự định xuất xưởng, bởi vì kết quả đạt được từ một tổ hợp khác của cả ba yếu tố này không thể suy rộng, và đây chính là nơi người mua lãng phí một tuần. Hãy yêu cầu mã định danh bản phần mềm trên bảng kết quả và ghi lại mã đó.
Quyết định sau khi thử nghiệm
Có ba quyết định khả dụng sau khi đã có các con số, và sự đánh đổi giữa chúng mang tính thương mại chứ không phải kỹ thuật.
Quyết định thứ nhất là giữ tính năng và thu hẹp tuyên bố. Sản phẩm được xuất xưởng, nội dung mô tả giải thích hành vi thực tế, còn tỷ lệ trả lại được quyết định bởi khoảng cách giữa nội dung mô tả và hành vi thực tế. Quyết định thứ hai là giữ tính năng và tuyên bố rộng, chỉ khả dụng khi kết quả thực địa gần với kết quả trình diễn. Quyết định thứ ba là loại tính năng khỏi phạm vi sản phẩm này và lên kế hoạch một phiên bản riêng được thiết kế xoay quanh tính năng đó; đây là lựa chọn tốn kém và là lựa chọn đúng khi kết quả thực địa cho thấy tính năng không thể hoạt động trong môi trường mà sản phẩm được bán vào.
Việc lựa chọn phương án nào là câu hỏi về tổng chi phí chứ không phải về hiệu năng. Tuyên bố hẹp tốn chi phí in lại hình ảnh quảng cáo một lần và làm tỷ lệ chuyển đổi trên trang niêm yến giảm. Tuyên bố rộng tốn kém hơn do hàng trả lại, hoàn tiền và mức độ hiển thị trên sàn thương mại điện tử, theo tỷ lệ tương ứng với mức độ nổi bật của tính năng. Phiên bản riêng tốn kém hơn do phát sinh dòng sản phẩm thứ hai, chứng nhận thứ hai và bộ bao bì thứ hai, và chỉ được biện minh khi chính tính năng đó là lý do kênh bán hàng muốn có sản phẩm.
Những điều cần yêu cầu trước khi đặt hàng
Trước khi đặt hàng, hãy đưa ba điều vào văn bản. Danh sách những gì vẫn hoạt động khi ngắt mạng. Thời gian báo trước khi thay đổi phần mềm hoặc mẫu làm thay đổi hành vi của trợ lý, với một khoảng thời gian xác định. Và yêu cầu rằng nội dung tiếp thị và nhãn phải khớp với danh sách năng lực do nhà sản xuất công bố.
Đó là ba điều khoản giúp kết quả thực địa không bị mất hiệu lực. Nếu không có chúng, nội dung mô tả vẫn giữ nguyên như khi ra mắt, và nội dung đó đã được viết dựa trên một buổi trình diễn.

Tình huống minh họa: một kênh du lịch thử nghiệm tính năng dịch
Đây là một tình huống giả định chứ không phải dự án khách hàng, và bài viết này nhằm minh họa trình tự ra quyết định.
Giả sử một thương hiệu kênh du lịch đã đưa trợ lý giọng nói AI vào một mẫu được trang bị camera và đang bán sản phẩm này tại ba thị trường, với tình huống sử dụng dành cho hướng dẫn viên là trọng tâm của đề xuất giá trị. Nhóm tiếp thị của thương hiệu có một con số dịch thuật từ buổi trình diễn của nhà cung cấp và muốn đưa số liệu đó vào trang giới thiệu sản phẩm. Người mua của thương hiệu có một câu hỏi chung về các tính năng AI thay vì một tuyên bố cụ thể cần kiểm chứng.
Bước một: các điều kiện đứng sau con số. Thương hiệu hỏi buổi trình diễn đó diễn ra như thế nào. Đó là một câu được chuẩn bị sẵn, trong một căn phòng yên tĩnh, với đường truyền tốt, trên thiết bị do nhà cung cấp thiết lập. Con số này có hiệu lực nhưng không liên quan, và thương hiệu không có con số nào có thể sử dụng.
Bước hai: hai mươi câu thoại. Thương hiệu viết ra hai mươi điều mà một khách du lịch hoặc hướng dẫn viên thực tế sẽ nói — một tên đường, một mức giá, một địa danh có cách viết lạ, một câu cần từ chối. Nhà cung cấp chạy chúng trên hai thiết bị thuộc phiên bản đã xuất xưởng.
Bước ba: các môi trường. Thương hiệu chạy cùng bộ thử nghiệm trong một văn phòng yên tĩnh, trên một con đường đông đúc và với đường truyền yếu. Kết quả ngoài đường thực tế kém hẳn so với kết quả trong văn phòng, điều này là điều được dự kiến và giờ đã được đo lường.
Bước bốn: lần chạy khi ngắt mạng. Thương hiệu chạy bộ thử nghiệm sau khi ngắt kết nối mạng. Chụp và phát lại vẫn hoạt động; chép lời nói và dịch thuật thì không. Đây là một sự suy giảm có thể mô tả, và giờ đây đã là một sự thật được ghi chép chứ không còn là điều chưa biết.
Bước năm: quyết định. Thương hiệu kết luận rằng tính năng này là một điểm cải thiện chứ không phải lý do chính để mua, viết nội dung theo đúng kết luận đó và nêu rõ yêu cầu kết nối cùng bộ ngôn ngữ được hỗ trợ. Thương hiệu không đặt trợ lý này ở vị trí dẫn dắt trang giới thiệu sản phẩm và không để quy trình dành cho hướng dẫn viên phụ thuộc vào việc tính năng luôn khả dụng.
Bước sáu: hệ quả thương mại. Thương hiệu đưa hành vi ngoại tuyến được liệt kê, thời hạn thông báo cho các bản cập nhật có thay đổi hành vi và điều khoản yêu cầu nội dung phù hợp vào đơn mua hàng, đồng thời yêu cầu được cấp ngân sách cho một vòng đánh giá thứ hai phòng trường hợp lần kiểm nghiệm trên phiên bản sản xuất cho kết quả khác với lần thử nghiệm ban đầu.
Bước quyết định chính là bước đầu tiên. Con số của nhà cung cấp không sai; điều đó chỉ mô tả một sản phẩm khác với sản phẩm mà khách hàng sẽ cầm trên tay, và người mua phải xác định sản phẩm nào sẽ được mô tả trong nội dung trước khi công bố.
Những con số chúng tôi công bố và những con số chúng tôi sẽ không bịa đặt
Quan điểm của chúng tôi về đo lường thực địa
Quy tắc áp dụng của chúng tôi là: khoảng cách giữa một buổi trình diễn và khách hàng là biến số chưa được đo lường quan trọng nhất trong nhóm sản phẩm này, và nhà cung cấp trích dẫn số liệu trình diễn như thể đó là số liệu thực địa thì đang làm tổn hại người mua. Chúng tôi thà chạy thử nghiệm trong các điều kiện có ý nghĩa rồi cho bạn biết con số thực tế, bao gồm cả những con số không đáng đương.
Điều chúng tôi có thể làm là cung cấp một thiết bị đúng cấu hình bạn dự kiến xuất xưởng, đồng thời cùng bạn thực hiện trải nghiệm lần chạy đầu tiên và các bài kiểm tra trong thực tế, để những gì bạn công bố là những gì bạn đã tự mắt thấy. Chúng tôi sẽ chạy hai mươi lệnh bạn đã viết, trong các môi trường bạn đã nêu, trên phiên bản bạn chỉ định, và báo cáo kết quả đúng như thực tế thay vì theo kịch bản lý tưởng.
Phiếu đo lường giải quyết loại câu hỏi này được trình bày tại đo lường tính năng AI, quy trình kiểm thử thiết bị mẫu nằm tại kiểm thử tính năng AI trước khi đặt hàng, những lỗi tuyên bố cần tránh được đề cập trong những lỗi thường gặp, và những tính năng vẫn hoạt động khi không có kết nối được trình bày tại sử dụng ngoại tuyến. Thông tin nền tảng nằm trong tính năng AI của kính thông minh.
Nơi khách hàng của bạn sẽ sử dụng
Hãy cho chúng tôi biết các môi trường khách hàng của bạn sẽ sử dụng, những ngôn ngữ họ sẽ dùng và phiên bản bạn dự kiến xuất xưởng. Chúng tôi sẽ cùng bạn xây dựng bài kiểm tra trong thực tế: hai mươi lệnh, phiên chạy đầu tiên với một người chưa từng nhìn thấy sản phẩm và lần chạy khi ngắt mạng. Sau đó, chúng tôi sẽ cho bạn biết kết quả thực tế, và bạn có thể viết trang giới thiệu sản phẩm dựa trên các kết quả đó.
Bài đọc liên quan
- Phiếu đo lường giải quyết vấn đề — đo lường tính năng AI
- Quy trình kiểm thử thiết bị mẫu — kiểm thử tính năng AI trước khi đặt hàng
- Những lỗi tuyên bố cần tránh — những lỗi thường gặp
- Điều gì hoạt động khi không có kết nối — sử dụng ngoại tuyến
- Cách kiểm thử trước khi đặt hàng
Hãy cho chúng tôi biết các môi trường khách hàng của bạn sẽ sử dụng, và chúng tôi sẽ cùng bạn xây dựng bài kiểm tra trong thực tế.



