Các bệnh viện sử dụng công cụ sao chép được hỗ trợ bởi mô hình OpenAI dễ gây ảo giác

Vài tháng trước, bác sĩ của tôi đã giới thiệu một công cụ phiên âm AI mà ông ấy dùng để ghi lại và tóm tắt các cuộc gặp gỡ bệnh nhân của mình. Trong trường hợp của tôi, bản tóm tắt vẫn ổn, nhưng các nhà nghiên cứu được trích dẫn bởi Tin tức ABC đã nhận thấy điều đó không phải lúc nào cũng đúng với Whisper của OpenAI, công cụ hỗ trợ một công cụ mà nhiều bệnh viện sử dụng – đôi khi nó chỉ tạo ra mọi thứ hoàn toàn.

Whisper được sử dụng bởi một công ty tên là Nabla cho một công cụ ghi chép y tế mà hãng ước tính đã ghi lại 7 triệu cuộc hội thoại y tế, theo Tin tức ABC. Hơn 30.000 bác sĩ lâm sàng và 40 hệ thống y tế sử dụng nó, cửa hàng viết. Nabla được cho là đã biết rằng Whisper có thể gây ảo giác và đang “giải quyết vấn đề”.

Một nhóm các nhà nghiên cứu từ Đại học Cornell, Đại học Washington và những người khác tìm thấy trong một nghiên cứu rằng Whisper đã gây ảo giác trong khoảng 1% bản ghi âm, tạo nên toàn bộ câu với những tình cảm đôi khi mang tính bạo lực hoặc những cụm từ vô nghĩa trong thời gian im lặng trong bản ghi âm. Các nhà nghiên cứu, những người đã thu thập các mẫu âm thanh từ AphasiaBank của TalkBank như một phần của nghiên cứu, lưu ý rằng sự im lặng đặc biệt phổ biến khi một người mắc chứng rối loạn ngôn ngữ gọi là chứng mất ngôn ngữ đang nói.

Một trong những nhà nghiên cứu, Allison Koenecke của Đại học Cornel, đã đăng những ví dụ như ví dụ dưới đây trong một chủ đề về nghiên cứu.

Các nhà nghiên cứu phát hiện ra rằng ảo giác cũng bao gồm các điều kiện hoặc cụm từ y tế được phát minh mà bạn có thể mong đợi từ một video trên YouTube, chẳng hạn như “Cảm ơn bạn đã xem!” (OpenAI được cho là đã từng ghi lại hơn một triệu giờ video trên YouTube để đào tạo GPT-4.)

Nghiên cứu đã trình bày vào tháng sáu tại hội nghị FAccT của Hiệp hội Máy tính ở Brazil. Không rõ liệu nó đã được bình duyệt hay chưa.

Có liên quan

• Chúng ta phải ngừng bỏ qua vấn đề ảo giác của AI
• Meta đổ lỗi cho ảo giác sau khi AI của nó cho biết vụ nổ súng trong cuộc vận động tranh cử của Trump đã không xảy ra
• Tại sao Google lại bảo chúng ta bôi keo lên pizza?

Người phát ngôn của OpenAI Taya Christianson đã gửi email tuyên bố tới The Verge:

Chúng tôi rất coi trọng vấn đề này và đang liên tục nỗ lực cải thiện, bao gồm cả việc giảm ảo giác. Đối với việc sử dụng Whisper trên nền tảng API của chúng tôi, các chính sách sử dụng của chúng tôi cấm sử dụng trong một số bối cảnh đưa ra quyết định có tính rủi ro cao nhất định và thẻ mô hình của chúng tôi cho việc sử dụng nguồn mở bao gồm các đề xuất chống lại việc sử dụng trong các miền có rủi ro cao. Chúng tôi cảm ơn các nhà nghiên cứu đã chia sẻ những phát hiện của họ.

Nguồn The Verge