Đây là một suy nghĩ không thoải mái đối với mọi tổ chức học thuật hiện đang sử dụng máy dò AI để kiểm soát bài nộp của sinh viên và nhà nghiên cứu: các công cụ này không hoạt động đáng tin cậy như các tổ chức giả định.
Một tờ giấy trình bày tại Hội nghị chuyên đề IEEE 2026 về Bảo mật và Quyền riêng tư tuần này của các nhà nghiên cứu tại Đại học Florida đã kết luận rằng các trình phát hiện văn bản do AI tạo ra trên thị trường “không phù hợp để triển khai trong bối cảnh học thuật hoặc bối cảnh có tính rủi ro cao”.
Video được đề xuất
Đó là một cách lịch sự để nói rằng các trường đại học đang đưa ra những quyết định thay đổi nghề nghiệp dựa trên kết quả từ những công cụ về cơ bản là không đáng tin cậy.
Nghiên cứu thực sự đã tìm thấy gì?
Patrick Traynor, Tiến sĩ, giáo sư và chủ tịch lâm thời của Khoa Khoa học & Kỹ thuật Thông tin & Máy tính của UF, đã dẫn đầu một nhóm thử nghiệm năm máy dò văn bản AI phổ biến nhất hiện có trên thị trường.
Sử dụng khoảng 6.000 tài liệu nghiên cứu được gửi tới các hội nghị bảo mật hàng đầu trước khi ChatGPT xuất hiện, họ đã yêu cầu LLM tạo bản sao của cùng một tài liệu đó và sau đó chạy cả hai bộ thông qua máy dò AI.
Kết quả cho thấy tỷ lệ dương tính giả nằm trong khoảng từ 0,05% đến 68,6%, và đáng ngạc nhiên hơn nữa là tỷ lệ âm tính giả nằm trong khoảng từ 0,3% đến 99,6%. Con số trên gần bằng 100%, có nghĩa là trình phát hiện hoạt động kém nhất đã bỏ sót hầu như tất cả văn bản do AI tạo ra.
Mặc dù hai trong số năm máy dò ban đầu hoạt động tốt nhưng chúng hầu như trở nên vô dụng sau khi các nhà nghiên cứu yêu cầu LLM viết lại kết quả đầu ra của nó bằng cách sử dụng từ vựng phức tạp hơn (bài báo gọi đây là một cuộc tấn công phức tạp từ vựng).
Claude
Tại sao điều này lại quan trọng hơn tính trung thực trong học tập?
Traynor nói rõ ràng: “Chúng tôi thực sự không thể sử dụng chúng để phân xử những quyết định này. Sự nghiệp của mọi người đang bị đe dọa ở đây.” Lời cáo buộc về văn bản do AI tạo ra trong bài gửi có thể gây tổn hại vĩnh viễn đến danh tiếng của nhà nghiên cứu, nhưng chúng ta không thể đặt niềm tin mù quáng vào các công cụ đưa ra lời cáo buộc đó.
Lập luận cho rằng bằng chứng về việc sử dụng rộng rãi AI trong văn bản học thuật là không đáng tin cậy. Traynor nói thêm: “Đối với nhiều nghiên cứu mà chúng tôi thấy khẳng định rằng một tỷ lệ nhất định công việc học tập là do AI tạo ra, chúng tôi thực sự không có công cụ nào để đo lường bất kỳ điều nào trong số đó”.
Nghiên cứu của ông không chỉ phê bình các công cụ; nó phơi bày sự thiếu thẩm định mang tính hệ thống của mọi tổ chức áp dụng những công cụ này mà không yêu cầu bằng chứng liệu chúng có chính xác hay không.
Nguồn DigitalTrend