Lãnh đạo bảo mật của Amazon đang phản đối một trong những nguyên tắc được chấp nhận rộng rãi nhất trong quản trị AI. Eric Brandwine, Phó chủ tịch và kỹ sư nổi tiếng tại Amazon Security, nói với The Register rằng việc giám sát con người trong vòng lặp không phải là tiêu chuẩn vàng mà các công ty vẫn nghĩ.
“Con người không nhất quán lắm,” Brandwine nói.”Con người trong vòng lặp không nhất thiết phải là tiêu chuẩn vàng.”
Lý do của anh ấy dựa trên một khái niệm mà anh ấy đã nói đến ít nhất là từ năm 2017, khi anh ấy thuyết trình về việc bình thường hóa sự sai lệch tại AWS re:Invent. Thuật ngữ này mô tả điều gì sẽ xảy ra khi mọi người trong một tổ chức đi theo đường tắt theo thời gian và không dẫn đến hậu quả thảm khốc nào, vì vậy hành vi lệch lạc trở thành điều bình thường mới.
💜 của công nghệ EU
Những tin đồn mới nhất từ bối cảnh công nghệ EU, câu chuyện từ người sáng lập thông thái Boris của chúng tôi và một số tác phẩm nghệ thuật AI đáng nghi vấn. Nó miễn phí hàng tuần trong hộp thư đến của bạn. Đăng ký ngay bây giờ!
Brandwine đã minh họa quan điểm này bằng các phòng cấp cứu. Vào ngày đầu tiên làm y tá, mọi cảnh báo đều sẽ dẫn đến phản hồi.
Sau nhiều tuần báo động sai mà không gây ra hậu quả gì, kỷ luật bị xói mòn. Cuối cùng, một trường hợp khẩn cấp thực sự đã bị bỏ lỡ.
“Theo nghĩa đen, mạng sống của ai đó đang gặp nguy hiểm và mọi người vẫn phải đấu tranh để duy trì kỷ luật,” Brandwine nói.”Đó là tình trạng của con người.”
Anh ấy đã áp dụng logic tương tự để giám sát tác nhân AI. Khi con người được yêu cầu phê duyệt hoặc từ chối các hành động tác nhân nhiều lần, hiệu suất sẽ giảm nhanh chóng.
“Họ sẽ làm tốt công việc,” Brandwine nói.”Và sau đó họ sẽ làm tốt công việc, và nhanh chóng họ sẽ làm một công việc tồi tệ.”
Amazon không đơn độc trong việc xem xét lại điều này. COO của Google Cloud Francis deSouza cho biết vào tháng 4 rằng ngành này đã chuyển “từ chiến lược phòng thủ do con người chỉ đạo, đến chiến lược phòng thủ do con người điều khiển, đến chiến lược phòng thủ do AI chỉ đạo được con người giám sát.”
Mô hình của Google hiện là một nhóm đại lý xử lý công việc an ninh mạng thường xuyên ở tốc độ máy, trong đó con người cung cấp quyền giám sát thay vì phê duyệt mọi hành động.
Giám đốc điều hành Microsoft Satya Nadella đã lập luận trong tuần này về “học vòng lặp,” nơi các công ty biến quy trình công việc của họ và tích lũy khả năng phán đoán thành các hệ thống AI cải thiện theo từng lần sử dụng, thay vì chèn điểm kiểm tra của con người ở mỗi bước. IBM đã công bố một lời kêu gọi riêng về trách nhiệm giải trình của con người ở tất cả các giai đoạn phát triển AI, không phải con người trong vòng lặp, cảnh báo rằng điều sau tương đương với “rửa tiền trách nhiệm.”
Giải pháp thay thế của Amazon là cái mà Brandwine gọi là “trách nhiệm từ đầu đến cuối.” Danh tính con người và quyền sở hữu được theo dõi trong toàn bộ quy trình làm việc, ngay cả khi con người không trực tiếp phê duyệt từng bước. Nếu một tác nhân viết và chạy tập lệnh gây ra tình trạng ngừng hoạt động, người triển khai tác nhân đó vẫn phải chịu trách nhiệm.
Tất cả các đại lý tại Amazon đều có danh tính độc lập được gán cho họ. Nhật ký hoạt động hiển thị “người đại diện này đã làm việc này thay mặt cho Eric,” không “Eric đã làm điều này.” Sự khác biệt được thiết kế để khiến mọi người suy nghĩ về cách họ triển khai AI chứ không phải khiến họ sợ sử dụng nó.
Những thách thức thực tế là đáng kể. Brandwine đã mô tả điều mà ông gọi là “hành vi tìm kiếm mục tiêu,” trong đó tác nhân được yêu cầu nâng cấp cơ sở dữ liệu sẽ được cố định trên một đường dẫn phá hoại duy nhất, chẳng hạn như xóa cơ sở dữ liệu và tạo lại nó.
Đây không phải là tiêm kịp thời. Không có đầu vào độc hại. Người đại diện chỉ đơn giản là bị mắc kẹt khi thực hiện hành động sai.
Việc thông báo cho tác nhân rằng họ không có quyền xóa cơ sở dữ liệu cũng không giúp ích được gì vì tác nhân sẽ tìm kiếm một đường dẫn khác đến cùng một mục tiêu. Nghiên cứu gần đây đã chỉ ra rằng các tác nhân AI được kết nối với hệ thống thực tạo ra các bề mặt tấn công mà các công cụ bảo mật hiện có không thể xử lý được và các tác nhân thường hành động theo hướng dẫn mà họ nên từ chối.
Theo Brandwine, điều hiệu quả là cho đại lý biết lý do tại sao họ không thể thực hiện một hành động, giải thích rằng hành động đó sẽ gây ra tác động đến quá trình sản xuất và bao gồm cả “không gây ảnh hưởng đến sản xuất” như một phần của lời nhắc.”Việc cung cấp thêm phản hồi đã mang lại cho chúng tôi kết quả tốt hơn đáng kể,anh ấy nói.
Câu hỏi về quyền là nơi căng thẳng xảy ra. Nhân viên muốn các đại lý mạnh mẽ với quyền truy cập rộng rãi. Nhóm bảo mật muốn có quyền hạn hẹp.
Cuộc đua để quản lý những gì các tác nhân AI có thể truy cập bên trong hệ thống doanh nghiệp đã kích hoạt các thương vụ mua lại lớn, với việc 1Password mua công ty khởi nghiệp quản trị quyền truy cập Apono với giá ước tính từ 250 triệu đến 300 triệu USD vào đầu tháng này.
Cách tiếp cận của Amazon sử dụng các chính sách phân lớp: các rào chắn tĩnh cấm các hành động phá hoại, bộ đặc quyền tối đa cho mỗi tác nhân và các chính sách có phạm vi động được tạo dựa trên nhiệm vụ cụ thể và mục đích của người dùng. Không ai trong số đó là hoàn hảo.
“Chúng ta có hàng ngàn năm kinh nghiệm với con người,” Brandwine nói.”Agentic AI là một lĩnh vực rất mới.Ông lưu ý, sự khác biệt cơ bản là con người sợ hậu quả, như mất việc hoặc vào tù.
Các đặc vụ không có những nỗi sợ hãi này và những kẻ tấn công đã khai thác lỗ hổng đó.
“Tất cả đều được thúc đẩy bởi rủi ro,” Brandwine nói.”Chúng tôi đang cố gắng cân bằng rủi ro khi sử dụng phần mềm chưa được thử nghiệm, chưa được kiểm tra với nguy cơ bị tụt hậu và không thể cung cấp cho khách hàng của mình.“
Nguồn The Next Web