Roblox và Discord đã phải đối mặt với những lời chỉ trích vì không bảo vệ trẻ em trên nền tảng của chúng.
Google, Openai, Roblox và Discord đã thành lập một tổ chức phi lợi nhuận mới để giúp cải thiện an toàn trẻ em trực tuyến. Các Công cụ an toàn trực tuyến mở mạnh mẽ (Roost) Sáng kiến nhằm mục đích làm cho các công nghệ an toàn cốt lõi dễ tiếp cận hơn đối với các công ty và cung cấp các công cụ AI miễn phí, nguồn mở để xác định, xem xét và báo cáo tài liệu lạm dụng tình dục trẻ em.
Sáng kiến này được thúc đẩy một phần bởi những thay đổi mà các tiến bộ của AI tổng quát đã thực hiện đối với môi trường trực tuyến và nhằm mục đích giải quyết một nhu cầu quan trọng để tăng tốc đổi mới trong an toàn trẻ em trực tuyến, theo đối tác của Founding Roost và cựu Giám đốc điều hành của Google Eric Schmidt. Thông tin chi tiết về các công cụ phát hiện CSAM là mỏng vượt xa việc chúng sẽ sử dụng các mô hình AI ngôn ngữ lớn và các tùy chọn hiện có của Thống nhất để xử lý nội dung.
Bắt đầu với một nền tảng tập trung vào bảo vệ trẻ em, cách tiếp cận cộng tác, nguồn mở của Roost sẽ thúc đẩy sự đổi mới và làm cho cơ sở hạ tầng thiết yếu minh bạch, dễ tiếp cận và bao gồm hơn, với mục tiêu tạo ra một Internet an toàn hơn cho mọi người, ông Schmidt nói.
Các ROOST Thông báo xuất hiện trong bối cảnh một trận chiến quy định khổng lồ liên quan đến an toàn cho trẻ em trên phương tiện truyền thông xã hội và nền tảng trực tuyến, với các công ty đang tìm cách xoa dịu các nhà lập pháp bằng các phương pháp tự điều chỉnh.
Các Trung tâm quốc gia về trẻ em mất tích và bị bóc lột . Nền tảng của nó. Roblox và Discord cũng đã bị chỉ trích trong một vụ kiện truyền thông xã hội được đệ trình vào năm 2022, cho rằng các nền tảng đã không ngăn được người lớn nhắn tin cho trẻ em mà không có sự giám sát.
Một số thành viên sáng lập của Roost Like Discord đang cung cấp tài trợ, trong khi những người khác đang mở các công cụ hoặc chuyên môn của họ cho dự án. Roost cho biết họ hợp tác với các nhà phát triển mô hình AI Foundation hàng đầu để xây dựng một cộng đồng thực hành của người Hồi giáo về các biện pháp bảo vệ nội dung, bao gồm cung cấp các bộ dữ liệu đào tạo AI được kiểm tra và xác định các khoảng trống về an toàn.
Sáng kiến cho biết họ sẽ tạo ra các công cụ của người Viking đã tồn tại dễ dàng hơn, kết hợp hiệu quả các công nghệ phát hiện và báo cáo khác nhau từ các tổ chức thành viên của mình thành một giải pháp thống nhất dễ dàng hơn cho các công ty khác thực hiện. Naren Koneru, phó chủ tịch kỹ thuật, tin cậy và an toàn của ROBLOX, nói Công ty nhanh Roost có thể lưu trữ các hệ thống kiểm duyệt AI mà các công ty có thể tích hợp thông qua các cuộc gọi API. Tuy nhiên, có một số sự mơ hồ về những gì các công cụ kiểm duyệt AI của Roost sẽ bao gồm, tuy nhiên.
Ví dụ, Discord cho biết những đóng góp của nó sẽ được xây dựng trên dự án chia sẻ thông tin đa nền tảng của đèn lồng mà nó đã tham gia vào năm 2023 cùng với Meta và Google. Nó cũng có thể bao gồm Một phiên bản cập nhật của mô hình AI của Roblox Để phát hiện sự thô tục, phân biệt chủng tộc, bắt nạt, sexting và nội dung không phù hợp khác trong các clip âm thanh, mà công ty đang có kế hoạch để nguồn mở trong năm nay. Không rõ chính xác làm thế nào các công cụ sẽ giao nhau với các hệ thống phát hiện CSAM đầu tay hiện có như Công cụ phân tích hình ảnh photodna của Microsoft.
Cùng với sự tham gia của nó vào con gà trốngDiscord đã phát hành một tính năng mới bỏ qua trên mạng cho phép người dùng ẩn tin nhắn và thông báo mà họ nhận được mà không cần thông báo cho những người họ đã tắt tiếng. Tại AT Discord, chúng tôi tin rằng sự an toàn là một lợi ích phổ biến, Giám đốc pháp lý của Disc Disc, Clint Smith nói trong thông báo của Roost. Chúng tôi cam kết làm cho toàn bộ internet – không chỉ là sự bất hòa – một nơi tốt hơn và an toàn hơn, đặc biệt là đối với những người trẻ tuổi.
Roost đã huy động được hơn 27 triệu đô la để hỗ trợ bốn năm hoạt động đầu tiên của mình, được hỗ trợ bởi các tổ chức từ thiện bao gồm Quỹ McGocate, Tương lai của Quỹ An toàn và Tương tác Trực tuyến, Quỹ Knight và Hợp tác AI. Tổ chức Roost cũng sẽ được hỗ trợ bởi các chuyên gia về an toàn trẻ em, trí tuệ nhân tạo, công nghệ nguồn mở và chống lại chủ nghĩa cực đoan bạo lực, theo thông cáo báo chí.
Nguồn The Verge