SpaceX đã thuê trung tâm dữ liệu Colossus 1 của mình cho Anthropic không phải vì công ty này dư thừa công suất mà vì họ không thể khiến cơ sở này hoạt động cho các mô hình AI của riêng mình. Bloomberg đưa tin hôm thứ Sáu rằng SpaceX gặp phải vấn đề về độ trễ khi cố gắng kết nối cơ sở Memphis với hai cơ sở trung tâm dữ liệu khác nằm cách đó hơn 10 dặm, cộng thêm cơ sở hạ tầng mạng cũ kỹ.
Công ty đã lên kế hoạch đào tạo các mô hình Grok tiên tiến nhất của mình bằng cách sử dụng cụm ba cơ sở làm việc cùng nhau. Việc đào tạo các mô hình AI lớn đòi hỏi kết nối cực nhanh giữa các trang web. Nếu các liên kết cũ hơn hoặc băng thông thấp hơn, chúng sẽ tạo ra độ trễ làm chậm toàn bộ cụm. SpaceX xác định cơ sở này sẽ tạo ra doanh thu có giá trị hơn là không được sử dụng đúng mức.
Sự không phù hợp về phần cứng khiến mọi việc trở nên tồi tệ hơn. Colossus 1 chứa sự kết hợp của các thế hệ chip Nvidia, bao gồm hệ thống Hopper và Blackwell cùng với các bộ tăng tốc cũ hơn. Colossus 2 và 3 được xây dựng đồng nhất hơn dựa trên chip Blackwell của Nvidia. Trong cụm đào tạo phân tán, khối lượng công việc được trải đều trên các máy cần được đồng bộ hóa. Các chip cũ hơn tạo ra hiện tượng thắt cổ chai bằng cách buộc các bộ tăng tốc nhanh hơn phải chờ. Cụm cuối cùng hoạt động gần với phần cứng chậm nhất chứ không phải nhanh nhất.
💜 của công nghệ EU
Những tin đồn mới nhất từ bối cảnh công nghệ EU, câu chuyện từ người sáng lập thông thái Boris của chúng tôi và một số tác phẩm nghệ thuật AI đáng nghi vấn. Nó miễn phí hàng tuần trong hộp thư đến của bạn. Đăng ký ngay bây giờ!
Kết quả là Anthropic hiện phải trả 1,25 tỷ USD mỗi tháng để sử dụng cơ sở vật chất mà các kỹ sư của SpaceX không thể tận dụng hết. Kết hợp với thỏa thuận trị giá 920 triệu USD hàng tháng với Google, SpaceX đang thu về khoảng 2,17 tỷ USD doanh thu điện toán mỗi tháng từ cơ sở hạ tầng mà công ty này xây dựng ban đầu cho chính mình.
Tiết lộ này làm phức tạp thêm câu chuyện mà SpaceX trình bày trong buổi roadshow IPO của mình. Công ty của Musk nhiều lần nhấn mạnh rằng Colossus 1 được xây dựng chỉ trong 122 ngày, vượt xa mức trung bình của ngành. Tốc độ xây dựng là một điểm bán hàng. Báo cáo của Bloomberg cho thấy tốc độ phải trả giá: cơ sở không được xây dựng đủ đồng bộ để phục vụ như một phần của cụm đào tạo lớn hơn.
Giám đốc tài chính của SpaceX Bret Johnsen cho biết công ty vẫn chưa từ bỏ các dịch vụ AI nội bộ, bao gồm cả Grok. Musk đã mô tả thỏa thuận Anthropic như một hợp đồng thuê 180 ngày với quyền hủy bỏ lẫn nhau trong 90 ngày, bảo toàn quyền lựa chọn lấy lại công suất. “Nếu khả năng tính toán trở nên quá chặt chẽ, tôi đã nói rằng chúng tôi có thể cần lấy lại nó vào một lúc nào đó,” anh ấy nói.
Nhưng quỹ đạo của Grok khiến việc lấy lại máy tính trở nên ít khẩn cấp hơn. Số lượt tải xuống đã giảm từ 20 triệu trong tháng 1 xuống còn 8,3 triệu trong tháng 4. Chuyển đổi trả phí bằng 1/5 so với ChatGPT. Việc áp dụng liên bang đã bị đình trệ. Sản phẩm được cho là biện minh cho khoản đầu tư vào trung tâm dữ liệu đang hoạt động kém hiệu quả, trong khi thu nhập cho thuê từ Anthropic và Google hiện là dòng doanh thu hàng năm trị giá 26 tỷ USD. SpaceX đã xây dựng một trung tâm dữ liệu để đào tạo AI và vô tình trở thành chủ sở hữu AI.
Nguồn The Next Web