Chi phí bộ nhớ AI của Nvidia tăng vọt, hệ thống mới chạm mốc 7,8 triệu USD

Nhu cầu bùng nổ từ thị trường AI đang đẩy chi phí phần cứng lên mức chưa từng có, đặc biệt là bộ nhớ. Theo báo cáo từ Morgan Stanley Research, một rack VR200 NVL72 thế hệ mới dựa trên kiến trúc Vera Rubin của NVIDIA sẽ có giá khoảng 7,8 triệu USD khi bán cho các hyperscaler, cao gần gấp đôi so với mức khoảng 4 triệu USD của hệ thống GB300 NVL72 hiện tại.

Đáng chú ý, bộ nhớ hiện chiếm tới 25% tổng chi phí cấu thành hệ thống, phản ánh vai trò ngày càng chiến lược của memory trong hạ tầng AI thế hệ mới.

Rubin GPU giá 55.000 USD, Vera CPU 5.000 USD

Theo Morgan Stanley, Nvidia dự kiến định giá khoảng 55.000 USD cho mỗi GPU Rubin và 5.000 USD cho mỗi CPU Vera khi bán số lượng lớn trong các chassis VR200 NVL72.

Dù vẫn sử dụng khung máy Oberon quen thuộc, VR200 NVL72 được nâng cấp mạnh về switch, mạng kết nối, bo mạch chủ, hệ thống làm mát, nguồn điện và cả công nghệ đóng gói chip tiên tiến. Những thay đổi này làm chi phí BOM tăng đáng kể, kéo tổng giá hệ thống lên khoảng 7,8 triệu USD mỗi rack. Con số này thậm chí còn cao hơn mức khoảng 7 triệu USD mà một số nguồn trong ngành từng dự đoán hồi cuối tháng 3.

Chi phí bộ nhớ tăng tới 435%

Riêng phần bộ nhớ trong mỗi rack VR200 NVL72 được ước tính trị giá khoảng 2 triệu USD, tăng 435% so với hệ thống GB300 NVL72. Có hai nguyên nhân chính dẫn đến mức tăng đột biến này.

Thứ nhất, dung lượng LPDDR5X tăng mạnh.

Mỗi rack VR200 NVL72 sẽ tích hợp tới 54TB LPDDR5X, cao gấp hơn ba lần so với mức 17TB trên GB200 NVL72. Theo SemiAnalysis, Nvidia từng chi khoảng 8 USD mỗi GB LPDDR5X trong quý I. Nếu giữ nguyên mức giá này, riêng bộ nhớ LPDDR5X trong một rack VR200 NVL72 đã có giá khoảng 408.000 USD.

Trong trường hợp giá tăng lên 10 USD mỗi GB, chi phí sẽ vượt 540.000 USD, chưa bao gồm biên lợi nhuận Nvidia cộng thêm. Thực tế, mức này có thể vẫn còn thấp. Theo dữ liệu từ Framework, giá hợp đồng DDR5 hiện dao động từ 12 đến 16 USD mỗi GB, trong khi giá giao ngay theo DRAMeXchange đã ở quanh mức 20 USD mỗi GB. LPDDR5X vốn đắt hơn DDR5, và khi được tích hợp trên module SOCAMM2 độc quyền của CPU Vera, chi phí còn cao hơn nữa.

Thứ hai, VR200 NVL72 bổ sung khối lượng lớn NAND 3D.

Mỗi rack được cho là chứa khoảng 1 triệu USD hoặc hơn giá trị NAND 3D, trong khi hệ thống GB200 NVL72 gần như không có khoản chi phí này.

Memory trở thành tài sản chiến lược của AI

Việc một rack Vera Rubin NVL72 chứa tới 2 triệu USD giá trị bộ nhớ không còn là điều bất ngờ. Ngoài lượng lớn LPDDR5X và NAND 3D, hệ thống còn tích hợp HBM4 trực tiếp trên GPU Rubin, tạo nên cấu trúc bộ nhớ cực kỳ phức tạp và đắt đỏ. Điều này phản ánh một xu hướng rõ ràng của ngành AI: cuộc đua không còn chỉ xoay quanh năng lực xử lý GPU, mà ngày càng phụ thuộc vào khả năng cung ứng bộ nhớ hiệu năng cao.

Trong bối cảnh nhu cầu AI tiếp tục tăng mạnh, bộ nhớ đang dần trở thành nút thắt chiến lược quyết định tốc độ mở rộng của toàn bộ hạ tầng AI toàn cầu.