Google đối mặt với “bức tường bộ nhớ” AI: Từ TPU, TurboQuant đến tái sử dụng DDR4

Khi các mô hình AI ngày càng lớn và phức tạp, giới hạn của hạ tầng AI đang dần chuyển từ năng lực tính toán sang bộ nhớ. Tại SEMICON Taiwan 2026, Google cho biết bộ nhớ hiệu năng cao hiện đã chiếm hơn 75% chi phí BOM phần cứng của một máy chủ AI, phản ánh mức độ phụ thuộc ngày càng lớn của AI vào dung lượng, băng thông và khả năng truy xuất bộ nhớ.

Nikhil Cherian, Senior Director of Supply Chain Infrastructure tại Google Cloud thuộc Alphabet, cho biết sự phát triển của các kiến trúc multimodal và Mixture-of-Experts (MoE) đang khiến AI chuyển từ trạng thái compute-bound sang memory-bound.

Nói cách khác, vấn đề không còn đơn thuần là trang bị thêm GPU, TPU hay các bộ xử lý mạnh hơn. Hệ thống còn phải cung cấp đủ bộ nhớ với băng thông đủ lớn, độ trễ thấp và mức tiêu thụ điện năng hợp lý để giữ cho các accelerator hoạt động hiệu quả.

“Memory wall” trở thành nút thắt mới của AI

Sự phát triển nhanh chóng của Large Language Models (LLM) và các workflow dựa trên AI agent đang gây áp lực ngày càng lớn lên toàn bộ hệ thống phân cấp bộ nhớ.

Các giới hạn không chỉ nằm ở dung lượng, mà còn bao gồm băng thông, độ trễ và điện năng. Đặc biệt, KV Cache – nơi lưu trữ các trạng thái key-value trong quá trình inference – có thể trở thành một thành phần tiêu tốn bộ nhớ đáng kể khi mô hình xử lý các ngữ cảnh dài hoặc nhiều yêu cầu đồng thời.

Điều này đang khiến bộ nhớ trở thành một trong những thành phần quan trọng nhất của hạ tầng AI, đồng thời làm gia tăng áp lực lên nguồn cung HBM, DRAM và NAND Flash.

Google đang tiếp cận vấn đề này theo hai hướng song song: đổi mới phần cứng và tối ưu phần mềm.

TPU 8i và TPU 8t: Hai hướng tiếp cận cho hai bài toán AI

Ở cấp độ phần cứng, Google đang phát triển các biến thể TPU phục vụ những workload khác nhau. TPU 8i được tối ưu cho inference với yêu cầu độ trễ thấp. Mỗi chip được trang bị 288 GB HBM, cung cấp băng thông bộ nhớ lên tới 8,6 TB/s. Chip cũng tích hợp 384 MiB SRAM trên chip, tăng gấp ba so với thế hệ trước được đề cập trong báo cáo.

Việc đưa thêm SRAM trực tiếp lên chip cho phép các trạng thái hội thoại động và KV Cache được lưu gần với compute hơn, giảm nhu cầu truy xuất bộ nhớ bên ngoài và qua đó hạn chế độ trễ.

Trong khi đó, TPU 8t tập trung vào training ở quy mô cực lớn. Google có thể kết nối tới 9.600 chip thành một cụm điện toán với pool HBM dùng chung lên tới 2 PB.

Cấu trúc này nhằm giảm các nút thắt liên quan đến việc di chuyển dữ liệu giữa compute và memory. TPU 8t cũng tích hợp TPU Direct Storage nhằm duy trì mức sử dụng accelerator cao hơn. Như vậy, thay vì chỉ tăng sức mạnh tính toán, Google đang đồng thời thiết kế lại cách compute, memory và storage phối hợp với nhau.

TurboQuant: Giảm áp lực bộ nhớ từ phía phần mềm

Google cũng đang tìm cách giải quyết “memory wall” mà không nhất thiết phải bổ sung thêm phần cứng.

Một trong những hướng tiếp cận đáng chú ý là TurboQuant, thuật toán lượng tử hóa không cần training lại được Google phát triển để nén KV Cache của các mô hình lớn.

Theo thông tin được báo cáo, TurboQuant có thể giảm biểu diễn KV Cache từ 32 bit xuống 3 bit, giúp giảm khoảng 6 lần lượng bộ nhớ sử dụng mà không làm giảm độ chính xác, đồng thời có thể tăng tốc tính toán attention lên tới 8 lần.

Điểm quan trọng là TurboQuant chủ yếu tác động tới KV Cache trong quá trình inference. Vì vậy, công nghệ này không đồng nghĩa với việc nhu cầu HBM dành cho training hoặc lưu trữ trọng số mô hình sẽ biến mất.

Thay vào đó, nó cho phép Google giảm lượng bộ nhớ cần thiết cho một workload inference nhất định, từ đó giảm chi phí tính toán và có khả năng mở rộng AI tới nhiều trường hợp sử dụng hơn.

Khi bộ nhớ khan hiếm, Google bắt đầu tái sử dụng DDR4

Đáng chú ý hơn, chiến lược giải quyết bài toán bộ nhớ của Google không chỉ nằm ở những công nghệ mới như HBM hay TurboQuant.

Theo chia sẻ của Cherian, tình trạng thiếu hụt bộ nhớ nghiêm trọng đã khiến Google triển khai cả một giải pháp khá khác thường: thu hồi bộ nhớ từ các server đã ngừng sử dụng.

Google được cho là đang tháo các module DDR4 còn có thể sử dụng từ những máy chủ cũ, đồng thời phát triển các adapter phần cứng chuyên dụng để kết nối các module bộ nhớ thế hệ trước này với những hệ thống AI mới.

Cherian thậm chí cho biết Google đang đưa một số server đã nghỉ hưu trở lại hệ thống chỉ để tháo lấy các module DDR4.

Điều này cho thấy mức độ căng thẳng của thị trường bộ nhớ hiện nay. Khi các hệ thống AI mới vốn được thiết kế để sử dụng DDR5, việc quay trở lại khai thác DDR4 từ server cũ cho thấy bài toán không đơn thuần là tìm kiếm bộ nhớ có hiệu năng cao hơn, mà còn là tối đa hóa mọi nguồn cung bộ nhớ có thể sử dụng.

Ở cấp độ hạ tầng, đây có thể được xem như một dạng chuỗi cung ứng tái chế bộ nhớ nội bộ, giúp Google tận dụng tài nguyên phần cứng hiện có thay vì hoàn toàn phụ thuộc vào nguồn cung mới.

Áp lực bộ nhớ đang lan rộng trên toàn bộ hạ tầng AI

Những động thái của Google diễn ra trong bối cảnh chi phí bộ nhớ đang chiếm tỷ trọng ngày càng lớn trong đầu tư hạ tầng AI.

Theo TrendForce, DRAM và NAND Flash cộng lại được dự báo chiếm 47% tổng CapEx của các CSP trong năm 2026, và tỷ lệ này có thể tăng lên 68% vào năm 2027 do giá hợp đồng bộ nhớ tăng và nhu cầu bit tiếp tục mở rộng.

TrendForce cũng dự báo giá hợp đồng DRAM máy chủ có thể tăng khoảng 270% trong năm 2026, trong khi giá SSD doanh nghiệp có thể tăng khoảng 235%.

Những con số này giúp giải thích tại sao các hyperscaler như Google đang phải đồng thời triển khai nhiều giải pháp: từ thiết kế TPU với dung lượng HBM và SRAM lớn hơn, tối ưu KV Cache bằng phần mềm, cho tới tận dụng lại DDR4 từ các server cũ.

Từ “compute race” sang “memory race”

Sự thay đổi này cho thấy cuộc đua AI đang bước sang một giai đoạn mới. Nếu giai đoạn đầu của AI infrastructure tập trung vào việc tăng số lượng và sức mạnh của accelerator, thì bài toán hiện nay ngày càng xoay quanh việc làm thế nào để cung cấp đủ dữ liệu cho các accelerator đó với băng thông cao, độ trễ thấp và chi phí hợp lý.

Google đang giải quyết bài toán này từ nhiều tầng khác nhau:

HBM: tăng dung lượng và băng thông bộ nhớ cho accelerator.

SRAM: đưa dữ liệu quan trọng như KV Cache gần compute hơn.

TPU architecture: tối ưu hệ thống cho inference và training ở các quy mô khác nhau.

Software: nén KV Cache để giảm nhu cầu bộ nhớ.

Server recycling: tận dụng lại DDR4 từ phần cứng cũ để bổ sung nguồn cung.

Điểm đáng chú ý là các giải pháp này không loại trừ lẫn nhau. Ngược lại, chúng cho thấy memory wall đang trở thành một bài toán hệ thống, đòi hỏi các hyperscaler phải tối ưu từ chip, bộ nhớ, phần mềm cho tới chuỗi cung ứng. Trong bối cảnh AI tiếp tục mở rộng, lợi thế cạnh tranh vì thế không chỉ nằm ở việc ai sở hữu accelerator mạnh nhất, mà còn ở việc ai có thể cung cấp và sử dụng bộ nhớ hiệu quả nhất ở quy mô hàng nghìn, thậm chí hàng chục nghìn hệ thống AI.

Nguồn: Commercial Times; Economic Daily News; TrendForce; Google Cloud.