NVIDIA A100 Tensor Core

GPU tăng tốc chưa từng có ở mọi quy mô

Nền tảng tính toán mạnh mẽ nhất cho mọi khối lượng công việc

GPU NVIDIA A100 Tensor Core mang laị tốc độ chưa từng có, ở mọi quy mô, cung cấp sức mạnh cho các trung tâm dữ liệu linh hoạt có hiệu suất cao nhất thế giới cho các ứng dụng AI, phân tích dữ liệu và điện toán hiệu năng cao (HPC). Là động cơ của nền tảng trung tâm dữ liệu NVIDIA, A100 cung cấp hiệu suất cao hơn lên đến 20 lần so với thế hệ NVIDIA Volta™ trước đó. A100 có thể được mở rộng hoặc phân vùng thành bảy GPU riêng biệt với GPU có chức năng MIG, cung cấp một nền tảng thống nhất cho phép các trung tâm dữ liệu linh hoạt điều chỉnh để đáp ứng nhu cầu thay đổi khối lượng công việc.

Công nghệ NVIDIA A100 Tensor Core hỗ trợ một loạt các độ chính xác toán học, cung cấp một bộ tăng tốc duy nhất cho mỗi khối lượng công việc. A100 80GB thế hệ mới nhất tăng gấp đôi bộ nhớ GPU và ra mắt băng thông bộ nhớ nhanh nhất thế giới với tốc độ 2 terabytes mỗi giây (TB/s), tăng tốc thời gian để giải quyết cho các mô hình lớn nhất và bộ dữ liệu lớn nhất.

A100 là một phần của giải pháp trung tâm dữ liệu NVIDIA hoàn chỉnh kết hợp các khối xây dựng trên phần cứng, mạng, phần mềm, thư viện, các mô hình, và ứng dụng AI được tối ưu hóa từ danh mục NVIDIA NGC™. Nó đại diện cho nền tảng AI và HPC end-to-end cho các trung tâm dữ liệu, nó cho phép các nhà nghiên cứu cung cấp kết quả thực tế và triển khai các giải pháp vào sản xuất trên quy mô lớn.

Ứng dụng

HPC & AI

HPC và AI đi đôi với nhau. HPC có cơ sở hạ tầng tính toán, lưu trữ và mạng lưới tạo nền tảng cho việc đào tạo AI với các mô hình chính xác và đáng tin cậy. Ngoài ra, có rất nhiều lựa chọn chính xác cho khối lượng công việc HPC hoặc AI.

Kỹ thuật & Khoa học

Dữ liệu lớn và mô phỏng tính toán là nhu cầu chung của các kỹ sư và nhà khoa học. Xử lý song song cao, độ trễ mạng thấp và tốc độ băng thông cao giúp tạo môi trường ảo hoá máy chủ.

Cloud

HPC đặt tại chỗ tiếp tục phát triển, nhưng cloud HPC đang phát triển với tốc độ nhanh hơn. Bằng cách chuyển sang đám mây, các công ty có thể nhanh chóng và dễ dàng sử dụng các nguồn lực tính toán theo yêu cầu. Điện toán đám mây có thể sử dụng công nghệ mới nhất và tuyệt vời nhất.

NVIDIA A100 - Công nghệ khéo léo

GPU NVIDIA A100 được thiết kế để cung cấp sức mạnh máy tính AI và HPC nhiều nhất có thể với kiến trúc và tối ưu hóa mới của NVIDIA Ampere. Được xây dựng trên TSMC 7nm N7 FinFET, A100 đã cải thiện mật độ, hiệu suất và hiệu quả năng lượng so với công nghệ 12nm trước đó. Với khả năng Multi-Instance GPU (MIG) mới trong GPU Ampere, A100 có thể tạo ra môi trường GPU ảo hóa tốt nhất có thể cho các nhà cung cấp dịch vụ đám mây.

Kiến trúc NVIDIA Ampere:

Cho dù sử dụng MIG để phân vùng GPU A100 thành các phiên bản nhỏ hơn hoặc NVLink để kết nối nhiều GPU để tăng tốc tải trọng công việc quy mô lớn, A100 có thể dễ dàng xử lý các nhu cầu tăng tốc kích thước khác nhau, từ công việc nhỏ nhất đến khối lượng công việc đa node lớn nhất. Tính linh hoạt của A100 có nghĩa là các nhà quản lý CNTT có thể tận dụng tối đa mọi GPU trong trung tâm dữ liệu của họ, suốt ngày đêm.

Lõi Tensor thế hệ thứ ba:

NVIDIA A100 cung cấp suy luận học sâu là 312 teraFLOPS. Đó là gấp 20 lần các hoạt động điểm floating-point của Tensor mỗi giây (FLOPS) cho đào tạo suy luận học sâu và gấp 20 lần các hoạt động Tensor tera cho suy luận học sâu (TOPS) so với GPU NVIDIA Volta.

NVLink thế hệ tiếp theo:

NVIDIA NVLink trong A100 cung cấp thông lượng cao gấp 2 lần so với thế hệ trước. Khi kết hợp với NVIDIA NVSwitch™, tối đa 16 GPU A100 có thể được kết nối với tốc độ lên đến 600 gigabyte mỗi giây (GB/s), giải phóng hiệu suất ứng dụng cao nhất có thể trên một máy chủ duy nhất. NVLink có sẵn trong GPU A100 SXM thông qua bo mạch máy chủ HGX A100 và GPU PCIe qua cầu NVLink cho tối đa 2 GPU.

Multi-Instance GPU (MIG):

Một GPU A100 có thể được phân chia thành tối đa thành bảy GPU, được cô lập hoàn toàn ở cấp phần cứng với bộ nhớ băng thông cao, bộ nhớ cache và lõi tính toán riêng. MIG cung cấp cho các nhà phát triển quyền truy cập vào khả năng tốc độ đột phá cho tất cả các ứng dụng của họ và các quản trị viên CNTT có thể cung cấp GPU đúng yêu cầu cho mọi công việc, tối ưu hóa việc sử dụng và mở rộng truy cập cho mọi người dùng và ứng dụng.

Bộ nhớ băng thông cao (HBM2E):

Với tối đa 80 gigabyte HBM2e, A100 cung cấp băng thông bộ nhớ GPU nhanh nhất thế giới trên 2TB/s, cũng như hiệu quả sử dụng bộ nhớ truy cập ngẫu nhiên (DRAM) 95%. A100 cung cấp băng thông bộ nhớ cao hơn 1,7 lần so với thế hệ trước.

Sự yếu kém về cấu trúc:

Mạng lưới AI có hàng triệu đến hàng tỷ tham số. Không phải tất cả các thông số này đều cần thiết cho các dự đoán chính xác, và một số có thể được chuyển đổi thành số không, làm cho các mô hình bị phân tán mà không có độ chính xác. Cốt lõi Tensor trong A100 có thể cung cấp hiệu suất cao hơn lên đến 2 lần cho các mô hình nhỏ. Trong khi tính năng này sẵn sàng hỗ trợ khả năng lập luận của AI, nó cũng có thể cải thiện hiệu suất đào tạo mô hình trong quá trình suy luận học sâu.

Máy chủ cho NVIDIA A100 PCIe GPU- hệ thống 10 GPU

Hiệu suất cao

A100 đạt được hiệu suất cao nhất trong một loạt độ chính xác toán học, với mô-đun SXM tăng gấp đôi so với GPU PCIe trong TF32, FP16 và BFLOAT16.

Khả năng mở rộng

Kết hợp NVLink với kết nối tốc độ cao có thể tạo ra các tập hợp máy tính lớn vì A100 có thể mở rộng lên hàng ngàn A100 bằng NVSwitch.

Nhanh chóng truyền thông

GPU-GPU và CPU-GPU đạt được với A100 sử dụng NVLink, NVSwitch, và InfiniBand. A100 đạt tới 2.039GB/s.

Tốc độ và Mục đích sử dụng cao

Công nghệ MIG GPU cho phép một GPU A100 80GB duy nhất được chia thành bảy MIG để sử dụng tài nguyên một cách nhất quán và có thể kiểm soát.

Dễ dàng triển khai

NVIDIA AI Enterprise cấp quyền truy cập vào bộ nhớ SDK HPC cho các công cụ để nâng cấp và tăng nhanh HPC & AI, cũng như VMware vSphere với hệ thống được chứng nhận NVIDIA.

NVIDIA A100 cho PCIe

NVIDIA A100 cho HGX

* With sparsity ** SXM4 GPUs via HGX A100 server boards; PCIe GPUs via NVLink Bridge for up to two GPUs

Hệ thống chứng nhận của NVIDIA

Khối lượng công việc AI phức tạp, bao gồm các cụm, đang trở nên phổ biến hơn và các nhà tích hợp hệ thống và nhân viên CNTT phải thích nghi nhanh chóng với công nghệ thay đổi. Để cải thiện khả năng tương thích hệ thống và độ tin cậy, NVIDIA đã giới thiệu chương trình Hệ thống được chứng nhận của NVIDIA để xác nhận các máy chủ dựa trên phần cứng và phần mềm của Catalog. Hiện tại, các hệ thống chứng nhận NVIDIA tập trung vào kiến trúc Ampere và bộ chuyển đổi mạng Mellanox của NVIDIA, nhưng chương trình sẽ được mở rộng. Ngoài ra, khách hàng quen thuộc với Dịch vụ hỗ trợ NVIDIA NGC có thể sử dụng các dịch vụ cho NVIDIA-Certified.