Hệ thống DGX GH200 được xây dựng xung quanh Siêu chip NVIDIA Grace Hopper và Hệ thống chuyển mạch NVLink, có thể kết nối và hợp nhất tới 256 GPU (xem hình). Hệ thống này cung cấp 144 terabyte bộ nhớ dùng chung ở tốc độ cao qua NVLink.
So với một hệ thống NVIDIA DGX A100 320 GB duy nhất, DGX GH200 cung cấp bộ nhớ nhiều hơn gần 500 lần bộ nhớ dùng chung GPU qua NVLink, khiến nó trở thành siêu máy tính đầu tiên phá vỡ rào cản 100 terabyte đối với bộ nhớ mà GPU có thể truy cập qua NVLink. Mỗi Siêu chip NVIDIA Grace Hopper trong DGX GH200 có bộ nhớ CPU LPDDR5 480 GB và HBM3 tốc độ cao 96 GB. Mọi GPU trong DGX GH200 đều có thể truy cập bộ nhớ của các GPU khác và bộ nhớ GPU mở rộng của tất cả các CPU NVIDIA Grace với tốc độ 900 GBps.
Nvidia cho biết hệ thống siêu máy tính này mang lại "hiệu năng AI" đến 1 exaflop – gần bằng siêu máy tính Frontier tại Phòng Thí nghiệm Quốc gia Oak Ridge ở Tennessee – hệ thống siêu máy tính duy nhất được công nhận có điểm số hiệu năng đạt tới gần 1,2 exaflop, cao gấp đôi so với hệ thống siêu máy tính ở vị trí thứ hai Fugaku của Nhật Bản.
Nvidia đã trở thành công ty có vốn hóa xấp xỉ 1000 tỷ USD và bước vào vị trí thứ 6 của công ty có vốn hóa lớn nhất thế giới (Xem hình). So với Intel, một công ty làm chip lâu đời thì Nvidia có vốn hóa gấp 7 lần.
CEO Jensen" Huang (1963), một doanh nhân người Mỹ gốc Đài Loan, bây giờ được chào đón như một VIP quyền lực, có thể sánh với vị trí của Andrew Grove (Intel) trước đây.
Khi mà cuộc chạy đua về AI đang diễn ra, hệ thống GH200 này sẽ được săn đón quyết liệt bởi Google, Microsoft và Meta, những khách hàng lớn đầu tiên đối với dòng sản phẩm siêu máy tính này.
LLMs là mô hình AI sử dụng tài nguyên khủng khiếp và hiện nay ChatGPT đang được vận hành trên khoảng 25000 A100 thuộc đám mây Azure (Microsoft). Như thế, chỉ có những hệ thống siêu máy tính mới có thể đáp ứng được nhu cầu ngày càng cao của doanh nghiệp và người sử dụng cá nhân toàn thế giới.
Lưu ý với bộ nhớ 144 tetra bytes này, GH200 có thể vận hành một hệ thống có 100 ngàn tỷ (trillion) tham số, một ước mơ của nhân loại nhằm xây dựng một hệ thống nhân tạo có kích thước ngang với tổng số kết nối trong não bộ con người.
Nhưng cũng thật kỳ diệu, dù con người nhiều khiếm khuyết, bất toàn nhưng chỉ với kích cỡ khoảng 1.3-1.5kg và thể tích chưa đến 1.5lit có thể vượt trội về hiệu suất sử dụng so với cỗ máy hàng chục tấn chiếm cả một căn phòng lớn.
