Storage, Large Language Models và ChatGPT

ChatGPT, LLM và Lưu Trữ

Phân tích : Thế giới phân tích CNTT đang bị chi phối bởi cơn bão quan tâm đến Mô hình ngôn ngữ lớn (LLM) và AI tổng quát (GAI). Sự ra đời của chatbot ChatGPT vào cuối tháng 11 năm ngoái đã tạo ra một lượng lớn sự quan tâm, với 1 triệu người dùng trong một tuần đầu và sự bùng nổ của các ứng dụng, mô hình nền tảng tương tự như Bard của Google hay Titan của Amazon.

Các GAI như vậy, với khả năng hiểu các các câu hỏi theo ngữ cảnh và đưa ra câu trả lời làm hài lòng phần lớn người đọc đã tạo nên tiềm năng ứng dụng vào doanh nghiệp và khu vực công trong việc tìm kiếm và phân tích số liệu tốt hơn. Việc sử dụng chúng hoặc đe dọa hoặc hứa hẹn sẽ thay thế và/hoặc cải thiện năng suất của tất cả các loại lao động tri thức, từ trung tâm chăm sóc khách hàng và nhân viên bán hàng nội bộ đến kế toán, luật sư và nhà phân tích tài chính trong thập kỷ tới.

Sự quan tâm đến GAI tăng nhanh sẽ có tác động đến ngành CNTT và những tác động như vậy đang được nghiên cứu dự đoán bởi các nhà phân tích như Forrester, Gartner,… Các bộ phận của ngành lưu trữ dữ liệu hưởng lợi từ việc doanh số bán hàng bùng nổ nhờ tích hợp khả năng GAI và chúng tôi đã cố gắng lập danh mục chúng.

Phần Cứng

DRAM – Sẽ cần nhiều hơn và nhiều hơn nữa cho các máy chủ CPU/GPU chạy LLM để đào tạo và suy luận, đồng thời bao gồm Bộ nhớ băng thông cao, HBM, dành cho GPU.

PCIe – PCIe vẫn là giao diện phổ biến kết nối giữa các thiết bị ngoại vi với CPU/GPU nên các nhà cung cấp linh kiện PCIe 4 và 5.0 nên sẵn sàng cho nhu cầu tăng đột biến.

Bộ nhớ CXL – CXL 2.0 sẽ nhận được một cú hích khổng lồ từ các LLM và điều đó bao gồm cả các nhà cung cấp phần cứng CXL, nghĩa là các bộ mở rộng DRAM, bộ chuyển mạch CXL và linh kiện. Các công ty như Micron, Samsung, SK hynix và các công ty khác đều sẽ được hưởng lợi.

NAND và SSD – Sẽ cần nhiều hơn, nhiều hơn nữa, tập trung vào khả năng truy cập NVMe, kết nối PCIe 4.0 và 5.0 cộng với sự kết hợp giữa hiệu suất và dung lượng. Điều này cho thấy QLC và TLC NAND với số lớp cao sẽ có lợi. Tất cả các nhà cung cấp NAND fab và SSD nên tập trung vào thị trường này.

Mảng lưu trữ – Nhu cầu sẽ là IO cho cả dung lượng cao và tốc độ cao. Các cụm AI/ML sẽ cần mức dung lượng tới hàng Petabyte. Các tác vụ “training” LLM sẽ yêu cầu đọc dữ liệu tốc độ cao. Điều này sẽ cần truy cập song song được hỗ trợ bởi phần cứng và phần mềm. Các lần chạy suy luận LLM sẽ cần tốc độ truy cập đọc cao với đường dẫn phân phối dữ liệu song song tới bộ xử lý.

Chúng tôi nghĩ rằng điều này chủ yếu sẽ mang lại lợi ích cho các mảng toàn flash truy cập tệp bằng giao thức NVMe và với hỗ trợ GPUDirect cho các máy chủ GPU Nvidia. Các nhà cung cấp như DDN , NetApp , Pure Storage ( AIRI ) và VAST Data có vị trí thuận lợi để tận dụng điều này. Panasas nhìn thấy cơ hội trong lĩnh vực AI biên. Các nhà cung cấp lưu trữ đối tượng và lưu trữ khối không có vị trí tốt như vậy.

Theo chúng tôi, các nhà cung cấp thiếu hỗ trợ GPUDirect nên khẩn trương theo đuổi điều này.

Phần mềm

Phần mềm tập trung vào CXL – Các nhà cung cấp như MemVerge và Unifabrix sẽ kỳ vọng nhận được sự quan tâm lớn và bền vững đối với các sản phẩm của họ.

Phân tích dữ liệu – các nhà cung cấp cần điều tra việc áp dụng giao diện người dùng LLM như một vấn đề cấp bách.

Cơ sở dữ liệu, Lakehouse, Warehouse – Chúng cần hỗ trợ dạng “vector”, yêu cầu cần thiết cho các mô hình LLM. Nhu cầu tìm hiều và dùng thử chatbot cho người dùng là rất lớn. Điều này sẽ cho phép những người không phải là nhà khoa học dữ liệu và người dùng không có kỹ năng SQL có thể chạy các phân tích tinh vi. Họ cũng có cơ hội tìm thấy các quy trình ETL (Trích xuất, Chuyển đổi và Tải) để đưa dữ liệu đã chọn một cách nhanh chóng ra LLM để đào tạo và chạy suy luận. Xem SingleStore và Databricks làm ví dụ.

Người quản lý dữ liệu – Họ có thể hưởng lợi bằng cách áp dụng công nghệ LLM để phân tích tập dữ liệu và bằng cách cung cấp dữ liệu cho các quy trình LLM. Xem Cohesity làm ví dụ.

Storage tốc độ cao – Các nhà cung cấp có thể thấy việc chuyển nền tảng của họ sang đám mây công cộng để chạy các mô hình GAI là đáng giá. Bằng cách đó, họ có thể hỗ trợ khách hàng của mình, những người áp dụng phương pháp kết hợp on-prem/đám mây công cộng để chạy LLM.

Scale-out filesystem – Các nhà cung cấp như IBM và WEKA có vị trí thuận lợi vì khách hàng hiện tại của họ áp dụng công nghệ GAI và khách hàng mới tìm đến họ để có phần mềm truy cập tệp nhanh và dung lượng cao. Những nhà cung cấp này có thể là những người chiến thắng lớn.

Người hưởng lợi gián tiếp và người không bị ảnh hưởng

Các nhà cung cấp dịch vụ lưu trữ trên đám mây – Họ có thể sử dụng bộ dữ liệu mà họ đã lưu trữ trên đám mây để cung cấp như “thức ăn” cho LLM nhưng dữ liệu sẽ cần chuyển từ kho lưu trữ dài lâu sang các kho lưu trữ truy cập nhanh hơn. Các CSP như AWS, Azure và Google có thể tìm thấy một số cách dùng GPUDirect để bơm dữ liệu từ S3 và Azure Blobs sang các phiên bản GPU của họ.

Người điều phối dữ liệu – Họ có thể nhận được lợi ích gián tiếp nếu họ có thể điều phối dữ liệu cần thiết để cung cấp LLM.

Bảo vệ và bảo mật dữ liệu – Các nhà cung cấp cần kiểm tra các giao diện chatbot với các cơ sở quản lý của họ để bảo vệ và bảo mật tốt hơn các bộ dữ liệu cũng như xác định các lỗ hổng. Các chatbot dành riêng cho miền có thể kiểm tra bề mặt tấn công của một tổ chức và xác định các hành động để bảo vệ nó. Bộ dữ liệu sao lưu Bảo vệ dữ liệu có thể cung cấp LLM cho các quy trình ETL.

Ổ cứng – Sản phẩm này quá chậm và chỉ có thể được sử dụng như một lớp thứ hai sau lớp chính là flash.

Ứng dụng quản lý vòng đời – Nhà cung cấp cần nghiên cứu cách giao diện chatbot có thể giúp người dùng của họ làm việc hiệu quả hơn.

Các nhà cung cấp bảo mật – Chatbots và công nghệ AI khác có thể làm cho chúng hiệu quả hơn trong việc phát hiện và phản hồi phần mềm độc hại cũng như xử lý các tương tác của người dùng.

Các nhà cung cấp dịch vụ lưu trữ tạo bởi phần mềm (SDS) phải đối mặt với việc bị bỏ lại phía sau bởi cơn sóng thần GAI trừ khi họ tìm ra một số phương tiện để đáp ứng quyền truy cập hiệu suất cao cần thiết.

Quản trị viên lưu trữ – Chatbots có thể giúp họ hoạt động hiệu quả hơn hoặc được sử dụng để cho phép nhân viên kém kỹ năng hơn thực hiện công việc đòi hỏi kỹ năng cao hơn.

Hệ thống băng từ – Hệ thống lưu trữ quá chậm để cung cấp dữ liệu cho LLM, nhưng vẫn có vị trí của chúng.

Web3 Storage – Bộ lưu trữ như vậy sẽ chẳng đi đến đâu trong thế giới LLM. Nó quá chậm.

(Biên dịch từ: https://blocksandfiles.com/2023/05/25/chatgpt-llms-and-storage/)

Morpheus Data Vietnam