MỸ – Theo thông báo của Tổ chức giáo dục, khoa học và văn hóa liên hợp quốc UNESCO (United nations educational, scientific and cultural organization), những thay đổi nhỏ trong các mô hình ngôn ngữ lớn (LLM – large language model) – yếu tố chính của các ứng dụng công nghệ trí tuệ nhân tạo (AI) – có thể giúp tiết kiệm năng lượng.
Bài viết dài 35 trang có tiêu đề “Smarter, smaller, stronger: resource-efficient generative AI and the future of digital transformation” (tạm dịch là ‘Thông minh hơn, nhỏ hơn, mạnh hơn: công nghệ AI tạo ra hiệu quả về tài nguyên và tương lai của chuyển đổi số’), đã nêu ra ba cách mà các doanh nghiệp phát triển công nghệ AI và khách hàng có thể giảm bớt sự tiêu thụ điện của công nghệ.
Sử dụng mô hình ngôn ngữ nhỏ hơn Theo nghiên cứu, các mô hình nhỏ hơn vẫn có độ thông minh và chính xác như các mô hình lớn. Và các mô hình nhỏ được thiết kế riêng cho từng nhiệm vụ cụ thể sẽ giúp giảm mức tiêu thụ năng lượng tới 90%.
Hiện tại, khách hàng đang dựa vào các mô hình lớn, đa năng cho mọi nhu cầu của họ, công ty giải thích. Nghiên cứu cho thấy việc sử dụng các mô hình nhỏ hơn được thiết kế riêng cho các tác vụ cụ thể – như dịch thuật hoặc tóm tắt – giúp giảm mức tiêu thụ năng lượng mà không làm giảm hiệu suất hoạt động. Và đây là một cách tiếp cận thông minh, tiết kiệm chi phí và tài nguyên, bằng cách kết hợp đúng mô hình với đúng công việc, thay vì dựa vào một hệ thống lớn, đa năng cho tất cả công việc.
Hơn nữa, các mô hình nhỏ, tiết kiệm năng lượng dễ tiếp cận hơn trong môi trường có ít tài nguyên với kết nối hạn chế, cung cấp thời gian phản hồi nhanh và tiết kiệm chi phí.
Sử dụng câu lệnh và câu trả lời ngắn gọn Kết quả nghiên cứu cho thấy việc đơn giản hóa các truy vấn đầu vào và thời gian phản hồi, giúp giảm hơn 50% mức tiêu thụ năng lượng. Thêm vào đó, việc rút ngắn đầu vào và đầu ra còn giúp giảm chi phí vận hành các mô hình LLM.
Sử dụng kỹ thuật nén để thu nhỏ kích thước của mô hình Nghiên cứu đã chỉ ra rằng các kỹ thuật nén mô hình, như lượng tử hóa, giúp tiết kiệm năng lượng đến 44% bằng cách giảm độ phức tạp của tính toán. Nó đồng thời giúp giảm chi phí vận hành mô hình LLM bằng cách thu nhỏ kích thước và tăng tốc độ xử lý.
Tại sao các mô hình nhỏ hơn sử dụng ít năng lượng hơn? Các mô hình công nghệ AI nhỏ hơn sẽ tiêu thụ ít năng lượng hơn, vì chúng có ít công việc cần thực hiện. Ông Jim Olsen, Giám đốc công nghệ tại ModelOp, một công ty phần mềm quản trị tại thành phố Chicago (thuộc trung tây Mỹ), chia sẻ: “Các mô hình công nghệ AI nhỏ hơn – chúng tôi gọi là mô hình ngôn ngữ nhỏ – yêu cầu ít tham số hơn, ít bộ nhớ hơn và ít sức mạnh tính toán từ bộ xử lý đồ họa (GPU – graphics processing unit) hơn”.
Ông Olsen nói tiếp: “Điều đó có nghĩa là mức tiêu thụ điện năng thấp hơn trong cả quá trình đào tạo và suy luận. Khách hàng không cần chạy hàng tỷ phép tính trên mỗi token. Khách hàng đang tối ưu hóa độ chính xác trong một phạm vi hẹp hơn, điều này dẫn đến chi phí tính toán bền vững hơn.”
Các mô hình ngôn ngữ lớn hơn có số lượng tham số nhiều hơn theo cấp số nhân so với các mô hình nhỏ, vì vậy mỗi khi một mô hình được hỏi một câu hỏi, nó cần thực hiện các phép tính toán học trên tất cả các tham số của nó để đưa ra câu trả lời.
Ông Wyatt Mayham, trưởng bộ phận tư vấn công nghệ AI tại Northwest AI Consulting (NAIC), một công ty cung cấp dịch vụ tư vấn công nghệ AI toàn cầu, đã nói rằng: “Càng nhiều tham số thì càng nhiều phép tính, yêu cầu nhiều sức mạnh xử lý hơn từ bộ GPU, do đó tiêu tốn nhiều năng lượng hơn”.
Ông Mayham nói tiếp: “Nó tương đương với động cơ V8 tiêu thụ nhiều xăng hơn động cơ bốn xi-lanh, ngay cả khi xe chạy không tải. Một mô hình nhỏ hơn, chuyên dụng hơn chỉ đơn giản là có ít chi phí tính toán hơn cho mỗi tác vụ.”
Ông Sagar Indurkhya, nhà khoa học trưởng tại Virtualitics, một công ty phân tích hỗ trợ công nghệ AI, có trụ sở tại thành phố Pasadena (bang California, Mỹ), nói rằng mặc dù các mô hình LLM nhỏ thường không hoạt động tốt bằng các mô hình lớn hoặc mô hình hàng đầu, nhưng vẫn có thể tinh chỉnh các mô hình LLM nhỏ trên dữ liệu cụ thể có liên quan, như dữ liệu độc quyền không thể chia sẻ ra bên ngoài công ty, để hiệu suất của mô hình đã được điều chỉnh trên các tác vụ rất cụ thể có thể cạnh tranh được với các mô hình hàng đầu.
Tuy nhiên, ông Indurkhya chia sẻ: “Nếu mục tiêu là giảm mức tiêu thụ điện năng cho các mô hình công nghệ AI, thì việc sử dụng và điều chỉnh các mô hình LLM nhỏ là một hướng đi mà các doanh nghiệp nên cân nhắc”.
Cắt giảm thông tin không cần thiết giúp tiết kiệm năng lượng Mặc dù các mô hình công nghệ AI thường được gọi là chatbot, nhưng việc trò chuyện với công nghệ AI không mang lại lợi ích. Ông Mel Morris, Giám đốc điều hành Corpora.ai, một doanh nghiệp sản xuất công cụ tìm kiếm công nghệ AI tại thành phố Derby (Anh), đã nói rằng: “Mô hình hiểu được ý định của khách hàng”.
Ông Morris nói tiếp: “Nó không cần những lời xã giao. Nhưng nó cần truyền những từ ngữ bổ sung đó cho mô hình của mình, và điều đó mất thời gian tính toán.”
Ông Ian Holmes, Giám đốc kiêm trưởng nhóm quốc tế về giải pháp chống gian lận doanh nghiệp tại SAS, một công ty phần mềm chuyên về phân tích, công nghệ trí tuệ nhân tạo và các giải pháp quản lý dữ liệu, có trụ sở tại vùng Cary (bang North Carolina, Mỹ), đồng ý rằng việc đưa ra câu lệnh ngắn gọn có thể giúp tiết kiệm năng lượng. Ông chia sẻ: “Nó có tác động trong việc giảm tổng năng lượng tiêu thụ của các tương tác công nghệ AI. câu lệnh càng phức tạp không cần thiết, thì mô hình LLM càng cần nhiều sức mạnh tính toán để diễn giải và phản hồi.”
Ông Holmes nói tiếp: “Các khách hàng thường đối xử với một mô hình LLM như một người bạn am hiểu, tham gia vào những cuộc trao đổi dài dòng, tán gẫu, nhưng điều này vô tình làm tăng khối lượng công việc của mô hình. Việc giữ cho các câu lệnh ngắn gọn và tập trung, giúp giảm lượng dữ liệu mà mô hình cần xử lý. Điều này, có thể giảm công suất tính toán cần thiết để tạo ra phản hồi.”
Tuy nhiên, những câu lệnh ngắn gọn không phải lúc nào cũng thực tế. Ông Charles Yeomans, Giám đốc kiêm đồng sáng lập Atombeam, một công ty tối ưu hóa truyền tải và nén dữ liệu tại vùng Moraga (bang California, Mỹ), chia sẻ: “Nhiều câu lệnh chứa ngữ cảnh hoặc ví dụ không cần thiết, có thể bị lược bỏ”
Ông Yeomans nói tiếp: “Tuy nhiên, một số nhiệm vụ yêu cầu những câu lệnh nhở chi tiết nhằm đảm bảo độ chính xác. Điều quan trọng là loại bỏ sự không cần thiết, và không cần bỏ qua thông tin cần thiết.”
Ông Axel Abulafia, Giám đốc kinh doanh tại CloudX, một công ty giải pháp công nghệ AI và kỹ thuật phần mềm tại vùng Manalapan (bang New Jersey, Mỹ), chia sẻ: “Trên lý thuyết, câu lệnh ngắn gọn thì tốt hơn, nhưng nếu tỷ lệ lỗi của những câu lệnh này gấp đôi hoặc gấp ba so với câu lệnh chỉ dài hơn 50%, thì phương trình đã rõ ràng rồi. Tôi cho rằng những câu lệnh thông minh có thể tiết kiệm năng lượng hơn so với những câu lệnh ngắn gọn.”
Vấn đề nằm ở việc duy trì chất lượng, ông Mayham thuộc công ty NAIC đã nói rằng: “Một câu lệnh quá ngắn gọn có thể thiếu bối cảnh cần thiết để mô hình đưa ra phản hồi hữu ích hoặc chính xác. Tương tự, việc ép buộc một phản hồi cần ngắn gọn một cách giả tạo có thể làm mất đi những sắc thái quan trọng của nó.”
Ông Mayham nói tiếp: “Điều này trở thành một bài toán cân bằng cho các doanh nghiệp phát triển. Họ cần thiết kế những câu lệnh ngắn gọn nhưng vẫn đủ về mặt ngữ cảnh để hoàn thành công việc. Đối với các tác vụ thông thường, điều này có thể đạt được, nhưng đối với việc giải quyết vấn đề phức tạp, những tương tác dài hơn và chi tiết hơn thường là không thể tránh khỏi.”
Rủi ro và ưu điểm của việc nén mô hình ngôn ngữ Lời kêu gọi thu nhỏ kích thước của mô hình ngôn ngữ, theo UNESCO có thể phát sinh những hạn chế. Ông Mayham chia sẻ: “Rủi ro chính là khách hàng có thể nén mô hình quá mức và làm giảm hiệu suất của nó. Việc bỏ bớt hoặc lượng tử hóa quá mức có thể dẫn đến việc giảm độ chính xác, khả năng suy luận logic hoặc sắc thái, khiến mô hình không phù hợp với mục đích dự kiến. Cần có sự cân bằng tinh tế giữa hiệu quả và khả năng.”
Ngoài ra, việc triển khai các kỹ thuật nén hiệu quả yêu cầu chuyên môn kỹ thuật sâu rộng và các quá trình thử nghiệm. Ông Mayham nói tiếp: “Đây không phải là giải pháp phù hợp cho tất cả. Chiến lược nén phù hợp phụ thuộc vào kiến trúc mô hình cụ thể và ứng dụng mục tiêu. Điều này có thể là một rào cản lớn đối với các doanh nghiệp không có nhân sự kỹ thuật AI/ML chuyên biệt.”
Ông Yeomans của công ty Atombeam cho biết, chìa khóa để giảm mức tiêu thụ năng lượng của công nghệ AI là kết hợp nhiều phương pháp tối ưu hóa – mô hình nhỏ hơn, nén, nhắc nhở hiệu quả, sử dụng phần cứng tốt hơn – để tăng gấp bội khả năng tiết kiệm năng lượng.
Ông Yeomans chia sẻ: “Cũng nên cân nhắc việc lưu trữ các phản hồi chung và sử dụng các mô hình chuyên biệt cho các nhiệm vụ cụ thể, thay vì sử dụng mô hình LLM đa năng cho tất cả nhiệm vụ”.
Ông Abulafia thuộc công ty CloudX nói thêm: “Mặc dù việc luôn dùng mô hình LLM để giải quyết tất cả các vấn đề nghe có vẻ hợp lý, nhưng một nguyên tắc chung là các giải pháp nên đi từ đơn giản đến phức tạp. Có rất nhiều vấn đề có thể được giải quyết bằng các thuật toán đã được kiểm chứng. Khách hàng có thể sử dụng chúng làm cơ sở và tăng dần độ phức tạp từ đó. Đầu tiên là các mô hình nhỏ được tinh chỉnh, và sau đó mới đến các mô hình lớn. Hãy luôn làm việc một cách thông minh và nhận ra rằng lớn hơn không phải lúc nào cũng tốt hơn.”
Để xem các tin bài khác về “LLM”, hãy nhấn vào đây.
Nguồn: TechNewsWorld
