Minh họa datasphere.

Giới thiệu: Cuộc cách mạng trong huấn luyện mô hình ngôn ngữ lớn (LLM)

Các mô hình ngôn ngữ lớn (LLM) đang thay đổi cách chúng ta tương tác với công nghệ. Một nghiên cứu mới đã chứng minh rằng LLM có thể học các tác vụ lý luận phức tạp mà không cần dựa vào bộ dữ liệu khổng lồ. Nghiên cứu này mở ra những khả năng mới cho việc phát triển và triển khai AI, đặc biệt là trong môi trường doanh nghiệp.

Thay vì yêu cầu hàng chục nghìn hoặc thậm chí hàng triệu ví dụ huấn luyện, các nhà nghiên cứu đã phát hiện ra rằng chỉ với một lượng nhỏ các ví dụ được tuyển chọn kỹ lưỡng, bạn có thể huấn luyện một LLM cho các tác vụ mà trước đây được cho là không thể thực hiện được nếu không có nguồn lực tính toán lớn.

Hiệu quả này là do kiến thức vốn có mà các LLM hiện đại có được trong giai đoạn tiền huấn luyện. Với các phương pháp huấn luyện mới ngày càng tiết kiệm dữ liệu và tính toán, các doanh nghiệp có thể tạo ra các mô hình tùy chỉnh mà không cần tiếp cận các tài nguyên của các phòng thí nghiệm AI lớn.

Phương pháp LIMO: Ít hơn là nhiều hơn

Trong nghiên cứu của mình, các nhà nghiên cứu đã thách thức giả định rằng bạn cần một lượng lớn dữ liệu để huấn luyện LLM cho các tác vụ lý luận. Họ giới thiệu khái niệm “less is more” (LIMO – ít hơn là nhiều hơn).

Less is More (LIMO) cho lý luận

Trong các thí nghiệm của mình, họ đã chứng minh rằng họ có thể tạo ra một bộ dữ liệu LIMO cho các tác vụ lý luận toán học phức tạp chỉ với vài trăm ví dụ huấn luyện. Một LLM được tinh chỉnh trên bộ dữ liệu này đã có thể tạo ra các chuỗi lý luận “chuỗi tư duy” (CoT) phức tạp, cho phép nó hoàn thành các nhiệm vụ với tỷ lệ thành công rất cao.

Ví dụ, một mô hình Qwen2.5-32B-Instruct được tinh chỉnh trên 817 ví dụ huấn luyện được chọn dựa trên LIMO đã đạt được độ chính xác 57,1% trên điểm chuẩn AIME đầy thách thức và 94,8% trên MATH, vượt trội hơn các mô hình được huấn luyện trên số lượng ví dụ gấp hàng trăm lần. Nó cũng đạt điểm cao hơn trên các điểm chuẩn so với các mô hình lý luận như QwQ-32B-Preview (một phiên bản của mô hình Qwen đã được huấn luyện để lý luận) và OpenAI o1-preview, cả hai đều đã được huấn luyện với dữ liệu và tài nguyên tính toán lớn hơn.

Hơn nữa, các mô hình được huấn luyện theo phương pháp LIMO có khả năng tổng quát hóa cho các ví dụ khác biệt đáng kể so với dữ liệu huấn luyện của chúng. Ví dụ, trên điểm chuẩn khoa học OlympiadBench, mô hình LIMO đã vượt trội hơn QwQ-32B-Preview, và trên điểm chuẩn GPQA đầy thách thức, nó đạt được độ chính xác 66,7%, gần với điểm số dẫn đầu 73,3% của OpenAI-o1-preview.

Ứng dụng cho AI doanh nghiệp: Mở ra cánh cửa cho sự đổi mới

Tùy chỉnh LLM là một trường hợp sử dụng hấp dẫn cho các ứng dụng doanh nghiệp. Nhờ các kỹ thuật như tạo sinh tăng cường truy xuất (RAG) và học trong ngữ cảnh, LLM có thể được tùy chỉnh để sử dụng dữ liệu tùy chỉnh hoặc thực hiện các tác vụ mới mà không cần tinh chỉnh tốn kém.

Tuy nhiên, các tác vụ lý luận thường yêu cầu huấn luyện và tinh chỉnh LLM. Niềm tin phổ biến là những nhiệm vụ như vậy đòi hỏi khối lượng lớn các ví dụ huấn luyện với các chuỗi và giải pháp lý luận chi tiết. Việc tạo ra các bộ dữ liệu như vậy rất chậm và không thực tế đối với nhiều ứng dụng và công ty.

Ứng dụng AI trong doanh nghiệp.

Gần đây, các nhà nghiên cứu đã chỉ ra rằng các phương pháp học tăng cường thuần túy có thể cho phép các mô hình tự huấn luyện cho các tác vụ lý luận bằng cách tạo ra nhiều giải pháp và chọn ra những giải pháp hoạt động tốt nhất. Mặc dù phương pháp này đòi hỏi ít nỗ lực thủ công hơn, nhưng nó vẫn đòi hỏi các tài nguyên tính toán tốn kém, vượt quá khả năng của nhiều doanh nghiệp.

Mặt khác, việc soạn thảo một vài trăm ví dụ là một nỗ lực mà nhiều công ty có thể thực hiện, đưa các mô hình lý luận chuyên biệt đến gần hơn với nhiều tổ chức.

“Khám phá này có ý nghĩa sâu sắc đối với nghiên cứu trí tuệ nhân tạo: Nó gợi ý rằng ngay cả khả năng lý luận phức tạp ở cấp độ cạnh tranh cũng có thể được khơi gợi một cách hiệu quả thông qua các mẫu huấn luyện tối thiểu nhưng được tuyển chọn,” các nhà nghiên cứu viết.

Tại sao LIMO hoạt động: Giải mã bí mật thành công

Trong các thí nghiệm của mình, các nhà nghiên cứu đã xác định hai lý do chính tại sao LLM có thể học các tác vụ lý luận phức tạp với ít ví dụ hơn.

Thứ nhất, các mô hình nền tảng hiện đại đã được huấn luyện trên một lượng rất lớn nội dung và mã toán học trong quá trình tiền huấn luyện. Điều này có nghĩa là các LLM này đã sở hữu kiến thức lý luận phong phú trong các tham số của chúng, có thể được kích hoạt thông qua các ví dụ được tạo ra cẩn thận.

Thứ hai, các kỹ thuật hậu huấn luyện mới đã chỉ ra rằng việc cho phép các mô hình tạo ra các chuỗi lý luận mở rộng sẽ cải thiện đáng kể khả năng lý luận của chúng. Về bản chất, việc cho các mô hình có thêm thời gian để “suy nghĩ” cho phép chúng giải nén và áp dụng kiến thức được tiền huấn luyện của chúng một cách hiệu quả hơn.

“Chúng tôi giả thuyết rằng lý luận thành công xuất phát từ sự hiệp lực của hai yếu tố này: kiến thức tiền huấn luyện phong phú và đủ tài nguyên tính toán tại thời điểm suy luận,” các nhà nghiên cứu viết. “Những phát triển này cùng nhau gợi ý một khả năng nổi bật: Nếu các mô hình sở hữu kiến thức lý luận phong phú và được cung cấp không gian tính toán đầy đủ, thì việc kích hoạt khả năng lý luận của chúng có thể chỉ yêu cầu một số lượng nhỏ các mẫu huấn luyện chất lượng cao khuyến khích sự cân nhắc mở rộng, thay vì các bộ dữ liệu tinh chỉnh khổng lồ.”

Việc chọn các vấn đề phức tạp hơn để đưa vào bộ dữ liệu huấn luyện có thể có tác động đáng kể đến độ chính xác của mô hình đã huấn luyện trong các tác vụ lý luận

Theo phát hiện của các nhà nghiên cứu, việc tạo ra các bộ dữ liệu LIMO hữu ích phụ thuộc vào việc chọn đúng vấn đề và giải pháp. Những người quản lý dữ liệu nên ưu tiên các vấn đề đầy thách thức đòi hỏi các chuỗi lý luận phức tạp, các quá trình tư duy đa dạng và tích hợp kiến thức. Các vấn đề cũng nên khác biệt so với phân phối huấn luyện của mô hình để khuyến khích các phương pháp lý luận mới và buộc nó hướng tới sự tổng quát hóa.

Theo đó, các giải pháp phải rõ ràng và được tổ chức tốt, với các bước lý luận được điều chỉnh cho phù hợp với độ phức tạp của vấn đề. Các giải pháp chất lượng cao cũng nên cung cấp hỗ trợ giáo dục chiến lược bằng cách dần dần xây dựng sự hiểu biết thông qua các giải thích có cấu trúc cẩn thận.

“Bằng cách tập trung vào một tập hợp tối thiểu nhưng được tuyển chọn tỉ mỉ các chuỗi lý luận, chúng tôi thể hiện nguyên tắc cốt lõi của LIMO: Các bản trình diễn chất lượng cao, chứ không phải khối lượng dữ liệu đơn thuần, là chìa khóa để mở khóa các khả năng lý luận phức tạp,” các nhà nghiên cứu viết.

Kết luận: Tương lai của LLM và AI

Nghiên cứu này đánh dấu một bước tiến quan trọng trong lĩnh vực trí tuệ nhân tạo. Nó chứng minh rằng chúng ta có thể xây dựng các LLM mạnh mẽ và hiệu quả hơn mà không cần dựa vào các bộ dữ liệu khổng lồ. Điều này có ý nghĩa lớn đối với các doanh nghiệp, những người có thể tùy chỉnh các mô hình AI cho các nhu cầu cụ thể của họ một cách hiệu quả và tiết kiệm chi phí hơn.

Phương pháp LIMO hứa hẹn sẽ mở ra cánh cửa cho sự đổi mới và sáng tạo trong lĩnh vực AI, cho phép các nhà nghiên cứu và nhà phát triển khám phá những khả năng mới và xây dựng các ứng dụng AI mạnh mẽ hơn, thông minh hơn và phù hợp hơn với nhu cầu của con người.