Ngày 10/1 vừa qua, Zalo AI đã công bố Báo cáo Tình hình Phát triển các Mô hình Ngôn ngữ lớn (Large Language Model - LLM) tiếng Việt năm 2024. Theo đó, các mô hình LLM từ Việt Nam đã xuất sắc thăng hạng lên vị trí số 2, cạnh tranh trực tiếp với các LLM hàng đầu thế giới như Llama-3-70B của Meta hay GPT-4 của OpenAI.
Cụ thể, trong bảng xếp hạng các mô hình from-scratch models, mô hình KiLM-13b-v24.7.1 do Zalo AI phát triển đã đạt số điểm tổng quát trung bình 66,07 điểm, chỉ xếp sau Llama-3-70B với 66,44 điểm. Bên cạnh đó, mô hình ViGPT-1.6B-v1 của VinBigData nằm trong Top 10 của bảng xếp hạng.
Báo cáo do Zalo AI và Viện Khoa học & Công nghệ tiên tiến Nhật Bản tiến hành cũng ghi nhận sự nở rộ mạnh mẽ của các mô hình LLM hướng đến người dùng Việt Nam. Cụ thể trong năm 2024, VMLU công bố 45 LLM trên bảng xếp hạng, tiếp nhận yêu cầu đánh giá của hơn 155 tổ chức & cá nhân, tổng kết 691 lượt tải bộ tiêu chuẩn đánh giá và 3.729 lượt đánh giá LLM từ nền tảng.
Bảng xếp hạng năng lực các Mô hình LLM tiếng Việt được tổng kết từ nền tảng VMLU (A Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Đây là nền tảng được xây dựng và phát triển bởi Zalo AI và Viện Khoa học & Công nghệ Tiên tiến Nhật Bản (JAIST) nhằm đánh giá toàn diện năng lực tiếng Việt, đẩy mạnh mức độ am hiểu sâu sắc về ngôn ngữ và văn hóa Việt Nam của các mô hình ngôn ngữ lớn (LLM).
Ra mắt vào tháng 11/2023, VMLU đã cung cấp bộ dữ liệu (dataset) & tiêu chuẩn kiểm tra toàn diện, gồm: 10.880 câu hỏi trắc nghiệm thuộc 58 chủ đề, bao quát 4 lĩnh vực là STEM (khoa học, công nghệ, kỹ thuật và toán học), khoa học xã hội, khoa học nhân văn và mở rộng. Mức độ khó của các câu hỏi tăng dần theo 4 cấp độ: tiểu học, trung học cơ sở, trung học phổ thông và chuyên nghiệp (bậc đại học & sau đại học).
Sau khi sử dụng VMLU để đo lường và đánh giá mô hình, các nhà phát triển LLM có thể cung cấp điểm số và yêu cầu công bố trên bảng xếp hạng (VMLU Leaderboard). Thông qua đó, họ sẽ so sánh năng lực mô hình của mình với các LLM hiện có trên thị trường để thúc đẩy việc huấn luyện ngày một hoàn thiện hơn. Sau hơn 1 năm cung cấp miễn phí cho cộng đồng, VMLU đã trở thành công cụ hữu ích đối với các đơn vị nghiên cứu AI.
Nền tảng VMLU không chỉ thu hút các nhóm nghiên cứu trong nước mà còn nhận được sự quan tâm và tham gia của các tổ chức quốc tế như nhóm nghiên cứu từ UONLP x Ontocord - Đại học Oregon (Hoa Kỳ), DAMO Academy - Alibaba Group (Trung Quốc) và SDSRV teams - Samsung.
TS. Châu Thành Đức, Trưởng Bộ phận Nghiên cứu & Phát triển tại Zalo AI, chia sẻ: "Chúng tôi sẽ tiếp tục tối ưu bộ tiêu chuẩn đánh giá năng lực tiếng Việt VMLU để hỗ trợ cộng đồng AI Việt Nam phát triển các mô hình chất lượng cao. Zalo AI hy vọng rằng sự phát triển của tầng nghiên cứu sẽ tạo tiền đề cho những bước tiến ứng dụng, mang lại những sản phẩm AI tiên tiến và hữu ích cho người Việt."
Trong thời gian tới, Zalo AI sẽ tiếp tục cung cấp nền tảng VMLU miễn phí. Các nhà phát triển LLM tiếng Việt trong và ngoài nước có thể sử dụng nguồn thông tin mở tại website: https://vmlu.ai/
Xem chi tiết Báo cáo Tình hình Phát triển các Mô hình ngôn ngữ lớn (LLM) tiếng Việt tại đây.
Bên cạnh tham gia phát triển VLMU, Zalo AI cũng tích cực đồng hành và thúc đẩy các hoạt động chung vì sự phát triển của cộng đồng AI Việt Nam. Trước đó từ năm 2017, Hội nghị Zalo AI Summit và Cuộc thi Zalo AI Challenge được tổ chức thường niên đã giúp kết nối, chia sẻ kiến thức giữa các kỹ sư, lập trình viên và nhà nghiên cứu trong nước và khu vực. Những sự kiện không chỉ góp phần thu hẹp khoảng cách giữa AI Việt Nam và thế giới mà còn tạo ra cơ hội lớn cho các tài năng công nghệ trẻ tại Việt Nam. |