Được thiết lập để có bốn kích cỡ khác nhau phù hợp cho nhiều loại ứng dụng, LLM mới của Google đã được tích hợp vào một số dịch vụ của Google và hơn thế nữa.
PaLM2 là gì?
Tại Hội nghị Google I/O 2023, được tổ chức vào ngày 10/5, CEO Google Sunda Pichai đã tiết lộ sản phẩm nhất của Google: PaLM 2.
Viết tắt của Pathways Language Model 2, PaLM 2 là phiên bản nâng cấp của PaLM, với phiên bản đầu tiên được công bố vào tháng 4 năm 2022. Vào thời điểm đó, đây là một tin tức lớn và thu hút rất nhiều sự quan tâm vì khả năng như trò chuyện một chút, kể những câu chuyện cười cơ bản, v.v. Chỉ sáu tháng sau đó, GPT-3.5 của OpenAI ra đời đã làm công chúng quên bẵng về PaLM.
Đầu năm nay, OpenAI đã ra mắt GPT-4, một bản nâng cấp lớn của GPT-3.5. Tuy nhiên, trong khi mô hình mới hơn đang được tích hợp vào nhiều công cụ, nổi bật nhất là Bing AI Chat của Microsoft, Google hy vọng PaLM có thể cạnh tranh với GPT-4 với PaLM 2 và hy vọng LLM nâng cấp của nó có thể thu hẹp khoảng cách , đặc biệt là khi Google Bard không phải là một thành công lớn.
Pichai đã thông báo rằng PaLM 2 sẽ có bốn kích cỡ khác nhau: Gecko, Otter, Bison và Unicorn.
Gecko rất nhẹ, có thể hoạt động trên thiết bị di động và đủ nhanh cho các ứng dụng cần nhiều tương tác, ngay cả khi ngoại tuyến. Tính linh hoạt này đồng nghĩa với việc PaLM 2 có thể được tinh chỉnh để hỗ trợ nhiều loại sản phẩm theo nhiều cách hơn, nhằm giúp đỡ nhiều người hơn.
Với việc Gecko có thể xử lý khoảng 20 token (giá trị được gán cho các từ thực để các mô hình AI tạo sinh sử dụng) mỗi giây, có vẻ như nó sẽ làm thay đổi cuộc chơi cho các công cụ AI có thể triển khai trên di động.
Dữ liệu đào tạo PaLM 2 của Google
Google không tiết lộ dữ liệu đào tạo của PaLM 2. Nhưng Báo cáo PaLM 2 của Google cho biết họ muốn PaLM 2 hiểu sâu hơn về toán học, logic và khoa học, và phần lớn kho dữ liệu đào tạo của Google tập trung vào các chủ đề này.
Tuy nhiên, Google cũng xác nhận rằng PaLM 2 đã được đào tạo trên 540 tỷ tham số, tại thời điểm đó là một con số khổng lồ.
GPT-4 của OpenAI được cho là đã sử dụng hơn một nghìn tỷ tham số, một số suy đoán con số đó lên tới 1,7 nghìn tỷ. Một điều chắc chắn rằng vì Google muốn PaLM 2 cạnh tranh trực tiếp với các mô hình ngôn ngữ lớn của OpenAI, nên chắc chắn nó sẽ có một con số tương đương, nếu không muốn nói là hơn.
Một điểm mạnh khác của PaLM 2 là dữ liệu đào tạo ngôn ngữ của nó. Google đã đào tạo PaLM 2 bằng hơn 100 ngôn ngữ để giúp nó hiểu sâu hơn, đồng thời tăng khả năng dịch thuật của nó.
Bên cạnh đó, mô hình cũng đã được đào tạo bằng hơn 20 ngôn ngữ lập trình, khiến nó trở thành một tài sản vô cùng giá trị cho các lập trình viên.
PaLM 2 đã được tích hợp vào các dịch vụ của Google
Chúng ta sẽ không phải chờ lâu nữa để có thể chạm tay vào PaLM 2 và xem nó có thể làm được những gì.
Nhưng về mặt kỹ thuật, bạn có thể đã sử dụng PaLM 2. Google xác nhận PaLM 2 đã được triển khai trên 25 sản phẩm, bao gồm Android, YouTube, Gmail, Google Tài liệu, Google trình bày, Google Trang tính, v.v.
Nhưng báo cáo PaLM 2 cũng tiết lộ rằng vẫn còn nhiều việc phải làm, đặc biệt là với các yêu cầu/lời nhắc (prompt) độc hại trên nhiều ngôn ngữ.
Ví dụ: khi nhận được các prompt độc hại, PaLM 2 tạo ra các phản hồi độc hại trong hơn 30% trường hợp. Hơn nữa, trong một số ngôn ngữ như tiếng Anh, tiếng Đức và tiếng Bồ Đào Nha—PaLM 2 đưa ra phản hồi độc hại trong hơn 27% trường hợp.
Cho dù các nhà nghiên cứu có cố gắng làm sạch dữ liệu đào tạo đến mức nào chăng nữa, thì chắc chắn vẫn sẽ có “cá lọt lưới”. Điều tiếp theo cần làm là tiếp tục đào tạo PaLM 2 để giảm thiểu các phản hồi độc hại đó.
Các mô hình ngôn ngữ lớn đang bùng nổ
OpenAI không phải là công ty đầu tiên ra mắt mô hình ngôn ngữ lớn, nhưng các mô hình GPT-3, GPT-3.5 và GPT-4 của nó đã mở ra một giai đoạn bùng nổ cho AI tạo sinh.
PaLM 2 của Google có một số vấn đề vẫn cần giải quyết, nhưng việc được sử dụng trong một số dịch vụ của Google cho thấy sự tự tin của công ty đối với mô hình ngôn ngữ lớn mới nhất của mình.
Tìm hiểu các khóa học lập trình của FUNiX tại đây:
Vân Nguyễn
Dịch từ: https://www.makeuseof.com/what-is-google-palm-2/
Bình luận (0
)