Shap-E của OpenAI là gì? Shap-E có thể làm gì?

Shap-E của OpenAI là gì?

Vào tháng 5 năm 2023, Alex Nichol và Heewon Jun, hai nhà nghiên cứu và cộng tác viên của OpenAI, đã phát hành một bài báo ra mắt Shap-E, cải tiến mới nhất của công ty. Shap-E là một công cụ mới được đào tạo với một bộ dữ liệu khổng lồ gồm các hình ảnh và văn bản 3D đi kèm với nhau và có thể tạo mô hình 3D từ văn bản hoặc hình ảnh. Nó tương tự như DALL-E, có thể tạo hình ảnh 2D từ văn bản, nhưng điểm khác biệt là Shap-E tạo ra nội dung 3D.

Shap-E được đào tạo về mô hình khuếch tán có điều kiện (conditional diffusion model) và ánh xạ nội dung 3D. Ánh xạ nội dung 3D có nghĩa là Shap-E học cách kết nối văn bản hoặc hình ảnh với mô hình 3D tương ứng từ tập dữ liệu lớn của các đối tượng 3D hiện có. Mô hình khuếch tán có điều kiện là mô hình tạo sinh bắt đầu từ phiên bản khá ‘nhiễu’ của đầu ra mục tiêu và dần tinh chỉnh nó bằng cách loại bớt nhiễu và thêm chi tiết.

Bằng cách kết hợp hai thành phần này, Shap-E có thể tạo ra các mô hình 3D đa dạng và giống thật tương ứng với văn bản hoặc hình ảnh đầu vào nhất định và có thể được xem từ những góc độ và điều kiện ánh sáng khác nhau.

Cách bạn có thể sử dụng Shap-E của OpenAI

Shap-E chưa được công khai rộng rãi như các công cụ OpenAI khác, nhưng trọng số mô hình, mã suy luận (inference code) và các mẫu của nó có thể được tải xuống trên trang GitHub của Shap-E.

Bạn có thể tải xuống mã Shap-E miễn phí và cài đặt nó với lệnh Python pip trên máy của mình. Bạn cũng cần có GPU NVIDIA và CPU hiệu suất cao, vì Shap-E siêu tốn tài nguyên.

Sau khi cài đặt, hãy mở hình ảnh 3D bạn tạo trên Microsoft Paint 3D. Bạn cũng có thể chuyển đổi hình ảnh thành tệp STL nếu muốn in chúng bằng máy in 3D.

Bạn cũng có thể báo cáo các sự cố và tìm giải pháp cho các sự cố đã được báo cáo bởi những người khác trên trang Shap-E GitHub.

Bạn có thể làm gì với Shap-E của OpenAI?

Shap-E của OpenAI cho phép mô tả các ý tưởng phức tạp bằng sự thể hiện trực quan của các ý tưởng. Các ứng dụng tiềm năng cho công nghệ này là vô hạn, đặc biệt là khi hình ảnh thường có sức lan tỏa hơn nhiều so với văn bản.

Kiến ​​trúc sư có thể sử dụng Shap-E để tạo mô hình 3D của một tòa nhà và cấu trúc dựa trên các mô tả bằng văn bản. Bạn có thể chỉ định kích thước, màu sắc, vật liệu và kiểu dáng của cấu trúc bằng các lệnh đơn giản. Ví dụ: bạn có thể ra lệnh “Tạo một tòa nhà chọc trời với 60 tầng và lan can bằng kính”. Sau đó, bạn có thể xuất (các) kết quả sang phần mềm khác để tùy chỉnh thêm nếu muốn. 

Người chơi game và nghệ sĩ vẽ hoạt hình có thể cải thiện môi trường ảo và trải nghiệm hình ảnh thông qua cách tạo các đối tượng và nhân vật 3D chi tiết. Trong ngành kỹ thuật, bạn có thể mô tả các thành phần, chức năng và thông số kỹ thuật của máy móc và thiết bị và nhận kết quả trong mô hình 3D trước khi tạo nguyên mẫu thực. 

Trong các lĩnh vực như giáo dục, Shap-E của OpenAI có thể giúp giáo viên truyền đạt những ý tưởng phức tạp và trừu tượng cho học sinh trong các môn học như sinh học, hình học và vật lý.

Tạo mô hình 3D với Shap-E của OpenAI

Shap-E là một minh chứng ấn tượng về sức mạnh của AI trong việc tạo nội dung 3D từ ngôn ngữ hoặc hình ảnh. Bạn có thể tạo các đối tượng 3D cho game máy tính, trải nghiệm VR tương tác, tạo sản phẩm nguyên mẫu và các mục đích khác. Mặc dù không đảm bảo về chất lượng đầu ra, nhưng mô hình AI này cung cấp cho bạn một cách nhanh chóng và hiệu quả để tạo mô hình 3D cho mọi thứ.

Tìm hiểu các khóa học lập trình của FUNiX tại đây:

Vân Nguyễn

Dịch từ: https://www.makeuseof.com/what-is-openai-shap-e-and-what-can-it-do/