6 mô hình AI tạo video từ văn bản

Không lâu sau khi Dall-E tạo cơn sốt sử dụng trí tuệ nhân tạo để "vẽ ảnh" từ văn bản, nhiều công ty nhanh chóng phát triển những mô hình có khả năng dựng video từ các câu lệnh do người dùng nhập vào. Sau hai năm, lĩnh vực này đã có những bước tiến dài, được giới chuyên gia đánh giá là đem đến chất lượng siêu thực.

Dù vẫn còn một số điểm chưa hoàn hảo, các công cụ AI vẫn cho thấy khả năng kiểm soát ấn tượng và tạo được những video đa dạng phong cách.

Sora

Đoạn video tạo bởi mô hình AI Sora đang gây sốt. Video: OpenAI

Sora là sản phẩm mới ra mắt tuần này của OpenAI - công ty tạo ra ChatGPT. Với sự nổi tiếng của công ty mẹ cùng khả năng "thấu hiểu sâu sắc ngôn ngữ" của mô hình, nhiều người dùng tỏ ra phấn khích với Sora. Các clip minh họa cho thấy mô hình này có thể tạo ra "những nhân vật có khả năng thể hiện cảm xúc sinh động", theo Analyticsindiamag. Độ chân thực của các sản phẩm từ Sora cũng là chủ đề bàn luận trên nhiều hội nhóm mạng xã hội. Một số người cho rằng công cụ AI này thực sự sẽ thay đổi cuộc chơi trên trên thị trường.

Tuy nhiên, trước khi đưa Sora tới công chúng, OpenAI sẽ phải tiến hành nhiều biện pháp cẩn trọng nhằm đảm bảo sự an toàn. Nhà phát triển thừa nhận Sora vẫn còn một số vấn đề, như giữ cho hình ảnh chuyển động mượt mà hay phân biệt bên trái, phải.

Lumier

Google gọi AI sản xuất video của mình là Lumiere, dựa trên mô hình khuếch tán (diffusion model) có tên Sapce-Time-U-Net (STUNet). Theo Ars Technica, Lumiere tìm ra những chi tiết trong video (không gian), theo dõi cách chúng chuyển động và thay đổi cùng lúc (thời gian). Điều này giúp quá trình vận hành suôn sẻ.

Hiện Lumiere chưa sẵn sàng để đưa ra công chúng nhưng Google có đủ khả năng phát triển những mô hình AI vượt trội so với các công cụ hiện tại như Runway hay Pika. Trên thực tế, chỉ trong hai năm, hãng đã tạo ra bước nhảy vọt về công nghệ trong lĩnh vực video game có AI.

VideoPoet

VideoPoet là mô hình ngôn ngữ lớn (LLM) được đào tạo từ kho video, ảnh, âm thanh và văn bản khổng lồ. Công cụ này có thể thực hiện nhiều nhiệm vụ tạo video khác nhau từ nguồn vào là văn bản, ảnh, video, làm nổi bật video theo phong cách, nội dung... hay chuyển video thành âm thanh.

VideoPoet xây dựng từ một ý tưởng rất đơn giản: chuyển bất cứ mô hình ngôn ngữ tự hồi quy nào được nhập vào sang một hệ thống tạo video. Hiện nay, các mô hình ngôn ngữ tự hồi quy có thể xử lý văn bản và mã hoàn toàn tự nhiên, nhưng lại gặp phải rào cản khi chuyển sang video. Để giải quyết vấn đề này, VideoPoet sử dụng mã thông báo có thể chuyển video, ảnh, âm thanh... thành ngôn ngữ nó có thể hiểu được.

Emu Video

Một công ty công nghệ lớn khác là Meta cũng có mô hình AI làm video riêng mang tên Emu Video. Công cụ này hoạt động theo hai bước: đầu tiên sẽ chuyển hình ảnh thành văn bản, sau đó sử dụng văn bản và hình ảnh để tạo ra video.

Các đánh giá viên tham gia vào chương trình này cho biết 81% trong số họ thích Emu Video hơn Imagen Video của Google, 90% chọn công cụ này so với Pyoco (Nvidia) và 96% nhận định tốt hơn Make-A-Video của chính Meta. Thêm vào đó, mô hình Emu Video cũng "đánh bại" các lựa chọn khác như RunwayML và Pika Labs, theo Analyticsindiamag.

Phenaki

Đội ngũ phát triển Phenaki Video sử dụng Mask GIT để sản xuất video từ văn bản trong PyTorch - khuôn khổ máy học dựa trên thư viện Torch, được sử dụng trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ tự nhiên do Meta AI phát triển. Mô hình này sử dụng văn bản để tạo video có độ dài tối đa hai phút.

Mô hình được đánh giá linh hoạt và khả dụng cho các nhà phát triển để huấn luyện AI chuyển văn bản thành ảnh hoặc video. Họ có thể bắt đầu bằng các hình ảnh rồi từ đó tinh chỉnh thành video mà không gặp trở ngại trong quá trình đào tạo.

CogVideo

Một nhóm nhà nghiên cứu từ Đại học Thanh Hoa, Trung Quốc đã phát triển CogVideo, mô hình AI tạo sinh chuyển văn bản thành video được đào tạo trên dữ liệu quy mô lớn. Họ xây dựng CogVideo từ một mô hình chuyển văn bản thành hình ảnh được huấn luyện trước có tên CogView2 để khám phá những kiến thức mà công cụ này đã học được.

Nghệ sĩ Glenn Marshall trong lần thử nghiệm mô hình này đã ấn tượng tới mức phải thốt lên rằng giới đạo diễn có thể mất việc. Đoạn video The Crow do ông tạo bằng CogVideo cũng được đánh giá rất cao, thậm chí còn được tham dự giải thưởng Điện ảnh Viện Hàn lâm Anh (BAFTA).