sora技術打造首支音樂mv不能錯過的技術大揭密

Sora技術打造首支音樂MV ! 不能錯過的技術大揭密 !

首支全由Sora技術生成的音樂MV在5月初上線,製作過程中竟沒有啟用任何一位演員!所有超現實的流暢畫面,都是這款由ChatGPT團隊打造出的AI新工具打造出來的。

Sora是什麼?

Sora是 OpenAI 開發的新人工智慧模型,基於過去對 DALL·E 和 GPT 模型的研究,能夠根據文字指令生成影片,還可以將靜態圖像動畫化,將其轉換為動態影片進行演示。

Sora這一名稱源於日文「空」(そら sora),即天空之意,以示其無限的創造潛力。其背後的技術是在OpenAI的文字到圖像生成模型DALL-E基礎上開發而成的。模型的訓練資料既包含公開可用的影片,也包括了專為訓練目的而獲授權的著作權影片,但OpenAI沒有公開訓練資料的具體數量與確切來源。

sora

Sora 2024Open AI最新影片生成AI工具

Sora是今年Open AI最新研發的AI產品,此產品是一個實體模擬引擎,他主要是使用了一種叫做「擴散模型架構」的技術,如今Sora已可以根據文字描述、場景設定、動作指定來生成長達60秒的AI影片。

sora

Open AISora使用的5大範圍

電影製作與故事講述

  • 將想法和概念形象化,創建原創影片。
  • 根據觀眾喜好發掘新的有趣內容。

影片編輯與創新

  • 為現有影片增加特效、更改背景或加入新角色。
  • 基於觀眾反饋改進影片,提供更個性化和互動的觀影體驗。

教育影片製作

  • 解釋科學概念、歷史事件或文化現象。
  • 增強學習者理解與記憶,根據好奇心探索更多主題。

社交媒體內容創建

  • 解釋科學概念、歷史事件或文化現象。
  • 增強學習者理解與記憶,根據好奇心探索更多主題。

想法與概念形象化

  • 從文字描述中形象化產品設計、未來想象或幻想世界。
  • 幫助設計師和創新者測試原型,體驗不同的現實可能性。

首支全由Sora技術生成的音樂MV

首支全由Sora技術生成的音樂MV在5月初上線,製作過程中竟沒有啟用任何一位演員!所有超現實的流暢畫面,都是這款由ChatGPT團隊打造出的AI新工具打造出來的。

以「冷波」(chillwave)風格見長的Washed Out將於6月發行新專輯,前導單曲〈The Hardest Part〉MV中,以快速、流暢的畫面呈現了一對情侶40年間的生活片段,呼應歌詞描繪的愛與失落。但製作過程沒有起用任何一名演員、搭建任何一個場景。每一幀人類畫面,都是Sora想像出來的。

Sora優點 : 讓創作更自由,也不受預算限制

3月時,OpenAI釋出首波創意工作者試用Sora的報告〈Sora: first impressions〉。擅長影像創作的崔洛便是獲OpenAI欽點的人選之一。當時他表示,與Sora合作帶來前所未有的不受限之感,「在你不試圖複製舊的東西,而是實現新穎、原本不可能實現的事物時,Sora最是強大。」

〈The Hardest Part〉可說是這個觀點的又一次實證。從門洞裡外迥然不同的景色到飛掀的床單,崔洛善用模型的「幻覺」與不穩定性,接納奇異、近乎扭曲的細節,以夢幻般的超現實質感,呼應人類記憶的凝縮與不可靠性。

讓創作更自由,也不受預算限制

Sora缺點:不懂導演語言,生成的內容缺乏一致性

另一組與OpenAI合作的創意團體「shy kids」,在3月繳出約1分半長的Sora生成短片《Air Head》,描繪一名頭部是顆黃色氣球的男子的人生體悟。

負責後製的團隊成員希德伯格(Patrick Cederberg),在4月中時也分享了創作這支短片的技術細節。他表示Sora玩起來「非常有趣」,團隊已經在想像所有可以將它融入現有流程的方式,但「控制」依然是最難捉摸的部分。

由於Sora只能接受文字指令,不能以一次生成的影片來指引下一次的生成內容。即使用完全相同的文字指令,兩次生成內容也不會相同。目前並無現成功能來維持生成一致的角色,則是缺點。

以《Air Head》為例,希德伯格透露,每次生成的氣球都不盡相同。有時會有張臉在氣球上,有時下方會垂掛一條繩子,有時氣球甚至不是黃色的。

結論

Sora是一個會影響娛樂影視圈的一項AI工具,但一項工具的生成本就有好與壞兩面,但Open AI公司其實也了解這想工具發表後會帶來多大的影響與安全問題,所以目前只開放給部分專業的人士進行使用與測試。

返回頂端