騰訊聯手多所大學推出StyleCrafter 可用于視頻模型訓練

  新聞資訊     |      2023-12-16 14:00:18

  【CNMO新聞】近日,根據品玩報道,騰訊 AI 實驗室近日聯手清華大學和香港中文大學,共同推出一種名為 StyleCrafter 的通用方法,可幫助通過風格控制適配器增強預訓練的視頻生成模型。

騰訊聯手多所大學推出StyleCrafter 可用于視頻模型訓練

  論文表示,依靠 StyleCrafter ,模型可以根據參考圖像生成不同風格的視頻。為了促進內容與風格的分離,研究團隊刪除了文本提示中的風格描述,并使用解耦學習策略僅從參考圖像中提取風格信息。研究團隊還設計了一個規模自適應融合模塊,以平衡基于文本的內容特征和基于圖像的風格特征的影響,這有助于在各種文本和風格組合中實現泛化。

  實驗顯爱游戏示,StyleCrafter 能高效生成高質量的風格化視頻,這些視頻既與文本內容一致,又與參考圖像的風格相似。