Open source models are crazy. Alibaba just dropped Wan 2.2 Animate, a new model that can animate any character based on a simple souce image. It handles facial expressions and body movements like no other model. 10 insane examples: (sound on)
WAN 2.2 Animate - AIキャラクターアニメーション＆動画キャラクター置換
WAN 2.2 Animateはアリババが開発した140億パラメータの革新的AIモデルで、キャラクターアニメーション生成と動画内のキャラクター置換に特化しています。高度なMixture-of-Experts (MoE)アーキテクチャを基盤に構築され、Apache 2.0ライセンスで公開されるこのモデルは、2つのコア機能に長けています。参照動作を用いて静止したキャラクター写真をアニメーション化すること、既存の動画内のキャラクターをシームレスに置き換えることです。卓越した時間的安定性、自然な表情の保持、一貫した照明適応能力により、WAN 2.2 Animateは映画品質のキャラクターアニメーションと置換結果を提供します。
キャラクター写真*
モーションクリップソース*
生成された結果がここに表示されます
タスクを送信した後、AI が生成したコンテンツがここに表示されます
公開
Wan 2.2 Animate YouTube動画
Wan 2.2 Animateの強力なAIキャラクターアニメーションとビデオ間変換機能を紹介するデモンストレーションとチュートリアルをご覧ください
WAN 2.2 Animate X での人気レビュー
X (Twitter) で WAN 2.2 Animate について何を言っているか見てみましょう
Wan 2.2 Animate is CRAZY and it actually excels at 3 things from my tests: 1. Lip syncing (so far the best open source I have seen, beating Runway Act2) 2. Consistent lighting & shadows with color tone replication when you swap a character 3. It keeps the replacement character Show more
Wan 2.2 Animate Lip syncing Test. Definitely way better than Runway Act2 in my opinion. Takes about 8 minutes for a HD video to be processed at 720p vertical (reels style)
You've probably seen viral character swaps from Wan 2.2 Animate. But now you can swap the character AND background using a reference video + new image. I turned myself into a YouTuber in Paris. How it works 👇
New tool to swap characters in a video: Wan 2.2 Animate Spent a few hours testing it out this weekend and have some thoughts on strengths + weaknesses. It's particularly strong at videos like this where you need to replicate lip sync and body movement. Other tips ⬇️
Wan 2.2 Animate is actually Crazy!! You can replace characters from a simple source image. No need to first frame anymore. It handles facial expressions and body movements like no other model I have ever seen. It is open source and free to use, that's the crazy part!
pretty much the end for dancing influencers lol… wan 2.2 animate can not only copy crazy camera moves, but it literally mimics body moves and.. even facial expressions accurately like honestly… can you even tell which one’s the real video?
omg... it's over... Hollywood has officially been left behind you can swap out any actor from any film in one click using Higgsfield’s Wan Replace, it even works with intense camera motion now, anyone can achieve Hollywood level motion control using AI here’s how to do it:
Just tried Wan2.2-Animate... and HOLY SMOKES, it's PERFECT! 🤯 @Alibaba_Wan
What used to take hours in After Effects now takes just ONE prompt. Nano Banana, Seedream 4, Wan 2.2, Runway Aleph et al are pioneering instruction-based editing -- collapsing complex VFX pipelines into a single, implicit step. Here's everything you need to know in 10 mins: Show more
WAN 2.2 Animateとは
Alibabaによる140億パラメータの高度なキャラクターアニメーションAIモデル
140億アクティブ270億 MoE 内のパラメータ
2モードAnimate & Replace
120秒最大継続時間
Apache 2.0商用ライセンス
WAN 2.2 Animateは270億 MoE アーキテクチャ内に140億のアクティブパラメータを備え、デュアルモード機能で静的なキャラクター写真に命を吹き込みます。
140億アクティブ270億 MoE 内のパラメータ
2モードAnimate & Replace
120秒最大継続時間
Apache 2.0商用ライセンス
WAN 2.2 Animateとは
Alibabaによる140億パラメータの高度なキャラクターアニメーションAIモデル
WAN 2.2 Animateは270億 MoE アーキテクチャ内に140億のアクティブパラメータを備え、デュアルモード機能で静的なキャラクター写真に命を吹き込みます。
WAN 2.2 Animateの強力な機能群
キャラクターアニメーション制作を格段にレベルアップさせる、WAN 2.2 Animateを唯一無二の存在にしている高度な機能の数々をご確認ください
140億パラメータMoEアーキテクチャ
総パラメータ270億、1ステップあたりわずか140億のアクティブパラメータに抑えた高度なMixture-of-Experts設計を採用し、効率的な推論性能とGPUメモリの最適化を両立しながら、トップクラスのアニメーション品質を実現します。
デュアルアニメーションモード
参照動作をもとに静止写真に命を吹き込むアニメーションモードと、元のシーンの照明と動きの特徴を保持したままビデオ内のキャラクターを違和感なく入れ替えられる置換モード、いずれにも柔軟に対応しています。
全体的な動き複製
参照ビデオから全身の動きと顔の表情までを高精度に捕捉して転送し、細かなジェスチャーのニュアンスや感情表現まで丁寧に再現することで、自然で現実的なキャラクターアニメーションを確実に仕上げます。
高い時間的安定性
高度なフレーム一貫性アルゴリズムにより、長尺のシーケンス全体でも滑らかでちらつきのないアニメーションを保証し、複雑な動きパターンを持つダイナミックなシーンでもキャラクターの外観と動きの流れを安定して維持します。
自然な表情保持
インテリジェントな顔の特徴追跡により、本物らしい感情表現と微細なマイクロムーブメントを維持し、目の動きや唇の同期を含む人間の表情の細かなディテールを保った、生き生きとしたキャラクターアニメーションを提供します。
適応照明統合
キャラクターを置き換える際に元のシーンの照明条件を自動的に分析して再現し、元のビデオ環境に完璧に調和する色調、影、ハイライトを実現して、シームレスな視覚統合を保証します。
Apache 2.0オープンソース
完全な商用利用、改変、配布を認める寛容なApache 2.0ライセンスの下で公開されています。カスタム実装や研究用途に必要な完全なモデルウェイトとトレーニング方法論を全てご利用いただけます。
柔軟な解析度サポート
480pと720pのオプションを含む複数の解析度でアニメーション生成に対応し、最大120秒の長尺ビデオをサポートし、多様なユースケースやプラットフォームの要件に適応できる出力品質を提供します。
WAN 2.2 Animateは合計270億パラメータを持つ先進的なMixture-of-Experts (MoE)アーキテクチャを導入していますが、推論ステップ1回あたりでアクティブに動作するのはわずか140億のパラメータのみです。この設計では2種類のエキスパートシステムを使い分けており、高ノイズエキスパートは全体レイアウトの調整が中心となるデノイジング初期段階を担当し、低ノイズエキスパートは後期段階でビデオの細部を磨き上げます。このアプローチにより、効率的なGPUメモリの利用と標準的な14Bモデル同等の推論性能を維持しながら、非常に優れたアニメーション品質を実現しています。
Animateモードは、静止したキャラクター写真に対して参照ビデオの動きと表情を反映させることで、新しいアニメーション映像を作り出す機能です。Replaceモードは既存のビデオを読み込み、元のキャラクターを新しいキャラクターに入れ替えながら、シーンの照明条件、色調、影、元の動きのダイナミクスを正確に保持します。どちらのモードも最大720pの解析度と最大120秒の長さのビデオに対応しています。
キャラクター写真の入力はPNGまたはJPG形式を受け入れており、最適な結果を得るためにWEBPの利用は推奨されません。参照ビデオはMP4、MOV、またはAVI形式で、ファイルサイズは最大500MBまで対応可能です。最良の結果を得るには、入力画像と参照ビデオの構図が一致し、アスペクト比が統一され、カメラアングルが似ていることを確認してください。モデルは480pと720pの出力解析度に対応しています。
本モデルは、拡張されたシーケンス全体を通して滑らかでちらつきのないアニメーションを維持するため、高度なフレーム一貫性アルゴリズムを実装しています。複雑で読みにくい動きパターンを持つ動的シーンであっても、生成されたビデオ全体で一貫したキャラクター外観と動きの流れを保つことで、高い時間的安定性を達成しています。これは、ビデオの全期間を通じて一定の品質が求められるプロフェッショナルな用途にとって特に重要な点です。
はい、利用可能です。WAN 2.2 AnimateはApache 2.0ライセンスの下でリリースされており、これは完全な商用利用、改変、配布を認める寛容なオープンソースライセンスです。ユーザーはカスタム実装、研究用途、製品展開のために完全なモデルウェイトとトレーニング方法論にアクセスでき、ライセンスによる制限やロイヤリティ料金は一切発生しません。
WAN 2.2 Animateは魅力的な機能を提供していますが、いくつかの制限が存在します:現在の最大出力解析度は720p(4Kではない)、ビデオの長さは120秒に制限されており、最良の結果を得るには入力画像と参照ビデオの構図を慎重に一致させる必要があります。モデルは入力間でアスペクト比が一致している場合に最も良く機能するため、複雑な照明シナリオや極端な動きパターンでは、時折一貫性の低い結果が生成される可能性があります。
WAN 2.2 Animateの使い方
WAN 2.2 Animateでキャラクターアニメーションを作成するステップバイステップガイド
1
キャラクター写真と参照ビデオを準備2
アニメーションモードを選択して設定を構成3
アニメーションビデオを生成してダウンロードPNG/JPG形式の明確なキャラクター写真とMP4/MOV/AVI形式の参照ビデオをアップロードします。最適なアニメーション結果のために入力間の構図とアスペクト比を一致させます。