MiniMax H3

MiniMax H3 のプロンプトは、決められた項目名の下に英語で書きます。ビデオノードに何を接続したかによって、1 行目の位置合わせの文と項目の構成が変わります。

接続した入力に合う形式を選ぶ

ビデオノードに接続した入力によって、プロンプトの 1 行目と項目の構成が変わります。

ビデオノードに接続した入力プロンプトの形式
なし(プロンプトのみ)3 つのフィールド
開始フレーム最初のフレームの位置合わせの文 + 3 つのフィールド
開始フレーム + 終了フレーム最初と最後のフレームの位置合わせの文 + 3 つのフィールド
参照画像またはビデオ入力6 つの項目

参照画像やビデオ入力を接続すると、開始・終了フレームは一緒に使用できません。そのため、1 つのプロンプトにはキーフレームの形式と参照資料の形式のどちらか一方だけを書きます。

  • 音は On/Off の設定がなく、常に映像と一緒に生成されるため、背景音や音楽もプロンプトの音の項目で指定します。
  • プロンプトは最大 7,000 文字まで入力できます。テキストノードを接続してプロンプトを入れる場合も、7,000 文字を超えた部分はモデルに渡されません。

対応する入力と長さ・比率・解像度は、動画モデルで確認できます。

プロンプトの構成

プロンプトだけで生成する場合や開始・終了フレームを接続した場合は、3 つのフィールドを決まった順序で書きます。

3 つのフィールドを下の順序で書き、フィールドの間には空行を入れます。

integrated_multimodal_description: [Shot 1] ...

overall_soundscape: ...

non_diegetic_music: ...
フィールド書く内容
integrated_multimodal_description本文。画面・動作・ショット・セリフ・現場の音を時系列で書きます。
overall_soundscape背景音・動作音・非言語的な音。英語で 1〜4 文で書きます。
non_diegetic_music観客にだけ聞こえる背景音楽。楽器・テンポ・リズムで書きます。ない場合は N/A です。

3 つのフィールドはすべて英語で書きます。元の言語のまま残すのは、<d> 内のセリフと画面に表示される文字だけです。

キーフレームを使うとき

開始フレームを接続した場合は、プロンプトの 1 行目に、接続したフレームに合った位置合わせの文を書きます。

位置合わせの文は、接続したフレームによって決まっています。文の下に空行を 1 つ入れ、続けて 3 つのフィールドを書いてプロンプトを完成させます。

開始フレームだけを接続するとき

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

目標動画の 0.00 秒の時点で、[Shot 1] に属する <Picture 1> をそのまま参照します。

開始フレームと終了フレームを一緒に接続するとき

How the reference pictures align with the target video — Picture 1 (from Shot 1) aligns with the 0.00-second mark of the target video; Picture 2 (from Shot N) aligns with the S.SS-second mark of the target video.

参照画像と目標動画の位置合わせ:Picture 1(Shot 1)は目標動画の 0.00 秒の時点に、Picture 2(Shot N)は S.SS 秒の時点に合わせます。

  • N は実際の最後のショットの番号で、S.SS は動画の長さを小数点以下 2 桁で書いた値です。ビデオノードで長さを 8 秒に設定した場合は 8.00 です。
  • 開始フレームが Picture 1、終了フレームが Picture 2 です。
  • 終了フレームの画像は最後のショットに属します。 Shot 1 には付けません。
  • 開始フレームと終了フレームを一緒に使うときは、単一のショットで構成するのがおすすめです。
  • プロンプトだけで生成するときは、位置合わせの文を書きません。

記号

ショットと話者、セリフ、参照資料は、決まった記号で表します。

記号用途
[Shot 1]ショットの区切り。最初のショットには時間を付けません。
(S1) (S2)話者番号。ショットが変わっても同じ番号を使います。一緒に話す場合は (S1,S2) と書きます。
<d>[言語] 内容</d>セリフ。言語タグと発話内容だけを入れ、演技の指示はタグの外に書きます。
<scenetrans>セリフがカットをまたぐときに、カットの前後に書きます。
<cutoff>動画が終わるところでセリフが途切れるときに書きます。
<Picture 1> <Video 1>参照資料。種類ごとに別々に番号を付けます。
<Subject 1>参照資料から取り出した人物・物・場所
" "画面に表示される文字。原文のまま書きます。
The young woman with a quiet, breathy voice (S1) says: <d>[English] I get off at the next station.</d>

静かで息づかいの混じった声の若い女性(S1)が言います。「次の駅で降ります。」

画面の外から聞こえる声は says in an off-screen voiceover と正確に書き、その直後に、その人物の口が閉じていることを書きます。こうすることで、画面内の人物に口の動きが誤って付くのを防げます。

セリフは翻訳しません

<d> 内の単語と句読点は、話す言語のまま残します。ほかのフィールドを英語で書く場合でも、セリフを英語に書き換えません。

参照資料の番号

  • 参照画像は、ビデオノードに接続した順に <Picture 1>、<Picture 2>… になります。接続を解除してから接続し直した画像は、最後の番号になります。
  • ビデオ入力は、キャンバスで接続した動画が先に番号を受け取り、ノードに直接アップロードした動画がその次の番号を受け取ります。

ショットとカメラ

最初のショットでスタイルと初期の構図を示し、2 つ目のショットからはカットの時間も一緒に書きます。

[Shot 1] の冒頭でスタイルと初期の構図を示します。スタイルは Live-action、cinematic、2D-animated、3D CG、claymation、watercolor、vintage film のように書きます。

2 つ目のショットからはカットの時間を書き、ショットが進むにつれて時間が後になるように書きます。

[Shot 2] At 00:03.500, the camera cuts to a close-up of her hands.

[Shot 2] 00:03.500 に、彼女の手のクローズアップにカットが切り替わります。

カットは、人物・空間・状態・視点・時間が変わるときだけ分けます。距離や角度だけを変えたい場合は、カットの代わりにカメラを動かします。

カメラの動きは、角括弧のコマンドを使わずに文の中に含めて書きます。

The camera pushes in with small amplitude at slow speed toward the letter in her hands.

カメラが、彼女が手に持った手紙に向かって、小さな振り幅でゆっくりとプッシュインします。

使える動きは Zoom In/Out Push In/Pull Out Pan Left/Right Truck Left/Right Tilt Up/Down Pedestal Up/Down Arc Shot Tracking Shot Static Shot Shake Slightly/Strongly POV Roll Clockwise/Counterclockwise です。

振り幅 with small/large amplitude と速度 at slow/fast speed は、必要なときだけ付けます。動きごとに付ける必要はありません。

参照資料を使うとき

参照画像やビデオ入力を接続した場合は、6 つの項目でプロンプトを書きます。

項目内容
subject_definitions各参照が何で、どのような役割を持つかを定義します。
summary全体として何を作るかを書きます。
retention_analysis各参照をどの程度維持するかを書きます。
detailed_description実際の動画の本文です。
overall_soundscape動画全体の背景音・動作音・非言語的な音を書きます。
non_diegetic_music観客にだけ聞こえる背景音楽を書きます。

本文の項目名は integrated_multimodal_description ではなく detailed_description です。

ラベルを選ぶ

参照資料の中にあるものを取り出して使う場合は <Subject>、ファイルそのものが役割を担う場合は <Picture>・<Video> を使います。

参照資料の使い方ラベル使う場面
中にあるものを取り出して使う(人物・場所・衣装・動作)<Subject N>画面に登場する内容
ファイルそのものが役割を担う(フレーム・構造)<Picture N>特定のフレームになるとき
ファイルそのものが役割を担う(フレーム・構造)<Video N>動画の構造・カットのリズムに従うとき

例

人物の写真とカフェの写真を順に参照画像として接続し、女性がカフェで一人で電話に出る 8 秒の動画を 2 つのショットで作ります。人物の写真を先に接続したので、人物の写真が <Picture 1>、カフェの写真が <Picture 2> です。

ステップ 1 — subject_definitions

ファイルごとではなく、個別に追跡する対象ごとに 1 行ずつ書きます。2 枚の写真は人物と場所を定義するためのもので、特定のフレームになるわけではないため、<Picture N> の行は別に作らず、Subject の定義の中で出典としてだけ書きます。

subject_definitions:
<Subject 1> is the young woman in <Picture 1>, with long dark hair and a blue cardigan.
<Subject 2> is the café interior in <Picture 2>, with a brick wall and a wooden counter.

<Subject 1> は <Picture 1> の若い女性で、長い黒髪に青いカーディガンを着ています。<Subject 2> は <Picture 2> のカフェの店内で、レンガの壁と木のカウンターがあります。

ステップ 2 — summary

角括弧の中に作業の種類を書いて始め、何を作るかを 1 段落で書きます。ここでは新しいラベルを作りません。

種類使う場面
keyframe completion画像が最初のフレームや最後のフレームのような具体的なフレームになるとき
reference generation人物・場所・スタイル・動作・カメラをガイドとして使うとき

ファイルを接続しても、種類は自動的には決まりません。 動画を接続していても、カメラの動きだけを参照する場合は reference generation です。

今回の例は写真から人物と場所を作るので、reference generation です。

summary:
[reference generation] The target video shows <Subject 1> sitting alone in <Subject 2> and answering a phone call across two shots.

目標動画は、<Subject 1> が <Subject 2> に一人で座っていて電話に出る様子を、2 つのショットにわたって映します。

ステップ 3 — retention_analysis

ステップ 1 で定義したラベルごとに 1 行ずつ書きます。どのショットに登場するか → マーカー → 何を維持するかの順です。

映像マーカー意味
fully_preserved定義した役割をそのまま維持します。
partially_preserved使用しますが、一部の特性が変わります。
attribute_transfer特性を別の対象に移します。
weak_referenceスタイルや雰囲気程度だけを取り入れます。
retention_analysis:
<Subject 1> (appears in [Shot 1], [Shot 2]): fully_preserved - her identity, long dark hair, and blue cardigan are retained.
<Subject 2> (appears in [Shot 1]): partially_preserved - the brick wall and wooden counter are retained, but the lighting shifts to evening.

<Subject 1>([Shot 1]、[Shot 2] に登場)は、人物のアイデンティティと長い黒髪、青いカーディガンをそのまま維持します。<Subject 2>([Shot 1] に登場)は、レンガの壁と木のカウンターを維持しつつ、照明が夕方に変わります。

  • マーカーは、ステップ 1 で決めた役割の範囲内でだけ選びます。 カフェの照明が夕方に変わるのは場所そのものの特性が変わることなので、partially_preserved です。人物が電話に出るのは、もともとなかった出来事が加わったのであって特性が変わったわけではないため、fully_preserved のままにします。
  • この項目には (S1) のような話者番号を書きません。

ステップ 4 — detailed_description

動画の本文です。再生順に、画面・動作・カメラ・セリフ・現場の音を書きます。

  • 先頭にスタイルを 1〜2 文で書き、次の行から [Shot 1] を始めます。
  • ラベルは、最初に登場する箇所と、その役割が適用される箇所に入れます。
  • [Shot 1] には時間を付けず、2 つ目のショットから At 00:04.000 の形式でカットの時間を書きます。
detailed_description:
The target video is in a cinematic, muted-color style with soft evening light.
[Shot 1] A medium-wide shot establishes <Subject 2>, the café interior with its brick wall and wooden counter, now lit by low evening light from the street. <Subject 1> (S1), the young woman with long dark hair and a blue cardigan, sits alone at the counter with a phone face-down beside her cup. The camera pushes in with small amplitude at slow speed as the phone vibrates and she turns it over.
[Shot 2] At 00:04.000, the shot cuts to a close-up of <Subject 1> (S1) raising the phone to her ear. She answers, <d>[English] I didn't think you'd call.</d> She closes her lips and looks toward the window.

落ち着いた色調に柔らかな夕方の光が差す、シネマティックなスタイルです。[Shot 1] ミディアムワイドショットで <Subject 2> を映します。レンガの壁と木のカウンターがあるカフェの店内は、通りから差し込む低い夕方の光に染まっています。長い黒髪に青いカーディガンを着た <Subject 1>(S1)がカウンターに一人で座り、カップの横にはスマートフォンが伏せて置かれています。スマートフォンが振動し、彼女がそれを裏返す間、カメラが小さな振り幅でゆっくりとプッシュインします。[Shot 2] 00:04.000 に、<Subject 1>(S1)がスマートフォンを耳に当てるクローズアップにカットが切り替わります。彼女は「電話してくるとは思わなかった。」と応じ、口を閉じて窓の外を見つめます。

  • 人物が直接話す場合は、ラベルと話者番号の両方を付けます(<Subject 1> (S1))。ラベルは誰であるかを、話者番号は誰が話しているかを示します。
  • 重要な Subject は最初に登場するときだけ特徴を描写し、以降のショットではラベルだけを書きます。もう一度定義することはしません。
  • 分量は英語で 350〜500 語が適しています。上の例は構成を示すために短くしたもので、実際にはショットごとに構図・照明・動作・音をより詳しく書きます。

ステップ 5 — 音の 2 つの項目

overall_soundscape には、動画全体の背景音・動作音・非言語的な音を英語で 1〜4 文で書きます。non_diegetic_music には、観客にだけ聞こえる背景音楽を楽器・テンポ・リズムを中心に 1〜3 文で書き、音楽がない場合は N/A と書きます。

overall_soundscape: Low café room tone continues throughout, with a distant espresso machine and quiet street traffic outside. The phone vibrates once against the wooden counter.

non_diegetic_music: Sparse piano notes at a slow tempo, joined by a sustained low string that fades out before the final line.

カフェの低い室内の環境音がずっと続き、遠くからエスプレッソマシンの音と、外の静かな車の音が聞こえます。スマートフォンが木のカウンターの上で一度振動します。 / ゆっくりしたテンポでまばらに鳴るピアノに低い弦楽器の長く伸びる音が加わり、最後のセリフの前に消えていきます。

セリフと歌詞は本文の <d> の中にだけ書き、音の項目では繰り返しません。

完成版

5 つのステップを 1 つにまとめたプロンプトです。

subject_definitions:
<Subject 1> is the young woman in <Picture 1>, with long dark hair and a blue cardigan.
<Subject 2> is the café interior in <Picture 2>, with a brick wall and a wooden counter.

summary:
[reference generation] The target video shows <Subject 1> sitting alone in <Subject 2> and answering a phone call across two shots.

retention_analysis:
<Subject 1> (appears in [Shot 1], [Shot 2]): fully_preserved - her identity, long dark hair, and blue cardigan are retained.
<Subject 2> (appears in [Shot 1]): partially_preserved - the brick wall and wooden counter are retained, but the lighting shifts to evening.

detailed_description:
The target video is in a cinematic, muted-color style with soft evening light.
[Shot 1] A medium-wide shot establishes <Subject 2>, the café interior with its brick wall and wooden counter, now lit by low evening light from the street. <Subject 1> (S1), the young woman with long dark hair and a blue cardigan, sits alone at the counter with a phone face-down beside her cup. The camera pushes in with small amplitude at slow speed as the phone vibrates and she turns it over.
[Shot 2] At 00:04.000, the shot cuts to a close-up of <Subject 1> (S1) raising the phone to her ear. She answers, <d>[English] I didn't think you'd call.</d> She closes her lips and looks toward the window.

overall_soundscape:
Low café room tone continues throughout, with a distant espresso machine and quiet street traffic outside. The phone vibrates once against the wooden counter.

non_diegetic_music:
Sparse piano notes at a slow tempo, joined by a sustained low string that fades out before the final line.