Research & AI

AI研究用途について

日本人演者による、しぐさや感情表現のモーションデータ。人の動きを扱うAIの学習・評価に向けて、必要な動作やデータの使い方からご相談いただけます。

収録データの見方

01

参照動画と、身体の動きを記録する

撮影時の見え方を残す参照動画と、身体の動きを持つFBX。映像で所作を確認しながら、3Dの動きと対応させます。

02

同じ手振りを、6つの演じ方で比べる

公開中の手振りパックでは、振り幅、視線、動作後の間、首の傾きが異なる6演技を確認できます。

  • T01普通に手を振る
  • T02小さく、控えめに手を振る
  • T03大きく、元気に手を振る
  • T04気づいてから、手を振る
  • T05手を振って、返事を待つ
  • T06首をかしげながら手を振る

03

原本を保ち、演技の区間を示す

genki_Take002.fbxを分割せず、最初と最後のTポーズを含めて保持します。カタログのプレビューは、下記の演技区間を使っています。

プレビュー区間(フレーム) · 120 fps
演技開始終了
T0110242104
T0224443528
T0338204880
T0452446344
T0566727728
T0680889164

「何をするか」と「どう演じるか」を分けて収録する

同じ「手を振る」でも、元気に大きく振る動きと、照れながら小さく振る動きでは、速さや振り幅、身体の使い方が変わります。SOBURIMOでは、この演じ方の違いを比較できるデータづくりを目指しています。

01

性格や感情を指定して、動きを生成する

撮影で揃える条件
例:「右手を振って挨拶する」という動作を共通にし、元気・おっとり・照れなどの演技指示を変えます。開始姿勢、立ち位置、動作の終わり方も記録します。
学習に向けたデータ整理
動作の区間を切り出し、演技指示と実際の動きを対応付けます。意図した演技と、見る人が受け取る印象は別に扱います。
応用例
「おっとりしたキャラクターが挨拶する」など、動作と演じ方を条件にしたモーション生成モデルの学習・評価に活用する設計です。

02

文章から、モーションを生成・検索する

撮影で揃える条件
例:使う手、向き、移動の有無、繰り返し回数を演技指示に含め、何をした動作なのかを確認しやすくします。
学習に向けたデータ整理
「右手を胸の高さに上げ、小さく二度振る」など、実際の動きを説明する文章を区間に付けます。日本語・英語の注釈や記述粒度は別途相談します。
応用例
文章と骨格の時系列を組にすることで、テキストからの動作生成や、自然文によるモーション検索の学習データとして検討できます。

03

生成された動きの違いを、同じ条件で比べる

撮影で揃える条件
同じ演技指示を複数回収録し、演者を変える場合も指示を共通にします。同じ演者内の違いと、演者間の違いを分けて記録します。
学習に向けたデータ整理
演者・収録日・テイクの対応を整理し、学習用と評価用の分け方を決めます。必要に応じて印象評価を付けますが、評価者や基準も合わせて記録します。
応用例
指定した性格が動きに表れているか、同じ動作ばかり生成していないかを比較する評価用データに。かわいさの評価は一つの絶対的な正解として扱いません。

04

映像と3Dの動きを対応付ける

撮影で揃える条件
テスト収録には3方向の実写参照動画と骨格データがあります。映像と骨格を組にして使う場合は、時間のずれと動作区間を確認します。
学習に向けたデータ整理
動画のフレームと骨格の時刻を対応付けます。用途によって必要なカメラ校正、座標系、遮蔽の扱いも確認します。完全同期・校正済みデータとしての提供は未確定です。
応用例
映像からの3D動作推定や、生成した動きと実演の比較に。ロボットへの応用には、別途リターゲット、可動域・接触条件の検証や制御学習が必要です。

データについて

以下は、現在のテスト収録原本で確認できる仕様です。納品するデータの形式・内容は、ご相談のうえ決定します。

モーション原本
現在確認しているテスト収録は、FBX形式・120fps・73ボーンです。身体や指の骨格の動きを時系列で記録しています。研究に取り込む際は、ボーン名・親子関係・座標系・単位を確認します。
収録のまとまり
キャラクターごとに演技を収録しています。確認中の「元気」の手振りデータでは、1本のFBXに香盤表の6演技が連続して入っています。普通に振る、小さく振る、大きく振る、相手に気づいてから振る、反応を待つ、首をかしげる、という演じ分けです。
演技の情報
香盤表には、演技ID、動作、感情、強度、演出指示を記録しています。これらは収録時の指示であり、演者の内面を計測した値や、AIが判定した感情の正解値ではありません。
演技ごとの区間
カタログでは、指示された動作を演じ始めてから演じ終わるまでを1演技として表示します。元ファイルとの対応は演技IDと開始・終了フレームで管理します。現在は「元気」の6演技で切り出しを確認しており、全収録の整備が完了した状態ではありません。
校正姿勢と納品単位
収録の最初と最後にあるTポーズを残し、モーション原本は収録ファイル一式で扱います。体格や骨格構造の異なるモデルへの適用には、初期姿勢の調整やリターゲットが必要です。研究用の区間データや変換形式は個別にご相談ください。
参照映像
1920×1080、60fps。実写3方向とアバター画面の参照があります。映像の提供には、別途利用条件の確認が必要です。
映像との対応
映像は実際の演技を確認するための参照資料です。現在のプレビューでは映像とFBXの時間差を推定して合わせており、厳密なフレーム同期を保証するデータではありません。映像と3D動作のペアを学習・評価に使う場合は、必要な同期精度と再確認の範囲を事前に決めます。
納品時の確認事項
必要な動作、収録量、ファイル形式、骨格構造、ラベル、参照映像の要否。リターゲットや追加処理の範囲も事前に確認します。

モーションデータは身体の動きを表すもので、ロボットの関節トルクや接触力の計測データではありません。用途に適した内容か、導入前にご確認ください。

研究・AI利用のご相談

応相談

対象となる動作・データ量と、研究や商用開発での利用範囲をもとにお見積もりします。必要な分だけのご相談も可能です。

評価用データのご希望も、用途と提供条件を確認したうえでご相談します。

利用条件と演者の同意

AI学習への利用、組織内外での共有、商用利用など、ご希望の範囲を契約で確認します。演者の同意条件に合うデータのみが提供対象です。

標準ライセンスではAI学習に使用できません。研究・AI利用には別途条件の確認と合意が必要です。

相談の進め方

  1. 01

    使い方を伺います

    研究テーマや開発内容、欲しい動作、希望時期をお知らせください。仕様がまだ固まっていない段階でもご相談いただけます。

  2. 02

    内容と条件を確認します

    対象データ、形式、利用・共有の範囲をすり合わせます。演者の同意条件も確認し、提供できる内容を整理します。

  3. 03

    お見積もり・契約

    データ量と利用条件に応じてお見積もりします。提供内容、料金、納期に合意したうえで契約を進めます。

応用を検討する際の参考研究

問い合わせる

研究・AI利用の目的とご希望のデータをお知らせください。提供条件と料金は個別にご相談します。