Koemotionは、「Koeiromap(コエイロマップ)」と「Koemotion(コエモーション)」からなる生成AIサービスです。
従来の音声合成製品のように事前に用意された特定の話者の音声を合成するのではなく、2次元空間(マップ)から任意の座標を選択することで話者の声色を多種多様に変更して音声を合成することができます。
Koeiromap(コエイロマップ)とは
Koeiromapでは、座標で指定された全ての話者の声色に7種類の感情を乗せて合成することができ、様々な組み合わせを実現します。
また、入力されたテキストに込められた感情を推定する機能もあり、感情に合わせた発話スタイルで読み上げます。
Koemotion(コエモーション)とは
Koemotionは、Koeiromapで合成した音声と同期したフェイスモーションを生成し、2D・3Dモデルや画像生成AIと組み合わせることでキャラクターの表情を音声に合わせて動かせることができるサービスです。
ブラウザ上のユーザーインターフェースまたはAPIの利用が可能で、個人・法人向けに利用目的に合わせたサービスプランが用意されています。
Koemotionの主な特徴
・Koemotionでは、入力したテキストの感情予測・音声の合成・フェイスモーションの生成ができます。
・音声合成を担うKoeiromapは106話者から収録した約110時間の音声を用いて、話者の声色を表現する2次元の空間が学習されています。この2次元空間から任意の座標を選択することで、106話者の中間的な話者の声色も合成することができます。
・ブラウザ上で動作する2次元マップのユーザーインターフェースを採用したKoeiromapでは、好きな声を見つける楽しみを体験できます。
・Koeiromapでは全ての話者の声色で通常・喜び・悲しみ・怒り・恐れ・驚き・囁きの7種類の音声を合成します。
・KoemotionではKoeiromapで合成された音声に合わせたフェイス(顔)のキーポイントを3次元座標のモーションとして生成します。この座標情報を用いることで、2D・3Dモデルのキャラクターの表情を音声と同期させて動かすことができます。
Koemotionの料金プラン
Koemotionでは、基本無料の「Koemotion Demo」と「Koeiromap Free」、有料プランの「Koeiromap」「Koemotion」「Enterprise」が用意されています。
より高品質な音声合成を行いたい場合は、有料プランの加入がおすすめです。