ビートルズ最後の新曲「Now And Then (ナウ・アンド・ゼン)」や、ピーター・ジャクソン監督の『ザ・ビートルズ：Get Back (外部リンク)』で一躍有名になった「AIデミックス技術」は、音楽業界におけるAI活用の好事例です。

以前は不可能と言われた”高度な混合音声の分離”を可能にするAIデミックス技術は、既存の音源や映像音声の素材に新たな価値を生み出す画期的な次世代ツールとして、今世界から大きな注目を集めています。

今回は、AIの能力を遺憾なく発揮するAIデミックス技術の成り立ちと仕組み、そしてこの次世代技術がもたらす音楽・映像業界の革新と未来の可能性について、AIと一緒に考察していきます。最後までお楽しみください。

「AIデミックス(音声分離)技術」の仕組みと未来予測をAI本人と一緒に考察

AIデミックス技術とは何か

「音声分離技術」の成り立ちと発展｜20世紀後半〜2010年代中頃

初期の音声分離技術が生まれたのは20世紀後半のことで、その後1990年代から2000年代にかけて、「独立成分分析(ICA)」や「主成分分析(PCA)」などの手法が導入され、技術は徐々に進化を遂げていくことになります。

2010年代の初めには、音声分離にAI機械学習の手法を用いるスタイルが広まり、2010年代中頃には深層学習型のAIモデルが投入されます。これが既存の音声分離技術に革新的な進化をもたらすことになったのです。

AIデミックス技術の誕生｜2010年代後半〜現在

2010年代後半に入ると、Grokの生みの親としても知られるxAIや競合他社が、本格的にAIを用いた「高度な音声分離技術」を実現し、ここで今回のテーマでもある「デミックス」という新しい言葉が生まれます。

初期の音声分離技術では不可能と言われていた混合音声の明確な分離を実現するAIデミックス技術は、前述の通りビートルズのドキュメンタリー映像作品『ザ・ビートルズ：Get Back』で用いられ、世界に知られることになりました。

現在もAIデミックス技術は進化を続けており、音源制作現場で採用するアーティストやエンジニアも増えています。音源制作に「新たなスタンダード」が生まれたと言っても過言ではないでしょう。

AIデミックス技術の仕組み

混ざり合った状態にある”混合音声”から、AIが任意のボーカルや楽器などの音源を個別に抽出する技術が”AIデミックス”です。ここからはAI本人に「AIデミックスの仕組み」を解説してもらいましょう。

特徴の学習と各音源の特定

デミックスを手がけるAIは最初に、音楽を構成している各音源が「どのように時間と周波数に分布しているのか」を明確にして音声固有の周波数を解析します。その後”個々の音源”を特定する作業を行っていくそうです。

前述の映像作品『ザ・ビートルズ：Get Back』の場合、元となったセッションの録音には、雑多な要素(メンバーのお喋りなど)が含まれていましたが、AIはこれらを解析して個別に特定できるようになったのです。

マスクの実行と各音源の再構成

「マスク」とは、ある音源の周波数成分を強調して、他の音源を大幅に抑制する効果を指します。これによって例えば、楽器の音を全て抑えてボーカル音声のみを大幅に強調する、といったことを実行できるようになります。

「分離した全ての音源」に対してマスクを実行すれば、1つのトラックに多重録音されていた音声と楽器を綺麗に分離できるので、そこから様々なスタイルで「再ミックス」を行うことも可能になるのです。

「Now And Then」におけるAIデミックス技術の活用事例

ビートルズ最後の新曲「Now And Then」は、元々「アンソロジー・プロジェクト」の一環として、ポールたちがジョンのデモテープ音源に楽器やコーラスを付け加えようとして上手くいかず、一度頓挫した経緯を持つ曲です。

最初にポール、リンゴ、ジョージ、そしてジョージ・マーティンが取り組んだ時期の1990年代中盤に主流だった音声分離技術では、ジョンの声やピアノをデモテープから明確に抽出・分離することができなかったのです。

そこで、『ザ・ビートルズ：Get Back』で成果を上げた最新のAIデミックス技術をこのデモテープ音源に用いたところ、不可能と思われたジョンのボーカル抽出が可能となり、ポールとリンゴはついに曲を完成させることが出来ました。

AIデミックス技術がもたらすもの

ジョージ・マーティンの息子ジャイルズ・マーティンは、AIデミックス技術を用いてビートルズの名作アルバム「リボルバー」のリミックスを敢行しました。4トラックに多重録音された音源を個別に抽出したのです。

私は過去に「ピンポン録音」とも呼ばれる多重録音をした経験がありますが、当時は一度オーバーダビングした異なる音源は周波数帯が混ざり合ってしまうため、最終ミックス後に音源を個別抽出することは不可能でした。

数十年前は”技術的な壁”によって不可能とされていた高度な音声分離技術は、今ではAIを活用することで可能となっています。これがデミックス技術最大の恩恵であり、AIの画期的な活用事例と言えるでしょう。

AIデミックス技術の未来

AIによって飛躍的な進化を遂げた音声分離技術「AIデミックス」は、今後どのような発展を遂げながら未来へと向かっていくのでしょうか？AIデミックスの未来予想図をAI本人に尋ねてみました。

映像作品の音声修復ツールとして

古い映像作品が好きな私は、今後AIデミックス技術が過去の映像作品の音声修復・改善にも用いられてほしいと願っています。前述の通り、AIデミックスは「制作当時の技術的な課題」を大きく改善できる可能性があるからです。

AIデミックス技術を用いれば、モノラル録音された音声からも「人の声」「環境音」「ノイズ」を個別抽出して再構築できます。視聴に難がある画像の音声トラックを修復したい場合、有益な技術になるでしょう。

映像復元分野には現在高度なテクノロジーが存在しており、AI機能を活用した「モノクロ作品のカラー化」など、オリジナルを超える修復作業も行われています。音声修復分野の未来にも期待が持てそうです。

”リアルタイム音声分離”がもたらす未来の可能性

現在のAIデミックスは、主にインターネットを介さないオフライン技術ですが、将来的にはライブパフォーマンスやビデオ会議で「リアルタイム音声分離」も可能になるだろうとAIは考えています。

リアルタイムで特定の音声を判定・抽出できるということは、聴覚に問題を抱えている人のための補聴器の機能進化や、イヤホンの「アクティブノイズキャンセリング機能」が強化される未来にも繋がるはずです。

AIデミックス技術の未来をさらに探れば、雑踏の中で特定人物が「何を話しているか」を分析・解析することにも繋がります。犯罪抑止や事件の捜査においても、AIデミックス技術は人類に貢献してくれるでしょう。

文化遺産を未来へ繋ぐために

ビートルズの活用事例で明らかになったように、AIデミックス技術は歴史的な遺産が持っていた「輝きや可能性」を取り戻し、さらに”新たな解釈”を生み出しながら後世へ”遺産の価値”を残すこともできます。

音声分離作業自体はAIに任せながらも、「最終的な判断」を人間が下すことでAIデミックスのクオリティーは高まります。AIと人間の共業は、歴史的な文化遺産に息吹を吹き込んで輝かせる未来に繋がるはずです。

まとめ

ビートルズのリンゴ・スター氏は最近のインタビューで、「みんなは少しAIを恐れすぎている」と発言しました。これは「新技術は正しく活用すれば恩恵を受けられる」と言っているのと同義で、深い意味を持つ言葉です。

以前から存在していた音声分離技術は、AIの劇的な発展に伴って進化を遂げ、「デミックス」へとその形を変えました。このAIデミックス技術は今後、様々な分野で積極的に活用されていくことでしょう。

ただデミックス技術に関しては課題も多く、プライバシー保護や著作権管理など、法律・倫理面も考慮される必要があります。様々な課題を乗り越え、この新技術が上手く世界に浸透していくことを願いたいと思います。