工場建設ゲーム「Factorio」の中に2000台近くのスピーカーを並べてMP3プレイヤーを実装

Factorioには回路ネットワークからの信号に応じて音を鳴らすプログラマブルスピーカーが用意されています。これまでにもプログラマブルスピーカーを使って音楽を演奏する試みは行われてきましたが、基本的にはMIDIのようにゲーム内の楽器で音符を再現するものでした。FactoTuneを開発したYouTubeチャンネルのNablanautは、楽器の演奏だけでなく歌声なども含めて録音された音声そのものを再現しようと考えました。
プログラマブルスピーカーでは11種類の楽器で計360種類の音を鳴らすことが可能で、それぞれの音量を0~100の範囲で調整できます。まずNablanautは360種類の音の波形を数値データに変換し、線形代数を用いて元の楽曲の波形を再現するために必要な各音の音量を計算しました。約132万個の方程式を一度に解いて360種類の音の音量を求めましたが、再生された音は元の楽曲とは程遠いものだったとのこと。
失敗の原因はプログラマブルスピーカーで鳴らせる音のほとんどが1秒以内に終了することでした。数分間にわたる楽曲を再現するには、音の組み合わせや音量を絶えず変化させる必要があります。
そこでNablanautは楽曲を細かく分割し、Factorioの処理単位である1ティックごとに各スピーカーの音量を変更する方法に切り替えました。しかし、Factorioは毎秒60ティックでゲームの処理を実行する一方、音声の処理は512サンプルを1ブロックとして毎秒約86回実行しています。ゲーム側からスピーカーの音量を変更する命令を送っても、音声処理側が命令を受け取るのは次のブロックの開始時です。2つの処理のタイミングが一致していないため、1ティック分の命令で音が1ブロック分鳴るのか2ブロック分鳴るのかを事前に把握できません。
Nablanautはタイミングのずれを考慮しつつ、元の音声波形とスピーカーから出力される音声波形の誤差を最小化する「最小二乗法」を利用して各スピーカーの音量を計算しました。当初はゲームの仕様に従って同時に鳴らす音を50種類に制限し、元の波形との差を埋めるのに適した音を1種類ずつ追加する方法を採用しましたが、この時点で元の楽曲を聞き取れるようになったものの、かなりのノイズが混じっていたそうです。
さらに使用された音の内訳を調べたところ、矩形波が絶えず使用される一方でピアノの音はほとんど使用されていないことが判明しました。矩形波の音量はピアノの約13倍もあり、音量の大きな音が計算時に優先されていたためです。そこで、各音の音量をそろえた状態で波形を比較するように変更した結果、ピアノを含むさまざまな音が使われるようになりました。
FactorioのWikiには同時に鳴らせる音は50個までと記載されていましたが、Ctrl+Altキーを押しながら設定画面を開くと表示される隠し設定から、同時発音数の上限を変更できることが判明。Nablanautはこの上限を引き上げて360種類すべての音を利用できるようにしました。
また、同じ音を複数のスピーカーで同時に鳴らせば、1台のスピーカーでは出せない大きさの音も再現できます。複数のスピーカーを使うことで音量をより細かく調整できるようになり、元の楽曲の再現精度が大幅に向上しました。
ここまでの方法では各音の冒頭部分しか楽曲の再現に利用できませんでした。しかし、プログラマブルスピーカーには音を鳴らすかどうかを制御する入力と音量を制御する入力が別々に存在します。あらかじめ音量0で音を鳴らし始めておき、必要なタイミングで音量を上げれば、音の途中の波形も利用できます。
問題はゲームと音声処理のタイミングのずれによって、音量を上げた際に意図した波形が再生されるとは限らないことです。Nablanautは最終的に、タイミングのずれによって生じる8通りのパターンをすべて考慮し、どのパターンでも元の楽曲に近い波形になるように各スピーカーの音量を計算する方法を考案しました。
この方法では1700台以上のスピーカーが必要になったものの、音質は大幅に改善されました。一方で、大量の装置を動作させることでゲームの処理に遅延が発生し、再生するたびに異なる箇所でクリックノイズが生じるという問題も残っています。
開発の途中でFactorioのバージョン2.1がリリースされ、音声処理の仕様が変更されました。1ブロックあたりのサンプル数が512から441に減少したことで、ゲームの3ティックと音声処理の5ブロックがちょうど一致するようになり、考慮すべきタイミングのパターンが8通りから3通りに減少しました。
また、プログラマブルスピーカーで鳴らせる音の約半数は左右のチャンネルで異なる波形を持っています。Nablanautはこれまでモノラル音声として計算していましたが、左右それぞれの波形を考慮するように変更し、ステレオ音声の再現にも成功しました。
最終的には楽曲の1ティック分を再現するために約3000×4000の規模の連立方程式を解く必要があり、この計算を楽曲の1秒につき60回実行します。計算自体はゲームの外部で行われ、求められた各スピーカーの音量はPythonスクリプトでFactorioの設計図である「ブループリント」に変換されます。
ゲーム内では各スピーカーのティックごとの音量を「定数回路」に保存しておきます。回路ネットワークで経過したティック数を数え、対応する音量のデータを読み出して各スピーカーに送信することで、楽曲を再生する仕組みです。
Darudeの楽曲「Sandstorm」の30秒間を再現するために構築されたシステムで使用されたプログラマブルスピーカーの数は1859台にも上るとのこと。Sandstormを再生している様子は動画の16分16秒辺りから聞くことができます。
Nablanautはさらに、出現頻度の高いデータを少ないビット数で表現するエントロピー符号化方式の一種である「rANS」を採用しました。無音のデータに割り当てるビット数を減らすことで、スピーカー1台の1ティック分の音量を平均1ビット強で表現できるようになりました。圧縮されたデータはゲーム内の回路ネットワークでリアルタイムに復号されます。
データ圧縮の結果、ブループリントのデータサイズは従来の3分の1未満に縮小され、保存する数値の個数は約6分の1に減少。ゲーム内でシステムが占める面積も半分未満になりました。
動画の最後では、世界で初めてコンピューターが歌ったことで知られる歌曲『デイジー・ベル』を大量のスピーカーが並んだ工場で再生する様子を視聴できます。そして、再生中にユニットの一部を破壊されるとどうなるのかはぜひ動画を見てチェックしてみてください。
なお、Nablanautは任意の音声ファイルをFactorioのブループリントに変換できるウェブサイトも公開しています。
FactoTune: play any song in Factorio with programmable speakers
https://factotune.pages.dev/
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.


















