歌や楽器の録音をMIDIファイルへ正確に変換してくれるオープンソースのMIDIコンバーター「Basic Pitch」

Basic Pitch: An open source MIDI converter from Spotify - Demo
https://basicpitch.spotify.com/

Basic Pitchにアクセスするとこんな感じ。

今回、童謡「夕焼け小焼け」の冒頭フレーズを歌った録音ファイルをMIDIファイルに変換するため、「Drop your audio file here or click to select one」と書かれた場所にドラッグ＆ドロップします。なお、録音ファイル形式は「WAVE形式やMP3形式など」とあり、今回はiPhoneで録音したM4Aファイルを変換します。

録音がアップロードされ、MIDIファイルに変換されます。

すると、MIDIファイルの再生ボタン、MIDIファイルのダウンロードボタン、録音ファイルの再生パネルとともに、変換されたMIDIファイルのノートが表示されました。

実際にどんな感じに変換されたのかは以下のムービーを見るとわかります。録音の歌声がややヘニョヘニョだったため、MIDIの音量設定や音程にばらつきはあるものの、ちゃんと変換されていることがわかります。

何となく口ずさんだ歌の録音も正確にMIDIファイルへ変換してくれる「Basic Pitch」を使ってみた - YouTube


生成したMIDIファイルは、Basic Pitch上である程度調整することが可能。MIDIファイルのノート譜の下にある「SHOW MIDI ADJUSTMENTS」をクリックします。

「Note Segmentation(ノート分割)」「Model Confidence Threshold(モデルの信頼度のしきい値、ノートの数の増減)」「Minimum Pitch(最低許容周波数)」「Maximum Pitch(最高許容周波数)」「Minimum Note Length(最小ノート長)」「MIDI File Tempo(MIDIファイルのテンポ)」をスライドバーで設定可能です。

なお、Basic PitchのソースコードはGitHubで公開されています。

GitHub - spotify/basic-pitch: A lightweight yet powerful audio-to-MIDI converter with pitch bend detection
https://github.com/spotify/basic-pitch