JUCEで作るASIO対応アプリ -VSTプレイヤー編-

前回の記事に引き続き、JUCEからASIOドライバ対応のアプリケーションを作る手順を紹介します。本記事では、Projucerの”Audio Plug-In”テンプレートから作ることができるスタンドアローン形式のVSTプレイヤーを利用します。

■本記事の概要

1. ASIO SDKをダウンロードする
2. ASIO SDKのzipファイルを解凍する
3. Projucerで “Audio Plug-In”のテンプレートから新規プロジェクトを作成する
4. プロジェクト設定を開き、[Build Standalone Plug-In]を “Enabled”にする
5. [Modules] → [juce_audio_devices] → [JUCE_ASIO]を “Enabled”にする
6. [Exporters] → [Header Search paths]にASIO SDKのパスを入力する
7. プロジェクトを保存し、IDE (Visual Studio)でビルドする
8. ビルドしたアプリを起動し、オーディオ設定パネルからASIOを有効にする


1.ASIO SDKをダウンロードする

Steinbergの開発者向けページからダウンロードすることができます。
URL:https://www.steinberg.net/en/company/developers.html

 


2.zipファイルを解凍する

ASIO SDKをダウンロードしたら、zipファイルを解凍しておきましょう。
本記事では、”C:/SDKs/Steinberg SDK/ASIOSDK2.3″に解凍しておきます。
ASIO SDKにはソースコード、サンプルプロジェクト、ドキュメントが含まれています。

 


3.Projucerで新規プロジェクトを作成

本記事では、Projucerの”Audio Plug-In”テンプレートを元に作成したアプリケーションをASIOに対応させていきます。
“Audio Plug-In”テンプレートを利用することで、DAW等のホストアプリケーション上で実行することのできるVST/AUプラグインを簡単に作成することができます。
また、プラグイン形式だけでなく、スタンドアローン形式として、オーディオデバイスからの音声入力・出力やMIDI入出力を行うことができるアプリケーションを出力することができるのも大きな特徴です。

 


4.プロジェクト設定でスタンドアローン形式を有効にする

①[Projece Settings]ボタンをクリックし、プラグイン形式の選択画面を表示します。
②[Build Standalone Plug-In]を “Enabled”にしておきます。
※デフォルト値で”Enabled”になっています。

 


5.JUCEモジュール設定でASIO対応を有効にする

①プロジェクト設定から[Modules]→[juce_audio_devices]を選択します。
②[JUCE_ASIO]を “Enabled”に変更します。

 


6.エクスポート設定でASIO SDKのヘッダーファイルパスを追加する

①[Exporters]から、ビルドを実行するIDEのビルド設定アイテムを選択します。
②[Header Search Paths]欄に、上記(2)の作業で配置したASIO SDKのソースコードへのパスを入力します。
本記事では “C:/SDKs/Steinberg SDK/ASIOSDK2.3/common” を入力しました。
※画像ではReleaseビルドの設定項目にパスを追加していますが、DebugビルドでもASIO対応させたい場合は、同様にDebugビルドの設定項目にパスを追加してください。

 


7.プロジェクトの保存とIDE (Visual Studio)でビルド

Projucerでの作業が完了したら、プロジェクトを保存し、IDE(Visual Studio)でプロジェクトを開きます。
AppConfig.h内の”JUCE_ASIO”定義が有効になっていること、ASIO SDKのヘッダーファイルが参照されていることが確認できたら、ビルドを実行します。

 


8.ビルドしたアプリケーションの起動とASIOの有効化

アプリケーションの実装例として、JUCE JAPAN vol.2 で紹介したパラメトリックEQをスタンドアローン形式でビルドした場合を示します。
GitHub: https://github.com/COx2/JUCE_JAPAN_DEMO
VSTプラグイン版DL:  Windows (64bit+32bit) ,   macOS (64bit+32bit)

▼アプリケーションを起動する
ビルドしたアプリケーション “[プロジェクト名].exe” を起動すると、以下のような画面が 表示されます。

 

▼オーディオデバイス設定パネルを開く
ウインドウ左上の[Options]→ [Audio/MIDI Settings]をクリックしてオーディオデバイス設定パネルを開きます。

 

▼オーディオデバイス設定パネル
各項目の意味については、前回の記事の表の通りです。
なお、前回の記事には無かった[Feedback Loop]が追加されていますが、これはマイク入力とスピーカー出力との間でフィードバックループが発生してしまうのを防ぐために予めテンプレート側で実装されているスペシャルな機能です。

 

▼ASIOの設定を行う
[Audio device type]のコンボボックスから”ASIO”を選択すると、ドライバモードがASIOに切り替わり、GUIも変更されます。
[Device]のコンボボックスにASIO対応のデバイス一覧が表示されるので、使用するオーディオデバイスを選択します。
[Control Panel]ボタンをクリックすると、ASIOデバイス毎に設けられたコントロールパネルが開きます。

これで、ASIOに対応したスタンドアローンVSTプレイヤーが完成しました。
本記事で紹介した “Audio Plug-In”のテンプレートからASIO対応アプリを作ることで、低レイテンシーなオーディオ入出力機能を持ったアプリを作ることができます。

 

おまけ.

今回の記事を試してみたい…でもVSTプラグインのDSPとGUIの実装が面倒だ…、と思われた方には、JUCEのサンプルプロジェクト”JuceDemoPlugin”を改造するのがお勧めです。
“JUCE/examples/audio plugin demo”にある.jucerファイルを開き、上記手順の通りに設定を行うことで試すことができます。
VSTiの実装の参考にもなるでしょう。

glslEditor for VST サンプルコード

MIDI CC入力のサンプルコード

MIDI CC入力を受信していることを確認する実装例です。

varying vec4 destinationColour;
varying vec2 textureCoordOut;

#extension GL_OES_standard_derivatives : enable

uniform float time;
uniform vec2 mouse;
uniform vec2 resolution;
uniform float midiCC[128];
uniform float wave[256];
uniform float spectrum[256];

#define pi 3.1415

void main()
{
    vec2 position = (gl_FragCoord.xy / resolution.xy);
 
    float power = midiCC[position.x * 128];

    float r = position.y * 1.0;
    float g = 1-position.y * 1.0;
    float b = 0.;

    if(position.y < power * 0.01)
    {
        gl_FragColor = vec4(r, g, b, 1.0);
    }
    else
    { 
        gl_FragColor = vec4(0, 0, 0, 0.0);
    }
}

A GLSL editor running on VST / AU plug-in has been released

※2017/03/06 Update: Add the distribution of Windows installer version.

 

Download (free)

VST for Windows (64bit&32bit):
・Installer(64bit)

インストーラー版 for Windows(64bit)

・Installer(32bit)

インストーラー版 for Windows(32bit)

・ZIP(64bit&32bit)

ZIP版 for Windows(64bit&32bit)

 

VST/AU for macOS (64bit&32bit):

for macOS (64bit&32bit)

 

What is this?

It is an editor that describes a shader language called GLSL (OpenGL Shading Language) and a VST / AU plugin that displays a window to execute OpenGL drawing. Using the plug-in form, we have implemented the following distinctive functions.

  • Supports audio input from DAW (VST host)
  • Supports MIDI CC input from DAW (VST host)
  • Full screen display with multi display is also possible

By using these functions, you can control the shader in conjunction with DAW’s voice and MIDI automation. It may be used for VJ applications.
The shader that can be edited with this plug-in is “fragment shader” only.

What is GLSL?

For details, refer to the Wikipedia article.
I think that it would be nice if you could catch the article of “WebGL Honkyama” for more detailed information and fun illustrations.

Usage / compatibility with GLSL Sandbox

The GLSL editor of this plugin is designed to be compatible with GLSL Sandbox. By typing the same code as the GLSL Sandbox gallery into the editor you can draw in the same way.
Attention: Please properly operate / use shader code based on the existence of copyright. Especially, do not steal others’s code, or misrepresent others’ code as yourself.

Usage / uniform variables

Some uniform variables are specific to the GLSL Sandbox and others are provided by this plugin.

▼ GLSL Sandbox Specific

uniform float time:
 Get current time. Real-time animation can be realized by using this.
 * Ver 1.0 gives the frame counter every 0.2.

uniform vec2 mouse:
 While mouse dragging in the rendering window, you can get mouse coordinates. Both the X and Y directions range from 0 to 1.

uniform vec2 resolution:
 You can get the resolution of the current rendering window.

uniform vec2 surfacePosition:
 You can get the coordinates of the current surface (like billboard).

▼ This plug-in original implements

uniform float midiCC[128]:
 You can obtain MIDI CC events from the DAW (VST host). Get MIDI CC events as an array. "MidiCC [0]" means the value of "CC 0".
 The range of values ​​stored in each array is roughly 0 to 127, depending on the DAW.
 * For MIDI CC specifications, refer to the article of Wikipedia.

uniform float wave[256]:
 You can acquire voice waveform from DAW's mixer. Acquires 256 speech waveforms as an array. "Wave [0]" means the value of the "first sample" of the waveform.
 The range of values ​​stored in each array is roughly 0 to 1, depending on the DAW.

uniform float spectrum[256]:
 It is possible to obtain the value obtained by converting the speech waveform on the mixer of the DAW into the frequency spectrum. Acquire the frequency spectrum of 256 resolution as an array. "Spectrum [0]" means the value of the "lowest frequency" counted from the lower frequency in the frequency spectrum.
 The range of values ​​stored in each array is roughly 0 to 1, depending on the DAW.

License / source code

This software is distributed under “GPL v3” license.
The source code repository (GitHub) can be accessed from the following link.
GitHub

 

VST/AUプラグインで動くGLSLエディタを公開しました

※2017/03/06更新:Windows用インストーラー版の配布を追加しました。

 

ダウンロード(無料)

Windows版VST (64bit&32bit):
・インストーラー版(64bit)

インストーラー版 for Windows(64bit)

・インストーラー版(32bit)

インストーラー版 for Windows(32bit)

・ZIP版(64bit&32bit)

ZIP版 for Windows(64bit&32bit)

 

macOS版VST/AU (64bit&32bit):

macOS版VST/AU (64bit&32bit)

 

これは何?

GLSL (OpenGL Shading Language)というシェーダ専用言語を記述するエディタと、OpenGLの描画を実行するウインドウを表示するVST/AUプラグインです。プラグイン形式ということを活かし、以下の特徴的な機能を実装しています。

  • DAW(VSTホスト)からの音声入力に対応
  • MIDI CCの入力に対応
  • マルチディスプレイでフルスクリーン表示も可能

これらの機能を利用することで、DAWの音声やMIDIオートメーションと連動してシェーダをコントロールすることができます。VJ用途に使えるかも。
本プラグインで編集できるシェーダは「フラグメントシェーダ」のみになります。

GLSLって?

詳しくはWikipediaの記事を参照ください。
もっと詳しい情報や楽しい実例は『WebGL 総本山』さんの記事を漁っていただけるとよろしいかと思います。

使い方 / GLSL Sandboxとの互換性

このプラグインのGLSLエディタは、GLSL Sandboxと互換性があるように設計しています。GLSL Sandboxのギャラリーと同じコードをエディタに打ち込むことで、同じように描画することができます。
注意:シェーダのコードにも著作権が存在することを踏まえた適切な運用・利用をお願いします。特に、他人のコードを盗用したり、他人のコードを自分のものと偽って公開するなどはやめておきましょう。

使い方 / uniform変数

uniform変数などはGLSL Sandbox固有のものと、本プラグイン独自に用意したものがあります。

▼GLSL Sandbox固有

uniform float time:
 現在時刻を取得します。これを利用することでリアルタイムアニメーションを実現できます。
 ※ver 1.0では0.2毎のフレームカウンタを渡しています。

uniform vec2 mouse:
 レンダリングウインドウ内でマウスドラッグをする間、マウス座標を取得できます。X,Y方向ともに範囲は0~1です。

uniform vec2 resolution:
 現在のレンダリングウインドウの解像度を取得できます。

uniform vec2 surfacePosition:
 現在のサーフェス(板ポリ)の座標を取得できます。

▼本プラグイン独自実装

uniform float midiCC[128]:
 DAW(VSTホスト)からMIDI CCイベントを取得することができます。MIDI CCイベントを配列で取得します。"midiCC[0]"は"CC 0"の値を意味します。
 各配列に格納される値の範囲は、DAWにもよりますが概ね0~127です。
 ※MIDI CCの仕様については、Wikipediaの記事を参考に。

uniform float wave[256]:
 DAWのミキサーから音声波形を取得することができます。256点分の音声波形を配列で取得します。"wave[0]"は波形の"最初のサンプル"の値を意味します。
 各配列に格納される値の範囲は、DAWにもよりますが概ね0~1です。

uniform float spectrum[256]:
 DAWのミキサー上の音声波形を周波数スペクトルに変換した値を取得することができます。256分解能の周波数スペクトルを配列で取得します。"spectrum[0]"は周波数スペクトルのうち、低い方から数えて"最も低い周波数"の値を意味します。
 各配列に格納される値の範囲は、DAWにもよりますが概ね0~1です。

ライセンス/ソースコード

本ソフトウェアは『GPL v3』ライセンスの下で配布しています。
ソースコードリポジトリ(GitHub)へは以下リンクからアクセスすることができます。
GitHub