文章目录
- 一. 前言
- 二. 开发环境
- 三. 具体操作
- 四. 实际效果
一. 前言
起因是这样的，我需要在Ubuntu中，实时读取正在播放音乐的音频流，然后对音频进行相关的处理。本来打算使用的Pipewire+Helvum的方式实现，好处是可以直接利用Helvum图形化工具对软件输出的音频进行重定向，但是由于使用的是Ubuntu20.04，默认的音频服务器使用的是PulseAudio，替换为Pipewire后，播放的音频会出现卡顿不流畅，最终还是使用原生的PulseAudio+pavucontrol来实现实时播放的音频的处理。
二. 开发环境
Ubuntu： Ubuntu 20.04.6 LTS
虚拟机： VMware Workstation 17 Pro
音频服务器： PluseAudio
音频IO库： Portaudio
音频驱动： Alsa
开发语言： C/C++
三. 具体操作
举个例子，我们需要在Ubuntu中实时获取QQ音乐目前正在播放的音频流，我们需要按如下步骤进行操作：
1. 创建虚拟设备：
pactl load-module module-null-sink sink_name=music sink_properties=device.description="Virtual_Music_Sink"
终端输入指令，通过加载module-null-sink模块，PulseAudio 创建了一个虚拟的音频输出设备，其名称为 “music”。该虚拟设备不会直接输出声音，但它会自动生成一个监控源，记录所有发送到该虚拟设备的音频数据。
| 指令部分 | 作用 |
|---|---|
| pactl | PulseAudio 控制工具（PulseAudio Control） |
| load-module | 加载一个 PulseAudio 模块 |
| module-null-sink | 加载 Null Sink 模块，创建一个虚拟音频输出设备 |
| sink_name=music | 指定新创建的虚拟设备名称为 music |
| sink_properties=device.description=“Virtual_Music_Sink” | 设置设备的描述信息，在pavucontrol中显示为 “Virtual_Music_Sink” |
2. 设置 QQ 音乐的音频输出：
pavucontrol
终端输入指令，pavucontrol打开（PulseAudio 音量控制工具），在 “Playback” 选项卡中将 QQ 音乐的输出设备改为你刚创建的 “music” 虚拟设备。
3. 将虚拟设备输出到扬声器中：
为了保证你能听到音频，还需要把虚拟设备"music" 的音频输出送到物理扬声器。这可以通过加载module-loopback环回模块实现：
pactl load-module module-loopback source=music.monitor sink=alsa_output.pci-0000_02_02.0.analog-stereo
| 部分 | 作用 |
|---|---|
| pactl | PulseAudio 控制工具（PulseAudio Control） |
| load-module | 加载一个 PulseAudio 模块 |
| module-loopback | 加载 Loopback 模块，用于将音频流从一个设备转发到另一个设备 |
| source=music.monitor | 指定 音频来源 为 music.monitor（虚拟设备 music 的监控源） |
| sink=alsa_output.pci-0000_02_02.0.analog-stereo | 指定音频目标为 alsa_output.pci-0000_02_02.0.analog-stereo（物理扬声器） |
需要注意的是：sink后面的物理扬声器信息需要根据自己的电脑来定。
4. 在 PortAudio 中捕捉音频：
// PortAudio回调函数
static int paCallback(const void* inputBuffer, void* outputBuffer,
unsigned long framesPerBuffer,
const PaStreamCallbackTimeInfo* timeInfo,
PaStreamCallbackFlags statusFlags,
void* userData)
{
return paContinue;
}
int main()
{
PaStreamParameters inputParameters;
inputParameters.device = Pa_GetDefaultInputDevice();
inputParameters.channelCount = 1;
inputParameters.sampleFormat = paFloat32;
const PaDeviceInfo* deviceInfo = Pa_GetDeviceInfo(inputParameters.device);
inputParameters.suggestedLatency = deviceInfo->defaultLowInputLatency;
inputParameters.hostApiSpecificStreamInfo = nullptr;
PaStream* stream = nullptr;
Pa_OpenStream(&stream,
&inputParameters,
nullptr, // 不使用输出流
SAMPLE_RATE,
FRAMES_PER_BUFFER,
paNoFlag,
paCallback,
nullptr);
Pa_StartStream(stream);
while(1)
{}
}
5. pavucontrol修改程序音频入口：
打开pavucontrol后，在Recording中，把启动的应用程序的输入入口修改为Virtual_Music_Sink，这样就把程序的录音入口修改为我们的虚拟设备，由于前面我们使用load-module环回模块，已将QQ音乐中的输出重定向至Virtual_Music_Sink虚拟设备中，那么此时，Portaudio收到的input设备获得的音频流便是QQ音乐输出的音频流。
四. 实际效果
通过上述操作，我们可以采集到的QQ音乐中播放的音频，我们实时去捕捉音频中的节奏点，再通过Implot画出实时的歌曲的音频曲线和节奏信息，效果如下：
