张高兴的 Hailo-10 开发指南：（一）实现离线语音识别

音频也不适合上云。当然做边缘端离线语音识别不是什么新鲜事Whisper 开源之后很多开发者都在板子上跑过。但痛点在于它太吃算力普通的嵌入式主板纯靠 CPU 去硬算动辄就是几倍实时的延迟发热和功耗也扛不住根本没法落地。所以当我看到华硕出了个 UGen300只需插个 USB 就能扩展算力的 AI 加速模块我的第一反应是把它插在低功耗的开发板上能不能流畅跑起本地 WhisperUGen300 是什么ASUS UGen300 外观上和移动硬盘差不多USB-C 接口接上去系统就多了一个 Hailo-10H 的设备。Hailo 是以色列的芯片公司做边缘 AI 推理起家。继 Hailo-8 之后推出了第二代的 Hailo-10 芯片算力是 40 TOPS功耗极低满载不超过 5W。和 GPU 跑 Whisper 不同Hailo 上跑的是预编译的.hef文件模型已经被量化、图优化、编译进去了运行时直接推送数据进去不需要框架做任何动态计算可以参考之前博客的介绍“将自定义模型编译为 Hailo NPU 的 .hef 模型”。这就决定了它的延迟和功耗都非常稳定但代价是得用官方提供的模型或者自己走编译流程。Hailo 官方 hailo_model_zoo_genai 仓库里已经准备好了 Whisper-Tiny、Whisper-Base、Whisper-Small 三个版本的.hef文件直接下载就能用这省了很多麻烦。环境配置这里使用的是安装了 Raspberry Pi OS 的 Raspberry Pi 5 实现的。安装 HailoRT首先要安装 HailoRT这是 Hailo 的运行时库包含设备驱动、Python 绑定、命令行工具。可以去 Hailo Developer Zone 注册账号下载也可以在 ASUS 的官网下载。建议下载UGen Utility for UGen300 USB AI Accelerator里面有一个一键安装脚本避免单独安装时出现漏装。解压后有一ugen-utility-install.sh脚本执行即可安装。cd ~/ugen-utility_2.4.0-9_arm64_usb bash ugen-utility-install.sh装完用这个命令验证设备是否识别hailortcli fw-control identify例如piraspberrypi:~$ hailortcli fw-control identify Executing on device: usb/002:002 Identifying board Control Protocol Version: 2 Firmware Version: 5.3.2 (release,app) Logger Version: 0 Device Architecture: HAILO10HPython 环境如果你使用系统自带的 Python则需要的包已经随 HailoRT 一起装好。如果你使用的是虚拟环境则还需要在虚拟环境内安装hailort包。cd ~/ugen-utility_2.4.0-9_arm64_usb pip install hailort-5.3.0-cp312-cp312-linux_aarch64.whl音频支持如果你想实现麦克风实时采集还需要安装音频相关的工具。工具很多任选一种即可。sudo apt install alsa-utils pulseaudio-utils pavucontrol语音转文字模型下载所有 Whisper 模型均以.hef格式预编译音频采样率固定为16 kHz每次处理窗口为10 秒使用混合精度量化。模型参数量文件大小WER最低 HailoRTWhisper-Tiny39M78 MB48.14%≥ 5.2.0Whisper-Base74M155 MB25.32%≥ 5.2.0Whisper-Small244M388 MB10.61%≥ 5.2.0模型.hef文件下载地址见官方 MODELS 页面。将下载的.hef文件放入models/目录。例如models/ └── Whisper-Tiny.hef代码实现核心流程很简单麦克风 → PCM 数据 → Hailo 推理 → 文字。下面新建minimal_demo.py文件。0. 引用相关包import subprocess import numpy as np from hailo_platform import VDevice from hailo_platform.genai import Speech2Text, Speech2TextTask1. 录音用parec直接输出 float32 的 PCM 流16kHz 单声道录 3 秒。--formatfloat32le让 parec 直接输出 Hailo 需要的格式省去中间转换。proc subprocess.run( [timeout, str(RECORD_SEC), parec, --channels1, --rate16000, --formatfloat32le, --raw], stdoutsubprocess.PIPE, stderrsubprocess.DEVNULL, )2. 数据处理parec输出的字节流直接解析成 numpy 数组audio np.frombuffer(proc.stdout, dtypef4).copy()3. 加载设备和模型VDevice代表 UGen300 这个硬件Speech2Text是 Hailo 封装好的推理接口加载模型大概需要几秒钟首次编译缓存。vdevice VDevice() s2t Speech2Text(vdevice, ./models/Whisper-Tiny.hef)4. 推理text s2t.generate_all_text( audio, taskSpeech2TextTask.TRANSCRIBE, languagezh, # 指定中文也可以 None 自动检测 ) print(f识别结果{text})generate_all_text返回整段文字如果你需要知道每句话的时间位置比如做字幕换成generate_all_segmentssegments s2t.generate_all_segments( audio, taskSpeech2TextTask.TRANSCRIBE, languagezh, ) for seg in segments: print(f[{seg.start:.2f}s → {seg.end:.2f}s] {seg.text})总结整个折腾过程下来UGen300 确实完成了我最初设想的事情低功耗、本地、够快。就目前的表现来看它作为嵌入式语音方案的潜力非常可观比如做机密会议室的离线转写盒子。它彻底避开了云端方案的网络波动也从物理层面上掐断了隐私泄露的可能。