最近 聆思科技 推出了视觉语音大模型 AI 开发套件，该套件围绕 CSK6 AI 芯片 设计的具备丰富语音图像功能与硬件外设的开发板，默认配套开箱即玩的 AI 应用，方便用户快速基于搭建 AI 硬件原型并体验算法效果。为支持 sig-Zephyr 的工作，聆思免费赠送该套件给 sig-Zephyr 成员。感谢聆思免费提供的开发板以及飞虎同学第一时间寄送和非常及时的支持。

硬件 链接到标题

该套件资源非常丰富：

  • SOC: CSK6011A
    • 多核异构
      • ARM STAR ( Armv8-M ) 300M
      • HIFI4 DSP ( Xtensa ) 300M
      • NPU 128GOPS
    • 1M SRAM
    • 8M PSRAM
    • 硬件乘法器、硬件除法器
    • 接口
      • 2 个定时器，8 个独立通道
      • GPIO x33
      • 4 路 LEDC 与 8 路 PWM 输出
      • 6 路触控按钮检测
      • DVP、USB 1.1 FS、UART x4、SDIO、I2C x2、I2S x3、SPI x2、ADC x4
  • 16M Flash
  • WIFI
  • SD 卡槽
  • USB 接口
  • 外接 GPIO
  • 按键
  • RGB LED
  • CH32 扩展外设
  • MIC x2
  • 320*240 触摸显示屏
  • 30W 像素的摄像头
  • 扬声器
  • DAPLink

![] (board.png)

软件 链接到标题

目前官方提供如下开箱即用的 AI 能力 Demo

使用方法 链接到标题

官方的教程给了不同主机系统下不同的工具方法，这里以一个 Zephyr 开发者的角度从单纯 Zephyr 的工具方法来说明如何在 Ubuntu 下构建和烧写 Demo 。

Demo 的下载和编译 链接到标题 

# 下载 Demo
mkdir ~/linstenai
cd ~/linstenai
git clone https://cloud.listenai.com/CSKG962172/duomotai_ap.git --depth=1

# 安装 Zephyr SDK
wget https://github.com/zephyrproject-rtos/sdk-ng/releases/download/v0.16.4/zephyr-sdk-0.16.4_linux-x86_64.tar.xz
wget -O - https://github.com/zephyrproject-rtos/sdk-ng/releases/download/v0.16.4/sha256.sum | shasum --check --ignore-missing
cd zephyr-sdk-0.16.4
./setup.sh

# 安装 pip 虚拟环境
cd ~/linstenai
python3 -m venv .venv
source .venv/bin/activate

# 安装 Zephyr 环境，拉去 Zephyr 代码
pip install west
west init -l duomotai_ap/
west update
pip install -r zephyr/scripts/requirements.txt

# 构建 Demo
west build -b csk6_duomotai_devkit duomotai_ap/apps/audio_recognition_online -p

Demo 下载到开发板 链接到标题

可以直接使用 west 通过 Daplink 进行下载:

west flash -r pyocd --frequency 20000000

Daplink 的下载速度比较慢，不会超过 50KB/s，因此使用官方提供的 cskburn，由于我没有使用官方封装的 lisa 工具，需要自己构建或下载

# 下载构建 cskburn
cd ~/linstenai
git clone https://github.com/LISTENAI/cskburn.git --depth=1
cd ./cskburn
git submodule init
git submodule update
./build.sh

# 烧写
./cskburn/build/cskburn/cskburn -s /dev/ttyACM0 -C 6 0x0  build/zephyr/zephyr.bin -b 1500000

使用感受 链接到标题

聆思芯片的主要目标是其 AI 能力，其硬件资源也倾向于向 AI 分配。这里单描述使用 Zephyr 的感受，属于一面之词并不完整全面。

硬件方面 链接到标题

优点：

  • 外设资源丰富，显示/声音/存储/网络/交互应有尽有
  • 可扩展性好，有大量的外扩排针，可以按需扩展
  • PCB 设计小巧，外设布局合理
  • 含有 DAPLink 调试方便
  • 可单独供电，开发板加外壳可以直接转化为成品

不足：

  • 内存偏小 PSRAM 只有 8M，默认 AP 可用只有 1M
  • 作为开发板，对喇叭要求不高，可以直接用小型喇叭固定到开发板上

软件方面 链接到标题

优点

  • AP 基于 Zephyr，生态丰富，可用组件多
  • DSP/NPU 提供开箱即用的软件
  • 基于 lisa 的构建封装，降低 Zephyr 的入门环境
  • 自有下载工具方便使用
  • AP 代码全开源
  • Zephyr 版本较新 ( v3.4.0 )

可改善

  • cskburn 下载速度在 160KB/s 左右，大模型 Demo 差不多在 10M，下载等待时间比较长
  • 给 Zephyr 的资源有限，SRAM 288K, PSRAM 1M，稍大应用就显得比较紧张，目前要改比较麻烦，能通过 snippet 进行方便的切换就比较好了
  • 带有大模型的 image 非常大，大模型的资源差不多有 7M，可以独立出来放到 Flash 指定分区内，这样 ap 的 image 会大幅缩小，每次烧写会节约不少时间

文档方面 链接到标题

优点

  • 聆思文档是 Zephyr 中文中比较全面的，它提供了从入门到进阶所需的所有内容。无论你是初学者还是有一定经验的开发者，都可以从中获益匪浅。除了涉及 AI 大模型之外，聆思文档还覆盖了广泛的 Zephyr 主题，使其成为学习 Zephyr 的理想选择。它详细介绍了 Zephyr 的核心概念、架构和组件，使读者能够全面了解该框架的工作原理。此外，它还提供了大量的示例代码和实践项目，帮助读者将理论知识应用到实际开发中。

待改善

  • 一些内容直接链接到 Zephyr 官网
  • 同一页文档中即有 lisa 也有 west 的说明，容易导致初学者混乱，将 lisa 和 west 构建分为两份独立的文档更为合适。

最后 链接到标题

有兴趣的同学可以从 视觉语音大模型 AI 开发套件 中找到淘宝链接购买。

文档中心 的 Zephyr 资源非常丰富，切莫错过。