聆思CSK6語音視覺AI大模型開發板硬件詳解（附硬件資料下載）

ID:1124148 · 發表于 2024-6-12 19:24

本帖最后由 ListenAI 于 2024-6-12 19:26 編輯

視覺語音大模型 AI 開發套件( CSK6-MIX )是圍繞 CSK6011A 芯片設計的具備豐富語音圖像功能與硬件外設的開發板，采用具備豐富組件生態的 Zephyr RTOS作為操作系統，官方提供了十幾種開源SDK，包含大模型語音交互、大模型拍照識圖、文生圖、人臉識別、頭肩追蹤、手勢識別、坐姿提醒等。

聆思提供還提供了模型訓練推理工具將自己的算法模型部署至芯片上，也可以配合這個工具構建自己的 AI 應用。

功能特性

功能概述

● 使用聆思 CSK6011A 芯片作為主控，板載 16MB Flash

● 集成攝像頭、麥克風、揚聲器、屏幕等豐富外設配件

● 配套多模態應用示例，支持快速上手體驗大模型語音交互、智能視覺等 AI 應用

● 板載 DAPLINK 調試器，外接一條USB 線即可實現燒錄、調試、串口日志查看

● 板載網絡模組，支持開發聯網類應用

大模型示例SDK清單

SDK集成了星火大模型，可以二次開發改接其他大模型，示例清單見下表，可以直接通過鏈接進行固件燒錄并下載：

序號	大模型功能	使用教程	功能說明
1	大模型多模態	大模型多模態快速體驗	套件出廠默認應用。包含大模型語音問答、拍照識圖、大模型繪圖等豐富供能示例，支持語音喚醒、多輪語音交互。
2	智能對話	智能問答+坐姿檢測快速體驗	除了大模型語音對話，還集成了可離線運行的坐姿檢測算法，是一個大模型在線服務+離線AI能力的示例。
3	智能對話 + 文生圖 + 設備控制	大模型控制快速體驗	該示例展示了如何通過大模型實現語音輸入意圖的理解，實現對話、繪圖和控制開發板屏幕顏色進行切換，用戶可參考代碼與教程自行修改。
4	接入自定義應用	基于模板創建應用通過編排新增意圖落域	講解如何在云端快速建立一個自定義大模型應用并接入到開發套件上實現語音交互，由淺入深地展示如何開發自己的大模型助手。