具身智能任务规划实训平台 RAI-P4

具身智能任务规划实训平台 RAI-P4

具身机器人任务规划综合实训平台
RAI-P4

集成大模型、语音、视觉、机械臂与云台的一站式具身交互智能体实训平台。兼容 DeepSeek、通义千问、豆包等主流大模型,覆盖 OpenCV、YOLO、多模态 VLM 等视觉能力,并配套从 0 到 1 的智能体设计、机器人控制、智能体开发与视觉集成开发实训课程,适合专业课程综合实训。

适配人群/场景

面向高校人工智能、机器人、自动化、计算机科学等相关专业,支持大模型应用、机器视觉、机器学习、深度学习、嵌入式开发、传感器检测与控制、ROS、机器人学、机器人仿真设计与智能系统集成等课程的综合实践。

核心亮点

  • AI 语音、视觉与机械臂控制一体化平台
  • 60cm×60cm 桌面即可部署的教学形态
  • 兼容 4/6 自由度机械臂的递进式教学路径

产品特点

人工智能与机器人技术的系统性融合

围绕智能机械臂的核心环节,配置 AI 语音交互、AI 视觉识别、AI 嵌入式主板,并搭配颜色识别传感器、姿态检测传感器等常用部件,支持从知觉到决策再到执行的整链路教学。

一站式教学部署

平台出厂完成软硬件联调,无需额外配置电脑等实验设备;占用 60cm×60cm 桌面即可开展课程,适合实验室、创新工场与移动教学场景快速部署。

典型机械臂平台与递进式训练

以串联 4 自由度机械臂为基础,兼容扩展至典型 6 自由度机械臂;配套运动学算法、运动控制、仿真与 ROS 实验,帮助不同阶段学生循序渐进掌握机器人系统设计。

样机案例

样机案例

系统配置

传感器配置

覆盖智能语音、视觉感知与常见机器人动作反馈传感器,满足具身任务规划链路的多模态输入需求。

  • AI 语音交互麦克风阵列
  • 视觉云台摄像模组
  • 姿态检测传感器
  • 机械臂摄像头模组

控制器配置

内置 AI 嵌入式主板与开放式 I/O 接口,既可运行大模型推理与视觉算法,也便于接入机械臂驱动与外设控制,实现软硬件一体化协同。

控制器结构图

软件配置

预装 Ubuntu 与 ROS2(含 roscore、RViz、MoveIt)、Jupyter、VS Code、Python 3.9 等开发环境,开箱即可完成算法部署与教学演示。

兼容主流 AI/机器人开源生态,可快速对接 OpenCV、YOLO、LLM SDK、MoveIt 等框架,支持课堂教学与科研验证。

Ubuntu / ROS / RViz / VS Code / Python 软件环境图标

实验项目

实验体系覆盖机器人本体控制、传感器检测、计算机视觉、大模型语音对话、系统集成、ROS 与嵌入式开发等方向,共设计 40+ 个子项目,支撑跨学科综合能力培养。

机器人本体控制

  • 机械臂运动学控制建议课时 4|掌握 4 自由度机械臂正逆运动学建模与关节轨迹规划。
  • 机械臂直线插补控制建议课时 2|实现末端线性轨迹插补,理解速度/加速度参数调度。
  • 机械臂圆弧插补控制建议课时 2|完成空间圆弧轨迹规划与姿态保持控制。
  • 机械臂码垛搬运建议课时 4|结合坐标系标定与抓取策略,完成多点搬运任务规划。
  • 机械臂绘制几何图形建议课时 4|通过轨迹生成实现多种平面几何图形绘制。

传感器检测与控制

  • 姿态传感器数据获取建议课时 2|读取姿态传感器数据并进行姿态解算与滤波。
  • 手势控制机械臂动作建议课时 2|基于姿态传感器输入驱动机械臂,实现体感交互控制。

机器视觉基础(OpenCV)

  • 视觉颜色识别建议课时 2|利用 OpenCV 实现颜色空间转换与目标区分。
  • 视觉形状识别建议课时 2|完成轮廓提取与几何特征匹配,识别常见形状。

AI 视觉(YOLO)

  • YOLO 视觉部署建议课时 2|在嵌入式主板上部署 YOLO,实现实时推理。
  • 人脸检测建议课时 2|加载预训练模型完成人脸识别与边界框输出。
  • 人脸视觉追踪建议课时 2|结合云台联动实现人脸目标的动态追踪。
  • 数据集标注建议课时 2|掌握目标检测数据集标注与格式转换流程。
  • 模型训练与部署建议课时 2|完成模型再训练、量化与部署验证。
  • 工件检测建议课时 2|针对实训对象构建检测方案,实现分类与定位。

AI 视觉(通义千问多模态)

  • 通义千问多模态接口部署建议课时 2|调用多模态 API,完成图像理解与文本生成。
  • 水果检测与标记建议课时 2|结合通义千问,实现水果目标识别与语义标注。

大模型应用(AI 语音对话)

  • 语音转文字(ASR)部署建议课时 2|基于通义千问配置 ASR,实现语音输入解析。
  • 语义理解 LLM 部署建议课时 2|使用 DeepSeek 搭建语义理解与任务规划逻辑。
  • 文字转语音(TTS)部署建议课时 2|集成火山引擎 TTS,实现自然语音播报。
  • 基于大模型的完整语音对话建议课时 2|串联 ASR/LLM/TTS,构建端到端语音交互系统。
  • Function-Call 语音对话计算器建议课时 2|通过函数调用能力实现语音计算服务。
  • Function-Call 语音音乐播放建议课时 2|扩展音乐检索与播放任务,实现语音操控。
  • Function-Call 云台视觉任务规划建议课时 4|语音指令驱动云台视觉跟踪,完成目标搜索与反馈。
  • Function-Call 机械臂视觉任务规划建议课时 4|语音指令触发机械臂视觉定位与抓取执行。

机器人智能系统集成

  • Socket 通信建议课时 2|搭建机器人系统 Socket 通道并实现指令交互。
  • 视觉机械臂追踪建议课时 4|将视觉数据映射到机械臂坐标系,实现动态追踪。
  • 视觉-机械臂坐标变换建议课时 2|完成手眼标定,建立像素到姿态的映射关系。
  • 视觉机械臂分拣搬运建议课时 4|整合识别、规划与执行流程,完成分拣搬运任务。

机器人操作系统(ROS)

  • 快速运行一个 ROS2 项目建议课时 2|熟悉 ROS2 工作区创建、编译与运行流程。
  • ROS2 功能包构建与移植建议课时 2|掌握功能包创建、依赖管理与移植部署。
  • 机械臂 MoveIt 配置建议课时 2|完成 MoveIt 场景配置、碰撞模型导入与规划测试。
  • 4 自由度机械臂 MoveIt-RViz 仿真运动学控制建议课时 2|在 RViz 中实现仿真控制与轨迹验证。

嵌入式系统开发

  • Ubuntu 文件系统认知与基本操作建议课时 1|掌握常用目录结构与文件管理命令。
  • 编程工具认识(vi / nano)建议课时 1|熟悉终端编辑器基本操作与配置方法。
  • 配置开发常用服务(SSH / PuTTY)建议课时 2|搭建远程连接环境,保障多端协同开发。
  • Linux 文件 IO 编程建议课时 2|实现文件读写与异常处理,理解设备交互基础。
  • 串口通信建议课时 2|完成串口数据收发与协议封装,实现外设控制。
  • 进程 / 线程管理认知建议课时 2|理解 Linux 进程线程模型,并完成示例程序编写。
  • 界面设计建议课时 2|使用 Python/Qt 等工具快速构建人机交互界面。

知识库

获取更多关于该产品的技术文档、使用教程及常见问题解答。

前往查看

关键问题

问题 3:文档中哪些产品支持大模型集成应用,具体可实现哪些大模型相关功能?
具身复合机器人系统设计实训平台 RAI-M4具身智能任务规划实训平台 RAI-P4具身视觉感知决策实训平台 RAI-Q2

答案:支持大模型集成应用的产品有 3 款:

RAI-P4(3.4 万元):集成通义千问、Deepseek、火山引擎;可实现 ASR(通义千问)、LLM(Deepseek)、TTS(火山引擎)、Function-call(如语音对话计算器、音乐播放、云台 / 机械臂任务规划),并支持与 YOLO / 人脸追踪、机械臂控制的集成应用。

RAI-M4(2.4 万元):接入 Deepseek(LLM)、通义千问(ASR + 多模态);可实现自然语言转机器人任务流程(语音指令控制底盘 / 机械臂)、多模态物体检测(通义千问),结合麦轮底盘与 4 轴机械臂实现泛化操作。

RAI-Q2(3.2 万元):调用通义千问 VLM;可实现多模态视觉检测(水果检测与标记、未知物体识别),结合深度相机和高精度转台,适配机器视觉与大模型部署课程。