R99M Ego Vision Egocentric · 第一视角

用操作者自己的眼睛
采集机器人该学的动作

面向具身智能与模仿学习:以第一人称视角同步采集 RGB、深度、IMU、力觉与音频等多模态数据,软硬件全套定制,直达抓取、装配与操作策略训练。

What is Ego Vision

什么是 Ego 视觉?

Egocentric Vision(自我中心视觉)—— 从操作者或机器人本体第一人称视角看世界,是具身智能数据飞轮的核心输入。

第一视角,不是第三视角

记录手眼协调、遮挡关系与操作意图,比固定监控摄像头更适合学习抓取与精细装配。

多模态同步

视频与深度、IMU、关节角、力/触觉、音频在同一时间轴对齐,减少后期清洗成本。

面向策略学习

输出 LeRobot / HDF5 / MCAP 等格式,对接 VLA、Diffusion Policy 与遥操作管线。

软硬件一体交付

从头戴/腕部/胸挂采集硬件,到录制、标注、导出软件,可按实验室或产线场景定制。

01 佩戴采集POV 相机 + 传感
02 微秒同步硬件触发 / PTP
03 边采边存本地 SSD 冗余
04 质检标注时间轴 / 事件标记
05 训练导出策略 / 模仿学习

Hardware

硬件采集方案

模块化 POV 采集硬件,支持单人示教与多人协作产线。

头戴式 Ego 采集模组

头戴 · 主视角

Ego 头显采集模组

双目 / RGB-D · 1080p@60 · 低延迟

贴近人眼视轴的主视角相机,可选 IMU 与 ToF 深度,适合桌面操作与实验室示教。

  • 视场 90°–110° 可调
  • 同步 硬件帧触发 / 时间戳
  • 佩戴 头带 / 安全帽夹具
腕部 POV 相机

腕部 · 手眼

腕挂 / 指环 POV 相机

微型 MIPI · 防水防油 · 快拆

捕捉精细抓取与工具使用细节,与主视角互补,降低遮挡盲区。

多路同步采集主机

边缘主机

多路同步采集主机

RK3588 / RK3576 · 多路 MIPI · SSD

汇聚 4–8 路 POV 与传感数据,本地编码存储,支持 GigE / WiFi 6 回传。

硬件规格清单

Software

软件与数据平台

多模态同步软件界面

同步引擎

多模态时间轴对齐

RGB / 深度 / IMU / 力觉同屏预览,一键开录、事件标记、质检告警与训练格式导出。

  • 导出 LeRobot · HDF5 · MCAP · rosbag
  • 运维 OTA · 远程配置 · 磁盘健康
完整软件功能清单

采集端

多路预览、一键开录、事件标记、磁盘健康管理;支持远程参数与 OTA。

标注与质检

片段切分、成功/失败标签、模糊帧检测,减少脏数据进入训练集。

训练导出

HDF5、LeRobot Dataset、自定义 JSON;对接 PyTorch / JAX 管线。

SDK / 授权

甲方自研硬件时可单独授权同步引擎与烧录工具,按台结算。

Cases & Demo

案例视频与演示

以下为典型场景演示封面;完整样机视频可通过微信预约远程演示。

桌面抓取示教

头戴 POV + 腕部相机同步录制,导出至模仿学习管线。点击预约演示视频。

装配产线采集

熟练工佩戴采集套件,批量构建装配策略数据集。点击预约演示视频。

遥操作 / VLA

第一视角低延迟链路,服务远程操控与视觉-语言-动作模型。点击预约演示。

标准 Ego 采集套件

Standard Kit

标准采集套件实物

头戴主视角、腕部相机、边缘主机、SSD 与标定板齐套,2–4 周可完成点亮演示。

Platform

算力与传感选型

RK3588 / RK3576

多路 1080p 编解码 + NPU,适合边缘采集主机与 onboard 预处理。

RGB-D / ToF

桌面抓取深度监督;与 RGB 严格对齐标定。

IMU + 编码器

头/腕姿态与工具轨迹,辅助动作分段。

力 / 触觉(可选)

插拔、按压、装配力度曲线入库。

Scenes

应用场景

实验室模仿学习

实验室模仿学习

研究员佩戴 Ego 设备示教,快速构建抓取与放置数据集。

装配产线

装配 / 质检产线

采集熟练工操作,迁移至协作机器人或质检模型。

遥操作

遥操作与 VLA

第一视角 + 低延迟链路,服务远程操控与视觉-语言-动作模型。

Contact

软硬件全套定制咨询

提供方案评估、样机打样与量产交付 · 电话/微信 18616597379

合作模式与交付
  • 邮箱 admin@lookzn.com
  • 地址 上海市松江区莘庄工业区