Skip to content

yuancaimaiyi/SpatialGlasses

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 

Repository files navigation

👓 SpatialGlasses:低成本空间智能挂件

让任何一副眼镜拥有空间智能


🚀 项目愿景与背景 (Vision & Background)

这款眼镜的灵感来源于2024年的openglasses 项目,由于自己本身一直处于AR行业,且从事算法研究工作,主要在视觉大空间VPS算法的研究颇多。当前行业现状是:高性能 AR/空间计算设备成本高昂(动辄数千美元),且体积和重量难以实现日常佩戴。此外,主流的 VPS 算法验证和呈现通常依赖于如 Unity/Unreal 等大型引擎环境,这极大地限制了算法在轻量级消费硬件上的落地。

因此,本人出于低成本的路线(让智能眼镜和钥匙扣一样便携),且要考虑到本人的擅长的算法,将算法和硬件结合起来。我们的目标是突破传统计算平台的限制,在 XIAO ESP32S3 这样资源受限的微控制器上实现核心的 VPS 6DoF 推理能力。

而这款眼镜的挂件/配件不能单纯的称之为AI眼镜或者AR眼镜,一方面最后的功能的确具备AI能力,但是其又具备定位能力(全局6dof),所以AI眼镜不能涵盖;而又不能单纯的称之为AR眼镜,因为其不具备显示功能。它提供的是一种“空间听觉”和“定位辅助”的全新体验。 我愿之称为其是 Spatial Glasses


🛠️ 架构概览 (Architecture)

未命名文件

核心流程:麦克风/触控输入 $\rightarrow$ ESP32S3 计算/算法处理 (含 VPS) $\rightarrow$ 结果通过 I2S 扬声器语音反馈 $\rightarrow$ 实现空间智能体验


🎯 硬件组成 (Hardware Components)

本项目旨在追求极致的低成本和便携性,主要组件清单如下:

序号 组件名称 描述
(1) XIAO ESP32S3 核心主控芯片,负责算法运行和功能控制。
(2) 滑动开关(3 脚) 电源控制开关。
(3) 3.7V 锂电池 供电单元,确保便携性。
(4) 两条触摸线 用于实现简单的用户交互(如唤醒或指令输入)。
(5) MAX98357 I2S 喇叭 音频输出,用于语音反馈。
(6) INMP441 麦克风 音频输入,用于语音唤醒和控制。
(7) 长方体外壳 定制外壳,确保配件的挂件/钥匙扣形态。

💡 功能路线图 (Feature Roadmap)

第一版功能 (V1 - 核心空间感知)

语音唤醒和控制: 实现用户友好的交互入口。 ✅ 接入视觉大空间定位 (VPS) 算法: 核心功能,实现精确的 6DoF 定位,并能够通过语音进行播放和反馈。

第二版功能 (V2 - 智能应用扩展)

  • 实现智能室内导航: 基于 V1 的 6DoF 定位能力,实现室内精准导航指引。
  • 物体检测与感知: 引入轻量级 AI 模型,实现对环境中特定物体的识别和语音提醒。

About

低成本的空间智能眼镜,让任何一款眼镜都具备智能

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published