AI眼镜解决方案及AI+AR的可能性探讨-舜为科技-罗敏文

AI眼镜解决方案及AI+AR的可能性探讨舜为科技-罗敏文本文件为浙江舜为科技有限公司专有之财产，非由书面许可，不得以其他形式使用。This document is the exclusive property of Zhejiang Sunnyverse Technology Co., Ltd shall not be used in other forms without written permission.密2成立2021年总部占地面积18000㎡公司总部&制造工厂浙江杭州浙江舜为科技有限公司立足于舜宇集团在光学、光电领域的深厚积累，专注于XR行业，以行业领先的研发能力、严格的全产品生命周期质量管理、卓越的制造能力，结合虹软、网新的软件、算法等核心资源，致力于成为全球领先的 XR 系统方案解决商。 —— 致力于成为全球领先的 XR 系统方案解决商部分行业支持部分算法资源专业光学团队 丰富供应链资源卓越制造和交付能力全生命周期质量管理 办事处上海Part1Part2Part3Part4智能眼镜方案演进路径智能眼镜的关键技术舜为智能眼镜解决方案AI+AR可能性探讨本文件为浙江舜为科技有限公司专有之财产，非由书面许可，不得以其他形式使用。This document is the exclusive property of Zhejiang Sunnyverse Technology Co., Ltd shall not be used in other forms without written permission.密2u演 变 路 径 ： 以 眼 镜 为 载 体 , 分 阶 段 实 现 音 频 赋 能 , 拍 照 赋 能 , 显 示 赋 能 ， 多 交 互 维 度 赋 能 。理念：眼镜+耳机•多Mic，支持降噪，远场拾音等•3D音频，防漏音等•语音交互，语音合成，语音识别智能音频眼镜理念：拍照分享•第一视角拍照•连接AI大模型•多模态识别•降噪，拾音，佩戴者分离智能眼镜+Camera理念：交互维度提升，获取信息更准确•AR功能显示，虚实融合•AI 轻量级多模态模型端侧落地•集成眼动，交互效率提升智能眼镜+Camera+光学+眼动理念：更多信息获取维度•信息提示•图像预览•AR功能显示，虚实融合•AI 轻量级多模态模型端侧落地智能眼镜+Camera+光学智能眼镜方案演进路径本文件为浙江舜为科技有限公司专有之财产，非由书面许可，不得以其他形式使用。This document is the exclusive property of Zhejiang Sunnyverse Technology Co., Ltd shall not be used in other forms without written permission.密2智能眼镜的关键技术-Camera所拍即所见——高质量影像•高分辨率-高像素传感器•畸变控制，边缘解析力高-镜头优化•动态场景适应-防抖算法优化•低光环境优化-结合HDR和多帧合成技术……全天候佩戴——续航与轻量化设计u作为AI GLASS的最核心的组件，模组的发展也是多元化的，其中小型化，低功耗，算法加持都是趋势。市场对AI眼镜摄像头拍摄效果和性能的需求，本质是硬件能力与算法综合提升的要求。拍摄直播AI识人识物场景：本文件为浙江舜为科技有限公司专有之财产，非由书面许可，不得以其他形式使用。This document is the exclusive property of Zhejiang Sunnyverse Technology Co., Ltd shall not be used in other forms without written permission.密2智能眼镜的关键技术-音频副标题：输入的文字功能.说明多mic处理2-5mic阵列，支持VPU近场降噪通话降噪，Nmos4.4远场降噪远距离拾音降噪 ，3m佩戴“分区”屏蔽非佩戴者语音，30cm低功耗唤醒1.5mA，98%唤醒率风噪处理解决骑行场景风噪，5m/s语音命令控制语音控制，解放双手语音识别识别理解语音内容语言翻译翻译目标语言立体声录音更真实复现原声场功能.说明大振幅单元提供更优质的低音，0.6mm漏音保护通话隐私，免打扰他人，隔离度40dB@50cm；近耳声场佩戴不入耳，声音自然，2-3cmSmart PA保护喇叭并释放喇叭单元潜能钢琴音优化“钢琴音”功耗优化动态优化音频功耗声场扩展声临其境，有包围感虚拟低音增强低频效果人声清晰人声更加清晰突出左上左下右上右下场景：通话，音乐，语音交互本文件为浙江舜为科技有限公司专有之财产，非由书面许可，不得以其他形式使用。This document is the exclusive property of Zhejiang Sunnyverse Technology Co., Ltd shall not be used in other forms without written permission.密2智能眼镜的关键技术-眼动副标题：输入的文字大脑语言听觉触觉视觉感知输出信息获取信息处理多模态交互触控眼动语音粗略交互（滑动，按钮选择）凝视目标分析（翻译）凝视目标分析（识物）Ø 单IR相机单LED+RGB场景相机Glint-Free优势•算法功耗及系统功耗相对较低•器件较少、成本低、布线简易•系统标定流程大大简化功能具有滑移补偿、佩戴检测、IPD检测、视线深度输出等主要功能RGB场景相机IR相机红外LED光源相机朝向示意眼镜框示意图例说明SoC处理器示意本文件为浙江舜为科技有限公司专有之财产，非由书面许可，不得以其他形式使用。This document is the exclusive property of Zhejiang Sunnyverse Technology Co., Ltd shall not be used in other forms without written permission.密2•拍照，来电，信息无法预览或查看•语音交互过程无显示，操控无安全感无显示•语音交互搭配按键交互速度较慢•仅靠语音交互，隐私性不够强交互方式单一•物体识别无法聚焦目标识别不够精确•视线移动实现精准控制（如选择菜单、目标识别），减少对语音和触控的依赖，提升交互效率眼动交互更自然，精确•通过显示模块，信息获取更直接•无需依赖外部设备，尤其适合需要“双手自由”的场景显示模块增强场景适配性•结合注视点渲染技术，系统仅渲染用户注视区域的画面，降低计算负荷并提升显示效果降低计算负荷u A I + A R 方 案 仍 存 在 的 挑 战 ： • 功 耗 ， 散 热 ， 续 航• 近 眼 显 示 技 术 待 突 破• 交 互 准 确 性 与 稳 定 性• 设 备 小 型 化 与 轻 量 化AI+AR可能性探讨本文件为浙江舜为科技有限公司专有之财产，非由书面许可，不得以其他形式使用。This document is the exclusive property of Zhejiang Sunnyverse Te