Interactive Experiences

Selected Work · Before D-LAB

这是一组我在成立 D-LAB 之前独立完成的客户项目，覆盖展览、品牌活动、商业空间和舞台演出。我主要负责互动概念、设计、开发与现场实现，把观众的动作、触摸和位置变化接进实时画面。

从一个动作开始，让现场给出回应。

这些项目的场地和内容各不相同：有人在投影前张开双臂，有人拿起餐具，也有人只是走近一面墙。我需要先弄清楚观众会做什么，再决定用哪种传感方式，以及画面应该如何回应。

下面按互动方式整理了八个案例。项目画面来自当时留存的资料，点击图片可以放大查看完整内容。

Unity / Kinect

观众站到投影前，抬手、转身，画面中的飞天特效随动作出现。我用 Kinect 获取身体姿态，再由 Unity 驱动画面，把敦煌主题内容做成可以亲自参与的体验。作品在莫斯科国家博物馆展出。

Unity / Kinect / OpenCV

快闪活动把跳舞作为参与入口。系统识别观众的骨骼姿态，将舞蹈动作转成实时视觉反馈，让经过现场的人也能很快看懂玩法。

Unity / 传感器 / iPad

虹桥南丰城的线下体验店里，投篮和脚步动作会触发现场反馈与积分。传感器采集动作，Unity 处理互动逻辑，再把结果送到 iPad 和地面屏幕。不同设备需要跟上同一次动作的节奏。

Unity / OpenCV / 语音 AI

虚拟人通过视觉识别感知观众的姿态和表情，也能通过语音完成菜单问询与点单。这里的互动同时包含身体动作和对话，两种输入共同决定角色如何回应。

OpenCV / Unity / Unreal / Python

餐桌上的视觉会根据餐具类型和温度变化作出回应。端起、放下餐具这些日常动作，成为改变桌面画面的方式，互动也随用餐过程自然发生。

Unity / 红外传感 / 弹性膜

观众直接触摸、按压弹性膜，系统识别触点位置和力度，再显示对应的车机反馈。材料被按下的手感与屏幕变化叠在一起，让车机操作多了一层可触摸的体验。

Unity / 雷达感应

雷达感知观众与墙面的距离，Unity 据此切换《千里江山》的视觉内容。走近或退后就是操作，观众可以通过自己的位置改变观看到的画面。

Unreal Engine / Timeline

场景特效沿着节目时间线推进。灯光、爆炸和场景切换按演出进度触发，让实时画面与舞台节奏同步。

这组实践让我逐渐习惯从场地条件开始做设计。摄像头放在哪里、观众站多远、传感器能覆盖多大的范围，都会影响玩法。尽早把输入设备和输出画面接起来，才能发现哪些设想需要调整。

从 Unity、Unreal 到视觉识别和传感器，我会根据项目选择工具。这些早期客户项目，也构成了后来 D-LAB 在互动设计、程序开发与现场交付上的工作基础。

个人职责

以上为成立 D-LAB 之前独立完成的部分客户项目。我主要负责互动概念、设计、开发与现场实现。