Agent
探索智能体如何理解自然语言目标、拆解复杂任务,并调用工具组织执行。关注执行过程中的结果检查与失败恢复,让规划能够随着反馈调整。
任务规划 · 工具调用 · 执行反馈
探索问题与实践
关注的问题
如何选择合适的工具?如何判断任务完成,并在执行失败后重新规划?
实践切入点
从一个可验证的工具调用任务开始,逐步尝试多步规划、执行记录与结果评估。
EMBODIED INTELLIGENCE LAB
以具身智能为定位,探索 Agent、具身智能、视觉与嵌入式开发, 连接智能决策、环境感知与真实世界执行。
从理解任务,到感知环境,再到真实世界中的行动。围绕具身智能,探索智能体决策、视觉感知与嵌入式系统如何协同,让算法与真实设备建立连接。
探索智能体如何理解自然语言目标、拆解复杂任务,并调用工具组织执行。关注执行过程中的结果检查与失败恢复,让规划能够随着反馈调整。
任务规划 · 工具调用 · 执行反馈
如何选择合适的工具?如何判断任务完成,并在执行失败后重新规划?
从一个可验证的工具调用任务开始,逐步尝试多步规划、执行记录与结果评估。
探索智能体如何通过机器人与物理环境交互,将感知信息和任务目标转化为行动。关注感知、决策与控制的衔接,以及环境变化时的行为调整。
环境交互 · 机器人控制 · 行动反馈
如何把语言指令转化为可执行动作?如何利用行动后的反馈修正下一步决策?
结合机器人平台,从基础运动控制和环境交互实验入手,逐步探索完整任务的执行。
探索从图像和视频中识别目标、理解场景,为决策提取有用信息。关注视觉与语言的联系,让系统能够结合任务目标理解所见的环境。
目标检测 · 场景理解 · 多模态感知
如何应对光照、视角与遮挡的变化?如何让感知结果为后续行动提供可靠依据?
从数据采集、目标检测与误差分析入手,尝试将视觉输出接入机器人或设备端应用。
探索智能算法在真实设备上的运行方式,连接传感器、计算平台与执行机构。关注边缘推理、通信和控制,让系统行为可观察、可调试。
边缘推理 · 传感器接入 · 软硬件协同
如何在算力、功耗和时延约束下部署模型?如何稳定连接数据采集、推理与硬件控制?
结合 Jetson 等开发平台,尝试搭建从传感器输入、模型推理到执行反馈的实验链路。
FROM QUESTIONS TO EXPERIMENTS
以“理解指令并完成一次环境交互”为例:Agent 拆解目标,视觉提供环境信息,具身智能连接决策与行动,嵌入式系统支撑设备端执行。行动结果再反馈给系统,形成下一次改进的依据。
以真实研究问题为核心,让不同背景的成员在项目中协作成长。
STUDENTS
SOFTWARE
HARDWARE
We build intelligent systems that can understand, reason, and act in the real world.
人工智能实验室以具身智能为定位, 围绕 Agent、具身智能、视觉与嵌入式开发开展探索, 关注智能系统如何感知环境、作出决策并在真实世界中行动。
JOIN THE LAB
面向计算机与人工智能方向的同学招募。 不设能力门槛,欢迎对 Agent、具身智能、视觉或嵌入式开发感兴趣的同学加入。
QQ: 2901197155