将大模型的能力带到物理世界,除了微软、谷歌,还有一家中国的创业公司。边无际作为专注于物联网开发平台研发的科技公司,紧跟AI大模型带来的生产力变革,首发ChatIoT,率先将大模型的技术应用于物联网领域。
在微软、谷歌等公司宣布将大模型能力用于机器人的开发之后,边无际通过将大模型与物联网开发框架Shifu深度融合,构建起新的AIoT生态,这意味着物联网开发中的设备接入和使用,将从传统的编程模式转变为基于自然语言的交互方式。这种创新使得人们能够在无需编码的情况下构建AIoT场景,从而提高开发效率和降低技术门槛。
在ChatGPT引发的生产变革浪潮中,大模型技术正蓬勃发展并影响着诸多领域。如今,一个关键问题摆在我们面前:如何让大模型赋能实体经济,释放更大潜力,推动物联网领域实现智能化和高效协同?
边无际推出ChatIoT为物联网领域的发展带来了新的可能。边无际通过简化设备接入和应用开发的过程,将大模型的能力进一步拓展至更广泛的物联网开发领域。该技术创新将降低物联网项目的难度,为行业提供更多智能、灵活的交互方式。展望未来,AIoT技术将为智能制造、智慧城市、智能家居等领域带来深刻的变革,进一步提高物理世界的数字化程度,推进生产生活的智能化发展。
大语言模型:物联网开发的新思路
自然语言控制物理世界正取得突破性进展。微软在今年3月发布消息称,正在测试使用OpenAI的语言模型ChatGPT来实现对家庭和工业辅助机器人的远程控制。研究目标是验证ChatGPT是否能够超越文本,思考物理世界,帮助机器人完成任务。微软团队称他们能够用这表明开发者可以引导ChatGPT对其周围环境和任务的理解,进而实现语言直观地控制物理世界。
谷歌同样推出PaLM-E,一种新的通用机器人模型,通过将来自不同视觉和语言领域的知识转移到机器人系统中。这是将大型语言模型引入机器人的关键突破,直接摄入原始的机器人传感器数据流实现语言模型的训练。由此产生的模型,可以实现高效的机器人学习,并且基于视觉模型保持任务完成能力。
在中国,边无际以相同的技术路径投身到大模型与物理世界结合当中。物联网开发中软件定义硬件的开始出现在设备接入过程中。市面上的物联设备浩如烟海,每个设备都用了不同的协议,有着不同的驱动,导致开发者在进行物联网场景设计和开发时效率总是很低。但是,大语言模型具有帮助开发者提升这项工作效率的潜力。大语言模型可以在学习现有的驱动和协议基础之上,根据新设备的特性来设计并自行开发出可以操控新设备的驱动程序。
在完成了接入之后,开发者可以使用大语言模型进行应用的开发。大语言模型可用于创建、完成或组合代码,无论其来源是代码片段还是自然语言描述,能够大大提升物联网开发效率。凭借这样的能力,这些模型可以帮助专业和业余的开发人员构建创新的应用程序。
以GPT为基础的大语言模型,可以在从接入到应用开发的完整链条上提供非常多的帮助。每个设备使用不同的协议,有不同的规则,使得利用ChatGPT等大模型应用很难与物联设备产生直接的交互。这需要有兼容性高的物联网开发框架提供标准化的设备开发接口,进而实现基于自然语言的数据采集、数据处理与设备反控。
边无际ChatIoT:AI大模型与设备的交互模式
边无际推出了基于Shifu物联网开发框架的ChatIoT,可以实现自然语言面向设备的编程,并开放标准的API,让ChatGPT等应用能够充分利用设备的能力。在边无际的技术基础上,AI大模型可以在设备互联互通的基础上,进行应用的下发与部署。边无际自主研发的Shifu作为一个中间件,将自然语言命令翻译成设备特定的命令。ChatIoT意味着实现了LLM在物联网应用中的标准化模式,让用户使用自然语言与不同的设备进行交互。
边无际通过将Shifu整合AI大模型的能力,使ChatGPT等工具有能力将其影响扩展到物理世界,通过引入自然语言作为新的用户界面,彻底改变物联网模式。物联网开发框架Shifu作为底层基础设施,使不同的AI大模型与设备进行通信,例如ChatGPT可以完成 "使用自然语言向物联设备发出命令,并使它们做相应的动作 "的循环,从而将ChatGPT的影响力扩展到物理世界。
在一个典型的物联网多设备场景应用中,通过ChatIoT开发模式,整合机械臂、AGV(自动导引车)、摄像头等设备,实现高效协同。开发者利用边无际Shifu与ChatGPT等工具共同完成从设备连接、驱动到设备任务协同的过程。
首先,让ChatGPT学习Shifu的开发框架,了解如何将机械臂、AGV和摄像头等不同设备接入到系统。开发者需要提供设备的元数据,如设备的能力和连接地址等。然后,让ChatGPT通过驱动生成针对各设备的数字孪生微服务,并编写相应的配置文件。边无际通过源代码库将给大模型提供丰富且完整的案例,加速设备适配过程。
接下来,描述设备任务协同需求,包括机械臂的移动范围、时间和抓取动作,AGV的路径规划和运输任务,以及摄像头的监控和图像处理等。请求ChatGPT编写应用程序,用于控制和协调这些设备。在此过程中,边无际将提供生成模板,从使用者的角度出发,描述用户如何通过驱动操作设备,让大模型更深入地理解场景需求。
经过以上步骤,ChatGPT的自然语言对话将实现基于AIoT的多设备物联网场景应用。机械臂、AGV和摄像头等设备能够高效地协同工作,实现智能制造、智能物流等应用场景的无缝对接。这将大大提高生产效率和降低成本,为物联网领域带来革命性的变革。
未来,边无际将持续更新设备模型库,进一步迭代ChatIoT的开发及交互模式,将大模型技术与物联网场景开发深入结合。ChatIoT作为一种创新的AIoT解决方案,通过简化设备接入和应用开发流程,降低了物联网项目的技术门槛。ChatIoT将有助于推动物联网行业的应用场景更加丰富多样,从而满足不断变化的市场需求。