概述
- 本项目基于springboot3.5.7开发,使用spring security作为安全框架
- 配备物模型(属性,功能和事件模块)和完善的监控模块
- 支持多种大模型(Qwen3系列,GLM系列,DeepSeek v4等先进模型)和先进的Agent智能体技术提供出色的AI智能,可以快速搭建智能物联网应用(首个基于Agent智能体设计的物联网平台)
- 支持ReAct提示词和Function Calling双模式Agent工具调用
- 支持知识库技术,可以针对专有领域构建知识库使得智能体更贴心
- 支持MCP协议(模型上下文协议),支持多端点WebSocket连接,可自由扩展智能体能力
- 支持云电脑(基于OpenSandbox沙箱),智能体可执行shell命令和文件编辑,会话级隔离,完成代码运行等复杂多步任务
- 支持快速构建智能语音应用,支持语音识别和语音合成,支持高质量音频(16/24/48kHz采样率)
- 支持多种iot协议,使用emqx exhook作为mqtt通讯,可扩展性强
- 支持OTA空中升级技术,支持设备昵称管理
- 支持微信小程序和微信服务号
- 支持小智AI硬件
- 支持AI文本调试界面,实时流式对话和历史消息持久化
- 支持系统级全局角色审核和产品级青少年保护:可编辑审核要求,支持 Jev/普通 LLM、适龄回答提示及最近两小时会话限制
- 支持 TypeSafe Jev 结构化评估,以及本地 Laya 多语言模型情绪识别
- 使用常见的mysql和redis数据库,上手简单
- 支持时序数据库influxdb
安装运行
推荐使用docker安装,docker-compose.yaml文件在docker目录下,执行 docker-compose up 可初始化 mysql,redis,emqx和influxdb环境,安装详情请看官方文档。
- 安装mysql和redis数据库,高性能运行推荐安装时序数据库influxdb
- 安装EMQX集群,并配置好exhook,本项目使用exhook作为mqtt消息的处理器
- 安装java21环境
- 修改配置文件application.yaml(设置ddl-auto为update模式)
- java -jar IntelliConnect-1.8-SNAPSHOT.jar
功能模块
开发中功能 🚧
项目特色
- 极简主义,层次分明,符合mvc分层结构
- 完善的物模型抽象,使得iot开发者可以专注于业务本身
- AI能力丰富,支持Multi-Agent技术,快速开发AI智能应用
小智 ESP-32 后端服务(xiaozhi-esp32-server)
本项目能够为开源智能硬件项目 xiaozhi-esp32
提供完整的后端服务。根据 小智通信协议 使用 Java 实现。
适合希望本地部署的用户,不同于单纯语音交互,本项目重点在于提供更强大的物联网和智能体能力。
项目文档和视频演示
- 项目文档和视频演示地址https://ruanrongman.github.io/IntelliConnect/
- 全局角色审核、青少年保护、Jev 与 Laya 情绪能力
- 云电脑(OpenSandbox 沙箱)
- Jev 独立客户端
- Laya Jev 兼容服务
- 技术博客地址https://wordpress.rslly.top
- 社区地址https://github.com/cwliot
- 创万联社区公众号:微信直接搜索创万联
相关项目和社区
- 创万联(cwl): 专注于物联网和人工智能技术的开源社区。
- Promptulate https://github.com/Undertone0809/promptulate [A LLM application and Agent development framework.]
- Rymcu https://github.com/rymcu [为数百万人服务的开源嵌入式知识学习交流平台]
智控台和小智ota地址(仅用于测试,不保证稳定,请勿用于生产环境)
- [智控台] (https://control-ic.atdak.com)
- [小智ota地址] (https://api-ic.atdak.com/xiaozhi/ota/)
交流群
欢迎加入群聊一起交流讨论有关Aiot相关的话题,有机会获取项目的免费部署咨询,链接过期了可以issue或email提醒一下作者。
致谢
- 感谢项目xiaozhi-esp32提供强大的硬件语音交互。
- 感谢项目Concentus: Opus for Everyone提供opus解码和编码。
- 感谢项目TalkX提供了opus解码和编码的参考。
- 感谢项目py-xiaozhi方便项目进行小智开发调试。
- 感谢项目vue3-antd-manage本项目智控台基于该项目二次开发。
- 电波bilibili君赞助项目开发。
授权协议
- 个人授权
- 商业授权
- 商业使用请联系 创万联 官方 获取授权
Star History
贡献
本人正在尝试一些更加完善的抽象模式,支持更多的物联网协议和数据存储形式,如果你有更好的建议,欢迎一起讨论交流。