文章总结: ElatoAI是一个开源免费的实时AI语音交互系统,基于Arduino编程,运行在乐鑫ESP32主控制器上。它通过安全WebSocket连接至部署在Deno边缘函数构建的服务端,实现低成本、长时长、跨设备的自然对话体验。ElatoAI支持多种AI模型,包括OpenAI、Gemini、DeepSeek、Qwen、豆包等,降低了AI语音硬件的开发门槛,为智能玩具、AI伴侣等设备提供流畅、个性化的交互能力。 综合评分: 85 文章分类: IoT安全,WEB安全,云安全,区块链安全
65元,免费开源!实时AI语音伴侣,Arduino编程 ESP32开发板,支持DeepSeek、Qwen、豆包,跨设备无缝对话
原创
~ ~
IoT物联网技术
2026年5月1日 09:10 北京
在小说阅读器读本章
去阅读
文末联系小编,获取项目源码
ElatoAI 是一个开源免费的实时AI语音交互系统,采用Arduino 编程,运行在乐鑫 ESP32 主控制器上,通过安全WebSocket连接至部署在Deno边缘函数构建的服务端,通过OpenAI Realtime API等技术实现低成本、长时长、跨设备的自然对话体验,支持多种AI模型,包括OpenAI、Gemini、DeepSeek、Qwen、豆包等,降低了AI语音硬件的开发门槛,为智能玩具、AI伴侣等设备提供流畅、个性化的交互能力。
- 实时语音交互:依托 OpenAI Realtime API 实现端到端的语音到语音交互,支持边说边回,无需等待,能够维持超过 10 分钟的连续自然对话,交互流畅度接近真实聊天。
- 角色个性化定制:支持用户自定义 AI 角色的性格、语气及声音特征,使设备能够根据设定呈现不同的情绪反馈,具备独特的个性化表现。停舵机并使机器人趴下。如果机器人在做一些“怪异”的事,你可以按这个键让它停下。
- 跨平台兼容性:支持乐鑫 ESP32-S3开发板,内置 WiFi 管理、OTA 固件升级、音量控制、物理按钮/触摸唤醒、恢复出厂设置,还提供了完整的前端解决方案。frontend-nextjs/目录下的代码实现了响应式设计,确保在各种设备上都能获得一致的用户体验。
🤖 ElatoAI 架构设计
硬件设计:ElatoAI 项目基于ESP32-S3微控制器构建,展示了如何将麦克风、扬声器和LED等组件与ESP32无缝集成。
软件架构:ElatoAI的软件架构分为以下几个主要部分:
- 固件层:firmware-arduino/目录包含了ESP32上运行的固件代码,负责音频处理、网络连接和设备控制。
- 服务器层:server-deno/目录下的代码实现了基于Deno的边缘函数,处理AI模型调用和实时通信。
- 前端层:frontend-nextjs/目录包含了使用Next.js构建的用户界面,提供直观的交互体验。
- 数据库层:supabase/目录包含了项目使用的数据库迁移和配置文件,确保数据的可靠存储和检索。
管理后台,你可以通过Web管理后台轻松创建 AI 角色、选择声音、管理设备、查看实时转录
🌟 ElatoAI 核心功能
- 实时语音转语音 (Speech-to-Speech):由 OpenAI 的实时 API 驱动,实现瞬间语音转换。
- 创建自定义 AI 智能体:可以打造具有不同性格和声音的专属 AI 角色。
- 可定制的音色:提供多种声音和性格供你选择。
- 安全的 WebSockets:提供可靠且加密的 WebSocket 通信。
- 服务端 VAD 语音活动检测:智能处理对话流程,让互动更加丝滑顺畅。
- Opus 音频压缩:以极低的带宽占用实现高质量的音频流传输。
- 全球边缘网络性能:低延迟的边缘函数(Edge Functions),确保全球范围内的对话无缝衔接。
- ESP32 Arduino 框架:经过优化且易于上手的硬件集成方案。
- 对话历史查看:随时查看你的历史对话记录。
- 设备管理与身份验证:注册并管理你的硬件设备。
- 用户身份验证:安全的用户认证与授权机制。
- 基于 WebRTC 和 WebSockets 的对话:你可以在 NextJS 网页端通过 WebRTC 与 AI 畅聊,而在 ESP32 端则通过 WebSockets 连接。
- 音量控制:直接在 NextJS 网页端就能调节 ESP32 扬声器的音量。
- 实时转录文本:对话的实时转录内容会保存在 Supabase 数据库中。
- OTA 空中升级:支持对 ESP32 固件进行无线远程更新。
- 通过 Captive Portal 管理 Wi-Fi:可以直接从 ESP32 设备端连接你的 Wi-Fi 网络。
- 恢复出厂设置:通过 NextJS 网页端即可将 ESP32 设备恢复出厂设置。
- 按键与触摸支持:可以使用物理按键或者触摸传感器来控制 ESP32 设备。
- 网页端 OAuth 登录:为你的用户提供 OAuth 登录,方便他们管理自己的 AI 角色和设备。
🛠 ElatoAI 项目源码
ElatoAI 通过将强大的AI语音能力带到嵌入式设备,为开发者和爱好者提供了一个充满创造力的平台。无论是构建教育工具、智能玩具还是工业解决方案,ElatoAI都为实时语音交互开辟了新的可能性。ElatoAI的应用场景很多:
- 教育工具:创建互动式学习助手,帮助学生学习新语言或复杂概念。
- 智能家居:打造个性化的语音控制中心,简化日常生活。
- 玩具与游戏:开发智能玩具,提供沉浸式游戏体验。
- 辅助技术:为有特殊需求的人群提供语音辅助工具。
- 工业应用:在工厂环境中实现语音控制的设备操作。
ElatoAI 开源项目地址:
https://github.com/akdeb/ElatoAI
如有IoT 源码采购和项目交付需求,请扫码联系小编,微信号: beacon0418
往期推荐
☞开箱即用!国产开源30+AI视觉算法IoT智能物联网云平台
☞国产开源Web 工业IoT组态软件,支持Modbus、OPC,支持拖拉拽
☞源码交付,7天完成国产信创部署智慧工地方案
☞4万元,国产信创私有化部署,破解县域无人机AI巡检平台落地难题
☞上班摸鱼, 智能 AI 监控老板行踪
☞免费开源,千知AI知识图谱平台,支持DeepSeek、Qwen
☞信创部署,源码交付!县域低空经济无人机 AI 巡检平台
☞智慧农业大爆发:AI+物联网+区块链重构“天空地”一体化监测
免责声明:本公众号所发布的内容来源于互联网,我们会尊重并维护原作者的权益。由于信息来源众多,若文章内容出现版权问题,或文中使用的图片、资料、下载链接等,如涉及侵权,请告知我们,我们将尽快处理。主理人微信: beacon0418
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:IoT物联网技术 ~ ~《65元,免费开源!实时AI语音伴侣,Arduino编程 ESP32开发板,支持DeepSeek、Qwen、豆包,跨设备无缝对话》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论