65元,免费开源!实时AI语音伴侣,Arduino编程ESP32开发板,支持DeepSeek、Qwen、豆包,跨设备无缝对话

admin 2026-05-02 05:36:37 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: ElatoAI是一个开源免费的实时AI语音交互系统,基于Arduino编程,运行在乐鑫ESP32主控制器上。它通过安全WebSocket连接至部署在Deno边缘函数构建的服务端,实现低成本、长时长、跨设备的自然对话体验。ElatoAI支持多种AI模型,包括OpenAI、Gemini、DeepSeek、Qwen、豆包等,降低了AI语音硬件的开发门槛,为智能玩具、AI伴侣等设备提供流畅、个性化的交互能力。 综合评分: 85 文章分类: IoT安全,WEB安全,云安全,区块链安全


cover_image

65元,免费开源!实时AI语音伴侣,Arduino编程 ESP32开发板,支持DeepSeek、Qwen、豆包,跨设备无缝对话

原创

~ ~

IoT物联网技术

2026年5月1日 09:10 北京

在小说阅读器读本章

去阅读

文末联系小编,获取项目源码

ElatoAI 是一个开源免费的实时AI语音交互系统,采用Arduino 编程,运行在乐鑫 ESP32 主控制器上,通过安全WebSocket连接至部署在Deno边缘函数构建的服务端,通过OpenAI Realtime API等技术实现低成本、长时长、跨设备的自然对话体验,支持多种AI模型,包括OpenAI、Gemini、DeepSeek、Qwen、豆包等,降低了AI语音硬件的开发门槛,为智能玩具、AI伴侣等设备提供流畅、个性化的交互能力。

  • 实时语音交互:依托 OpenAI Realtime API 实现端到端的语音到语音交互,支持边说边回,无需等待,能够维持超过 10 分钟的连续自然对话,交互流畅度接近真实聊天。
  • 角色个性化定制:支持用户自定义 AI 角色的性格、语气及声音特征,使设备能够根据设定呈现不同的情绪反馈,具备独特的个性化表现。停舵机并使机器人趴下。如果机器人在做一些“怪异”的事,你可以按这个键让它停下。
  • 跨平台兼容性:支持乐鑫 ESP32-S3开发板,内置 WiFi 管理、OTA 固件升级、音量控制、物理按钮/触摸唤醒、恢复出厂设置,还提供了完整的前端解决方案。frontend-nextjs/目录下的代码实现了响应式设计,确保在各种设备上都能获得一致的用户体验。

🤖 ElatoAI 架构设计

硬件设计:ElatoAI 项目基于ESP32-S3微控制器构建,展示了如何将麦克风、扬声器和LED等组件与ESP32无缝集成。

软件架构:ElatoAI的软件架构分为以下几个主要部分:

  • 固件层:firmware-arduino/目录包含了ESP32上运行的固件代码,负责音频处理、网络连接和设备控制。
  • 服务器层:server-deno/目录下的代码实现了基于Deno的边缘函数,处理AI模型调用和实时通信。
  • 前端层:frontend-nextjs/目录包含了使用Next.js构建的用户界面,提供直观的交互体验。
  • 数据库层:supabase/目录包含了项目使用的数据库迁移和配置文件,确保数据的可靠存储和检索。

管理后台,你可以通过Web管理后台轻松创建 AI 角色、选择声音、管理设备、查看实时转录

🌟 ElatoAI 核心功能

  • 实时语音转语音 (Speech-to-Speech):由 OpenAI 的实时 API 驱动,实现瞬间语音转换。
  • 创建自定义 AI 智能体:可以打造具有不同性格和声音的专属 AI 角色。
  • 可定制的音色:提供多种声音和性格供你选择。
  • 安全的 WebSockets:提供可靠且加密的 WebSocket 通信。
  • 服务端 VAD 语音活动检测:智能处理对话流程,让互动更加丝滑顺畅。
  • Opus 音频压缩:以极低的带宽占用实现高质量的音频流传输。
  • 全球边缘网络性能:低延迟的边缘函数(Edge Functions),确保全球范围内的对话无缝衔接。
  • ESP32 Arduino 框架:经过优化且易于上手的硬件集成方案。
  • 对话历史查看:随时查看你的历史对话记录。
  • 设备管理与身份验证:注册并管理你的硬件设备。
  • 用户身份验证:安全的用户认证与授权机制。
  • 基于 WebRTC 和 WebSockets 的对话:你可以在 NextJS 网页端通过 WebRTC 与 AI 畅聊,而在 ESP32 端则通过 WebSockets 连接。
  • 音量控制:直接在 NextJS 网页端就能调节 ESP32 扬声器的音量。
  • 实时转录文本:对话的实时转录内容会保存在 Supabase 数据库中。
  • OTA 空中升级:支持对 ESP32 固件进行无线远程更新。
  • 通过 Captive Portal 管理 Wi-Fi:可以直接从 ESP32 设备端连接你的 Wi-Fi 网络。
  • 恢复出厂设置:通过 NextJS 网页端即可将 ESP32 设备恢复出厂设置。
  • 按键与触摸支持:可以使用物理按键或者触摸传感器来控制 ESP32 设备。
  • 网页端 OAuth 登录:为你的用户提供 OAuth 登录,方便他们管理自己的 AI 角色和设备。

🛠 ElatoAI 项目源码

ElatoAI 通过将强大的AI语音能力带到嵌入式设备,为开发者和爱好者提供了一个充满创造力的平台。无论是构建教育工具、智能玩具还是工业解决方案,ElatoAI都为实时语音交互开辟了新的可能性。ElatoAI的应用场景很多:

  • 教育工具:创建互动式学习助手,帮助学生学习新语言或复杂概念。
  • 智能家居:打造个性化的语音控制中心,简化日常生活。
  • 玩具与游戏:开发智能玩具,提供沉浸式游戏体验。
  • 辅助技术:为有特殊需求的人群提供语音辅助工具。
  • 工业应用:在工厂环境中实现语音控制的设备操作。

ElatoAI 开源项目地址:

https://github.com/akdeb/ElatoAI


如有IoT 源码采购和项目交付需求,请扫码联系小编,微信号: beacon0418

往期推荐

☞开箱即用!国产开源30+AI视觉算法IoT智能物联网云平台

☞国产开源Web 工业IoT组态软件,支持Modbus、OPC,支持拖拉拽

☞源码交付,7天完成国产信创部署智慧工地方案

☞4万元,国产信创私有化部署,破解县域无人机AI巡检平台落地难题

☞上班摸鱼, 智能 AI 监控老板行踪

☞免费开源,千知AI知识图谱平台,支持DeepSeek、Qwen

☞信创部署,源码交付!县域低空经济无人机 AI 巡检平台

☞智慧农业大爆发:AI+物联网+区块链重构“天空地”一体化监测

免责声明:本公众号所发布的内容来源于互联网,我们会尊重并维护原作者的权益。由于信息来源众多,若文章内容出现版权问题,或文中使用的图片、资料、下载链接等,如涉及侵权,请告知我们,我们将尽快处理。主理人微信: beacon0418


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:IoT物联网技术 ~ ~《65元,免费开源!实时AI语音伴侣,Arduino编程 ESP32开发板,支持DeepSeek、Qwen、豆包,跨设备无缝对话》

评论:0   参与:  0