乐鑫信息科技代理商ESPAFE高性能语音交互ESP-WHO人脸检测与识别功能,乐鑫声学前端算法,使用基于乐鑫SoC的高性能声学前端算法,构建语音交互系统,智能语音设备需要在远场噪声环境中,仍具备出色的语音交互性能,声学前端(AudioFront-End,AFE)算法在构建此类语音用户界面(Voice-UserInterface,VUI)时至关重要。乐鑫AI实验室自主研发了一套乐鑫AFE算法框架,可基于功能强大的乐鑫信息科技代理商ESP32和ESP32-S3SoC进行声学前端处理,使用户获得高质量且稳定的音频数据,从而构建性能卓越且高性价比的智能语音产品。
算法优势
声学回声消除(AEC)
声学回声消除算法通过自适应滤波的方法,消除使用麦克风输入音频时的回声。此算法适用于语音设备通过扬声器播放音频等场景。
盲源分离(BSS)
盲源分离算法使用多个麦克风检测传入音频的方向,并强化某个方向的音频输入。此算法在噪音环境中提高了所需音频源的声音质量。
噪声抑制(NS)
噪声抑制算法支持单通道音频信号处理,能够有效消除无用的非人声(如吸尘器或空调声),从而改善所需处理的音频信号。
声学性能优越
乐鑫AFE算法已通过亚马逊Alexa远场测试,具有优越的声学性能。多数情况唤醒率可达100%;低信噪比环境的语音识别率超过90%。
资源消耗低
乐鑫AFE算法基于ESP32-S3SoC的AI加速器进行了优化,仅消耗12-20%CPU空间和350KB存储空间(220KB内存和240KB外部存储),为使用乐鑫信息科技代理商ESP32-S3构建的客户应用提供了充足的资源空间。
产品设计灵活
乐鑫AFE算法提供了简单且直观的API接口,方便客户根据需要,动态调整产品性能。此外,它还支持20-80mm的麦克风间距,为客户产品的硬件设计提供了相当大的灵活性。
亚马逊认证的SoftwareAudioFront-End方案,乐鑫AFE算法已通过亚马逊Alexa内置设备的SoftwareAudioFront-End认证。算法通过ESP32-S3的AI加速器进行了优化,与硬件结合后,仅使用两个麦克风即可实现360度拾音。
ESP-EYE:专注于AIoT智能物联网领域的,图像识别与语音处理开发板
AIoT智能物联网解决方案
乐鑫提供一整套AIoT智能物联网解决方案,完整集成ESP-EYE开发板、ESP-WHO人工智能框架、ESP-IDF软件SDK,助力AI技术在IoT应用开发中的成功落地。
ESP-EYE开发板
ESP-EYE是一款图像识别与语音处理的开发板,板载乐鑫信息科技代理商ESP32芯片,集成200万像素摄像头、数字麦克风,拥有8MBytePSRAM和4MByteflash的丰富存储,支持Wi-Fi图像传输与MicroUSB调试与供电,可广泛应用于智能物联网领域的应用开发。
亚马逊AWS认证开发板
ESP-EYE开发板现已通过亚马逊AWS的资格认证,可兼容FreeRTOS操作系统。它可以与FreeRTOS一起应用于图像识别和语音处理的实际场景中,通过FreeRTOS轻松连接AWS-IOT以及更多丰富的AWS服务。
ESP-WHO是乐鑫专为AIoT领域推出的软件开发框架,可帮助用户实现嵌入式领域的人脸检测与识别功能,可配合乐鑫信息科技代理商ESP-EYE开发板、ESP-WROVER-KIT(亚马逊AWS认证设备)及其他搭载ESP32芯片的开发板,结合各类摄像头、显示屏等硬件,形成完整应用。