1、增加语音唤醒功能,新建WOV基类,用于维护语音唤醒解决方案。本次更新,新增了unity自带的windows.speech库下的关键词识别的代码实现,可以在windows平台下,实现关键词唤醒功能
2、增加了实时语音聊天对话示例场景,可以在Scene文件夹下,找到相应的示例场景
1、增加语音合成模式选项,可在ChatAgent对象脚本设置,是否通过语音合成
1、修复chatgpt-turbo脚本,在调用api时,反馈{"message": "We could not parse the JSON body of your request. (HINT: This likely means you aren't using your HTTP library correctly. The OpenAI API expects a JSON payload, but what was sent was not valid JSON.}的问题
1、增加百度智能云千帆大模型平台的公共服务模型api支持,包括: ERNIE_Bot, ERNIE_Bot_turbo, BLOOMZ_7B, Qianfan_BLOOMZ_7B_compressed, ChatGLM2_6B_32K, Llama_2_7B_Chat, Llama_2_13B_Chat, Llama_2_70B_Chat, Qianfan_Chinese_Llama_2_7B, AquilaChat_7B,
1、增加针对科大讯飞的语音服务,包括语音识别以及语音合成模块
2、增加星火大模型V1.5以及V2.0的api集成模块,可使用星火大模型的api进行聊天应用
增加了针对whisper-webservice这个项目的api集成代码,部署下面这个项目,可以通过本次更新的代码调用语音识别的api https://github.com/ahmetoner/whisper-asr-webservice
1、集成了Oculus的口型插件,AI小姐姐语音对话的时候,可以实现对a i u e o五种元音的识别和口型映射了。 [注意:因为Oculus插件包比较大,所以源码里只保留了window的dll库,针对安卓以及IOS的库,需要的话请自行下载,并放入tool/LipSync下的plugins文件夹]
1、修复了百度语音合成脚本,使用的app key未授权语音合成服务时,返回信息类型不能正确处理,并打印的问题
1、集成openai的whisper语音识别api,实现语音识别功能 2、增加webgl平台中文输入解决方案[全屏无效,暂无其他好的解决方案]
1、修复百度语音合成脚本,获取token异常,以及语音识别精度低的问题
创建本仓库,提供unity调用大语言模型api以及相关语音服务api的插件,主要功能:
LLM大语言模型交互 1、集成chatgpt的api,实现chat聊天功能 2、集成chatglm官方接口格式的api,实现chat聊天功能 3、集成rwkv runner项目的api,实现chat聊天功能 语音模型交互 1、集成Azure语音服务api,实现语音合成以及语音识别功能 2、集成百度AI开放平台语音服务api,实现语音合成与语音识别功能 其他 1、增加发布WebGL,实现语音录制解决方案的代码,实现在webgl端的录音功能