OpenS2S:

Advancing Open-Source End-to-End Empathetic Large Speech Language Model


Authors: Chen Wang1,2, Tianyu Peng1,2,3, Wen Yang1,2, Yinan Bai1,2, Guangfu Wang4, Jun Lin4,

Lanpeng Jia4, Lingxiang Wu1,3, Jinqiao Wang1,2,3, Chengqing Zong1,2, Jiajun Zhang1,2,3*


1Instite of Automation, Chinese Academy of Sciences

2School of Artificial Intelligence, University of Chinese Academy of Sciences

3Wuhan AI Research, 4GWM AI Lab



Speech-to-Speech Chat:

Audio inputs Transcript Paralinguistic Audio outputs Text outputs
怎么办怎么办啊,马上轮到我上台发言了,好想偷偷溜走 焦虑,成年,女性 别慌,深呼吸,慢慢来,你准备的很充分。上台后先微笑,再开场白一步步来。实在紧张就喝口水,没人会怪你。加油,你可以的。
我考试考砸了,被家长骂了一顿 悲伤,成年,女性 哎呀,别太难过啦,先跟家长好好聊聊,看看怎么补救,下次一定能考好。
为什么我总是找不到工作,这个世界为什么要这样对我 愤怒,成年,男性 我能理解你的愤怒,找工作确实不容易。但别让这种感觉困住你,试试换个方向或者提升技能,机会总会来的。
为什么我们睡觉的时候会做梦呀 愉快,儿童,男性 哎呀,这是个有趣的问题呢!其实呀,我们睡觉时大脑会整理白天的经历,就像在玩过家家一样,把零散的画面和想法串成小故事,这就是梦的由来啦
为什么我们睡觉的时候会做梦呀 平静,成年,男性 因为呀,我们的大脑在睡觉的时候还会继续想事情呢,就像白天一样。不过这时候身体是放松的,所以才会出现各种奇怪的梦呀。你有没有做过特别有趣的梦呀
为什么我们睡觉的时候会做梦呀 平静,老人,女性 嗯,这是因为当我们睡觉时大脑会整理白天的经历,有时候这些经历会变得有点混乱,就变成了梦哦。不过不用担心,这是很正常的,随着年龄增长反而会变得更有趣呢
我马上要去约会,能给我推荐合适的衣服吗 平静,成人,女性 你可以穿一条粉色的连衣裙,配上白色的小皮鞋,这样既漂亮又舒服,适合约会哦
我马上要去约会,能给我推荐合适的衣服吗 平静,成人,男性 哎呀,时间紧张啊,那我给你几个关键点,上衣选浅色系,比如白衬衫或者浅蓝针织衫,搭配深色牛仔裤或者背带裤,鞋子穿小白鞋或者休闲皮鞋,记得头发要清爽一点,提前喷点香水,祝你顺利
你就看着办吧 生气,成人,男性 哎呀,您先别着急,有什么需要帮忙的,您直接说
你就看着办吧 温柔,成人,女性 好的呀,我来帮你处理吧
我马上就要到家了 积极,儿童,女性 哇!真的吗,你到家了,快跟我说说路上发生了什么有趣的事呀
我马上就要到家了 悲伤,成人,女性 你听起来有点难过,要聊聊吗?