OpenS2S:

Advancing Open-Source End-to-End Empathetic Large Speech Language Model


Authors: Chen Wang1,2, Tianyu Peng1,2,3, Wen Yang1,2, Yinan Bai1,2, Guangfu Wang4, Jun Lin4,

Lanpeng Jia4, Lingxiang Wu1,3, Jinqiao Wang1,2,3, Chengqing Zong1,2, Jiajun Zhang1,2,3*


1Instite of Automation, Chinese Academy of Sciences

2School of Artificial Intelligence, University of Chinese Academy of Sciences

3Wuhan AI Research, 4GWM AI Lab


Github Paper HF Model HF Dataset

Speech-to-Speech Chat:

Audio inputs Transcript Paralinguistic Audio outputs Text outputs
怎么办怎么办啊，马上轮到我上台发言了，好想偷偷溜走 焦虑，成年，女性 别慌，深呼吸，慢慢来，你准备的很充分。上台后先微笑，再开场白一步步来。实在紧张就喝口水，没人会怪你。加油，你可以的。
我考试考砸了，被家长骂了一顿 悲伤，成年，女性 哎呀，别太难过啦，先跟家长好好聊聊，看看怎么补救，下次一定能考好。
为什么我总是找不到工作，这个世界为什么要这样对我 愤怒，成年，男性 我能理解你的愤怒，找工作确实不容易。但别让这种感觉困住你，试试换个方向或者提升技能，机会总会来的。
为什么我们睡觉的时候会做梦呀 愉快，儿童，男性 哎呀，这是个有趣的问题呢！其实呀，我们睡觉时大脑会整理白天的经历，就像在玩过家家一样，把零散的画面和想法串成小故事，这就是梦的由来啦
为什么我们睡觉的时候会做梦呀 平静，成年，男性 因为呀，我们的大脑在睡觉的时候还会继续想事情呢，就像白天一样。不过这时候身体是放松的，所以才会出现各种奇怪的梦呀。你有没有做过特别有趣的梦呀
为什么我们睡觉的时候会做梦呀 平静，老人，女性 嗯，这是因为当我们睡觉时大脑会整理白天的经历，有时候这些经历会变得有点混乱，就变成了梦哦。不过不用担心，这是很正常的，随着年龄增长反而会变得更有趣呢
我马上要去约会，能给我推荐合适的衣服吗 平静，成人，女性 你可以穿一条粉色的连衣裙，配上白色的小皮鞋，这样既漂亮又舒服，适合约会哦
我马上要去约会，能给我推荐合适的衣服吗 平静，成人，男性 哎呀，时间紧张啊，那我给你几个关键点，上衣选浅色系，比如白衬衫或者浅蓝针织衫，搭配深色牛仔裤或者背带裤，鞋子穿小白鞋或者休闲皮鞋，记得头发要清爽一点，提前喷点香水，祝你顺利
你就看着办吧 生气，成人，男性 哎呀，您先别着急，有什么需要帮忙的，您直接说
你就看着办吧 温柔，成人，女性 好的呀，我来帮你处理吧
我马上就要到家了 积极，儿童，女性 哇！真的吗，你到家了，快跟我说说路上发生了什么有趣的事呀
我马上就要到家了 悲伤，成人，女性 你听起来有点难过，要聊聊吗？