清华大学人工智能研究院把最新的多模态大模型给奔驰中国研发中心用上了,好让新一代迈巴赫S级车的后排娱乐系统变得更智能。奔驰宣布要跟清华大学和智谱AI一起把这个技术装进新款迈巴赫S级的后排。这标志着奔驰成了全球第一个在车里用这种端侧多模态大模型的豪华汽车品牌,能给乘客带来不一样的体验。 这次合作里,梅赛德斯-奔驰中国研发中心给项目搭了个框架,清华大学人工智能研究院和智谱AI出了不少力气。这个系统能把自然语言处理、计算机视觉还有音频生成技术整合成一体。车子会实时调用摄像头、麦克风这些硬件数据,然后弄明白乘客说了啥,看着他们的表情、手势或者光线是咋样的,接着就给生成合适的内容或音乐。 作为这套技术的载体,新迈巴赫S级车是在奔驰W223平台上升级的。它不光保留了原来的豪华劲儿,还专门强化了后排座位的科技感。官方说这款车的后排屏幕支持眼神追踪和手势控制这些新玩法。有了多模态大模型能理解情况的能力,系统能自己看乘客累不累、无聊不无聊什么的。 要是发现乘客有点累了,系统会把灯光调暗一点、放首舒缓的音乐或者把座椅角度调整一下。这样一来就打破了以前那种单纯靠语音控制的老路子,通过多模态感知技术把人、车还有周围环境连在一起成了一个智能生态。 技术团队特意说了一句,所有的数据都在车里面处理完了,不会把用户的隐私信息给泄露出去。懂行的人说这项技术会重新定义豪华车的智能化标准,也会推动整个行业更注重怎么让人觉得舒服开心。