谷歌DeepMind刚刚发布了一个手语转文字模型

谷歌DeepMind刚刚发布了一个手语转文字模型：SL2T，听障用户对着手机打手语，就能搜索网页、写消息、写文档、让AI执行任务
在Live Transcribe里，听人和聋人能实现正常“对话”，听人说的话被转成文字，聋人可以用手语回复
实时性上，能边说/边打边出字；
能处理复杂内容，比如说税收制度、地理知识、古生物描述等
隐私层面上，摄像头画面不上传，设备端MediaPipe Holistic只提取身体几何坐标，原始视频当场丢弃，仅把坐标上传翻译
SL2T目前集成在谷歌的Gboard和Live Transcribe里，当前只支持ASL到英语，未来会扩展到更多手语、手语生成，首发在Pixel 11上