信息来源：互联网   发布时间：2023-10-21

滚动测试报：2022年05月

 

SpeechIO的所有历史文章可在语音之家网站的【声浪】-【SpeechIO专区】查看，评测结果数据可在语音之家（PC端）的【评测】页面查看官网地址：http://www.speechhome.com/eval。

SpeechIO TIOBEASR Benchmark滚动测试报告 2022年05月1滚动测试

2往期比较

3排名白盒排名：基于已开源的 SpeechIO 测试集排名厂商字错误率（%）1阿里云2.652微软2.673依图2.714思必驰3.125讯飞转写3.336腾讯3.487百度5.83整体排名：基于目前所有的 SpeechIO 测试集

排名厂商字错误率（%）1依图3.12微软3.473思必驰3.634阿里云3.815讯飞转写4.056腾讯4.067百度7.384简评本期测试与上期相比：阿里，微软有较明显提升讯飞性能变差其余厂家过去三个月模型应未更新，性能没有变化

本期滚动测试开始加入排名（汇总各场景统计结果）：我们陆续在把测试集开放给全行业，所以目前统计两个排名:白盒测试集排名(截至本期已开放00001 ~ 00010号场景)整体排名(截至本期包括00001 ~ 00030号场景)，场景详细信息见 

附录1 或项目的 github repo横向看(厂家间)，头部厂商的数字相当的接近我们认为数字差距在 0.5% 以内都不算有实质差别，因为我们无法绝对意义上统一所有厂家的识别配置（如VAD具体设置，语气词的归一化，脏词的过滤等），这一点我们在 [。

SOTA] 文中有过说明Leaderboard 的全部流程都开源在 github，配合我们已经开源的测试集，复现起来相当便捷，欢迎相关的同学提交改进的 Pull Request纵向看(时间滚动)，厂家相对自身，综合数字提升0.5%已属相当显著，因为 SpeechIO 覆盖的场景以及测试集的规模已经相当庞大，微小的数字也具有统计学意义。

后台持续征集难度大，有代表性的测试场景，场景素材选取原则上遵循公众熟知 & 可公开获取测试集开源信息请关注语音之家公众号及官网信息，SpeechIO公众号将不再单独发文章通知下载地址：https://github.com/SpeechColab/Leaderboard。

加入 SpeechIO 讨论群，可添加微信号 JerryEjwt 备注 SpeechIO附录1已有测试集信息汇总文章链接场景领域难度(1-5)新闻联播新闻播报时政★鲁豫有约一日行访谈电视节目名人工作、生活。

★★☆天下足球专题电视节目足球★★☆罗振宇跨年会场演讲社会、人文、商业★★李永乐讲堂在线教育科普★★★直播 王者荣耀直播游戏★★★☆直播 带货直播电商、美妆★★★★☆老罗语录线下培训段子，做人★★★★☆

播客 故事FM‍播客人生故事、见闻★★☆播客 创业内幕播客创业、产品、投资★★☆罗翔 法考在线教育法律 法考★★☆张雪峰 考研‍在线教育考研 高校报考★★★☆谷阿莫&牛叔短视频电影剪辑★★★琼斯爱生活&贫穷料理

短视频美食、烹饪★★★☆单田芳-白眉大侠评书江湖、武侠★★☆德云社专场相声包袱段子★★★吐槽大会‍脱口秀明星糗事★★☆小猪佩奇&熊出没少儿动画童话故事、日常★☆NBA现场转播体育赛事解说篮球，NBA★★★

篮球人物纪录片篮球明星，成长★★汽车之家 汽车评测‍短视频汽车品牌，车型，路测★★★☆小艾大叔 豪宅带看短视频‍房地产，豪宅★★★☆Zealer & 无聊开箱短视频产品开箱★★★付老师种植技术短视频农业种植

★★★☆石国鹏线下课线下培训古希腊哲学★★☆张震鬼故事电台节目恐怖故事★★★华语大学生辩论赛辩论赛兴趣，技能，成长★★★同声传译同声传译现场时政★★★☆港台口音港台明星访谈演艺、创作、生活★★★☆老外口音

外国嘉宾参加的综艺文化、习俗、异国文化★★★☆附录2项目更新日志2022年05月：测试：全厂商 × 全场景 滚动刷新测试从本期滚动测试起，增加厂商排名2022年02月：场景：增加[港台口音][老外口音]

流程：文本归一模块加入儿化音过滤功能(贡献者：xiaoxi91@github )厂商：搜狗平台停止运营；添加 XFZX 服务；微软接口从Rest更换到SDK并关闭TN、脏词过滤模块测试：全厂商 × 全场景 滚动刷新测试。

2021年10月：场景：增加 [电台节目:张震鬼故事][华语大学生辩论赛] [同声传译现场 时政]流程：TN模块增加无意义 filler 词 "呃，啊" 过滤测试：全厂商 × 全场景 滚动刷新测试2021年7月：

场景：增加 [短视频-产品开箱][短视频-农业种植][线下培训-古希腊哲学]测试：全厂商 × 全场景 滚动刷新测试2021年4月：发布：Leaderboard 项目场景：增加 [汽车之家-汽车评测] [

小艾大叔-豪宅带看]测试：全厂商 × 全场景 滚动刷新测试2021年1月:场景：增加[体育赛事解说-NBA] [纪录片-篮球人物]厂商：得到"创业公司S"授权，身份公布为思必驰AISpeech，调用平台为[思必驰开放平台-一句话识别服务]

测试：全厂商 × 全场景 滚动刷新测试2020年12月:场景：增加 [少儿卡通 小猪佩奇&熊出没]厂商：百度服务切换至极速版，详见 [百度服务切换说明]测试：全厂商 × 全场景 滚动刷新测试2020年11月：

场景：增加 [评书 单田芳-白眉大侠]，[相声 德云社]，[脱口秀 吐槽大会]测试：全厂商 × 全场景 滚动刷新测试2020年10月：指标：增加 SOTA 数值 ，详见 [当我们谈论SOTA时，我们在谈论什么

]场景：增加 [短视频 电影剪辑 谷阿莫&牛叔说电影] [短视频 美食&烹饪 琼斯爱生活&贫穷料理]测试集发布：[新闻联播] 测试集已公开发布，后续滚动测试不会每期都覆盖该场景测试：全厂商 × 全场景 滚动刷新测试

2020年9月：场景：增加 [在线教育 罗翔 法考] [在线教育 张雪峰 考研] 厂商：[阿里云+]已上线合并入公网版本[阿里云]，TIOBE 历史数据记录始终以公网版本为准测试：全厂商 × 全场景 滚动刷新测试。

2020年8月：场景：增加 [播客 创业内幕]测试：全厂商 × 全场景 滚动刷新测试2020年7月：场景：增加 [播客 故事FM]重要修复：发现 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录] 三个场景测试集标注错误，全面检查&修正；作废这三个测试集6月的测试结果，7月开始启用修正后的测试集。

详情见本月已经发布的[更正说明文章]测试：全厂商 × 全场景 滚动刷新测试2020年6月：场景：增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]厂商：增加 阿里+ ，为阿里云新算法的试用版; 

测试中取消[谷歌], 因谷歌的中文识别性能没有参考性，且费用超过其余各家之和更名：原搜狗知音平台 改名为 搜狗AI开放平台测试：全厂商 × 全场景 滚动刷新测试2020年5月：修复搜狗多句结果解析bug。

场景：增加 [天下足球-世界杯往事] [罗振宇跨年演讲] [李永乐老师在线讲堂]厂商：增加 创S测试：全厂商 × 全场景 滚动刷新测试2020年4月：场景：增加 [鲁豫有约大咖一日行]厂商：增加 微软 Azure 认知服务

搜狗知音平台测试：全厂商 × 全场景 滚动刷新测试2020年3月：项目发布：[引篇] [测试规范]场景：增加 [新闻联播]厂商：增加 阿里百度谷歌讯飞腾讯创Y语音技术社群邀请函 

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186