科大讯飞,你确定用13万道题库训练出来的医考系统是真正的人工智能吗?

作者Dr.2,MediCool医库董事长     

       

前几天,科大讯飞李翔在某次公开会议上,给我们做了科大讯飞在医疗领域人工智能战略的分享,原话是这么说的:


“今年科大讯飞的机器系统通过全国的国家医师资格考试,而且该系统考了456分,这个分数在安徽省可以排到前100名。大家可能会说就是一个笔试,而且是有题库的,我们也有遇到过这样的质疑,但是越有这样的质疑我们越开心,因为我们才知道这个人他不了解什么是临床医师资格考试,这个考试确实是有题库,但是出的试卷不是从题库里出题的,只是出题的方式而已,所以讯飞是这样一个过程,而且这是一个断网断服务器的情况下,可不是联网的,它就是训练13万道题的一个模型,训练出来之后让他去参加这个笔试环节,得到这个分数”。

 

一番话彻底暴露了该演讲者根本不了解什么是执业医师资格考试,也忽略了一个事实,医考是一个水平考试,每年的执业医师考试跟之前多年的考题都是有大量重复的,很多是原题,有些是把A型题变成X型题,有些只是换了一个马甲,有的病例题只是改了基本信息。


也许有人会说,既然这样,是不是所有人经过训练都可以通过呢?这一点是毋庸置疑的,经过这种高强度训练大部分都能通过。


所以执业医师有前置条件两个:

1. 医疗本科或者大专工作数年;

2. 首先通过问诊和操作考试。


其实就把13万道题库全部公布又怎么样,我算从看到掌握这道题需要两分多钟(有些病例题看完就要三四分钟),且永远不用复习的话,30万分钟差不多五千小时,每个工作日学习10个小时,这样一共需要500个工作日,差不多两年时间,跟上大学的学习时间是一样的!(大部分学生能用一半时间学习就不错了)

如果机器系统用进行题库来进行所谓训练的话,其本质就是一种刷题库,即机器答题的时候是用类似作业帮或猿题库这种拍照、识别、比对确认等方式来答题。这种方式本身并没有什么价值,因为系统只会做选择题,和Waston系统能够输出主观判断和意见相比,这是两个完全不同的概念。


执业医师资格考试,每年都会有20%的新题,剩下大部分是原来重复的题目,这是一个事实,因为水平考试本身就是希望医生掌握重点知识,比如心肺复苏,医学伦理,三羧酸循环,免疫应答等等,原题再现或者换个马甲是铁板钉钉的事情,不可能刻意难为学生,把之前考过的题目屏蔽。


因此我再次质疑,如果科大讯飞错误的题目是否大部分都来自20%的新题,或者换了马甲的原题,我想内部人会更清楚!


第二点,该讲者对技术和医疗的理解我们不说了,但演讲中完全暴露了刷题库的逻辑,13万道题库将会涵盖非常多原题。他想当然地以为科大讯飞的海量题库训练方式和阿法狗用10万盘棋谱的围棋训练是同样原理!其实科大讯飞是用13万题库进行训练,本质是机械训练,考试时大部分是原题重复或者换马甲而已,但是alpha go是用学习过的规则和棋谱,对弈的时候重新判断,乃至于新一代系统主要采用自己对弈的学习方法,这是真正的人工智能,结合已经有的数据,用算法解决新的问题,而不是原样copy!这两个方式完全不同。检验的方式其实很简单,就是公布错题与每年新题(不在13万道题库)之间的错误关系!


如果题库原有的都答对,新题错了一大堆呢?之前我只是有这方面的质疑,该位老总公开演讲告知此系统是十三万道题库训练出来的,我认为该公司有必要在内部加强人工智能基础知识的培训,避免神助攻!

(欢迎转载,注明作者和来源即可,愿意与Dr.2交流的请加微信号:2823095726)


浏览次数:300次