7月27日，由3W企服和企服头条主办的Open Forum活动——  “AI+”行业应用如何落地在杭州举办。微医集团云医疗影像智能研发负责人、生物医学工程博士吴边分享了《医学智能技术发展和应用的挑战》。 以下内容整理自吴边分享，内容略有删改：

微医集团云医疗影像智能研发负责人、生物医学工程博士吴边

医学人工智能的范畴是一个非常大的领域，比如说从医疗预前、预中、预后以及医疗相关知识的服务，比如说支付、药企以及大的疾病治疗以及大的疾病管理，都可以算在这里面，所以说这里面有很大的空间，可以让很多企业入驻。

为什么需要医疗人工智能？大家知道在这里面有一大堆的苦水等着吐嘈，企业觉得这东西要推进，需要做很多信息化和智能化的工作。微医在这里面做了很多连接性的工作，把医院和医生、医疗机构以及患者连接起来。

我们最大的出发点就是在于要把医疗资源下沉，现在因为很多时候医疗资源集中在大的三甲医院等核心医疗机构，但是我们希望把这些东西和基层、偏远地区的医疗机构联系起来，一方面使他们不用往大的三甲医院去跑，另一方面也可以让所有地方的人都享受到这样的服务。

但是，仅仅靠连接是不够的，没有解决供应端的问题，而医学人工智能就是从供应端解决医疗资源难题。

为什么需要医学人工智能？一是专业人力资源的瓶颈。二是医生的个人工作压力越来越大。三是医疗中的重复性劳动。我们能做的就是通过医疗人工智能的方法去放大人的智慧和解决问题的能力，最终实现解决这里面的一些痛点。

医学和人工智能的结合，有几个大的领域可以做：一是人工智能的信息平台建设，二是医疗应用。大家可能看到很多新闻报道上说，比如说人和机器挑战，这可能只是集中在这方面，但是除了这方面以外，还有很多医学科研、第三方服务方面，它能做的工作其实更多。

医学人工智能和人工智能总体目前的发展关系是这样的：一是医学AI受益于AI技术的总体发展。比如说医疗影像的智能辅助诊断发展受益于AI技术在自然影像领域的多方位发展。另外，全科诊疗辅助、医生助手受益于NLP等技术的发展，还有预训练的模型。但是，不是说医疗人工智能只要利用这些成果就可以了，它有一些特殊的挑战在里面，这里有几个常见的点：

一是与自然影像不同的介质类型。很多自然图像和自然语言的模型和工具不是可以直接经改造就可以用在医疗人工智能里，我们也有经验，如果直接用会出现问题。

二是数据缺乏、标记更缺乏。它需要有很多专业的医生来做这样的事情，但是因为他们很忙，让他们做的代价是很大的。

三是单一诊断中涉及信息的多样性以及数据质量多变的问题。最后要强调的一点是需要对模型决策的理解。

应对之道，加强与医生的沟通，需要医疗诊断对于的特点。二是减少对数据标记需求。三是多模态诊断模型，用来对付多模态的数据。四是生成性模型，去改变数据的质量。五是更加智能的分析工具。

微医在医疗人工智能的平台是建在微医云上，建立在睿医AI平台，我们现在上线包括接近上线的内容是非常多的，大家看到这里面覆盖了所有常见的医疗影像、医疗信息服务等。

第一个案例，医疗影像。这是一些常见的医疗影像，它有一些3D的影像，CT等等。还有病理的影像，三是内窥镜，还有就是心电、肌电，它也是在医疗影像范畴里。

非完全标记。这是一个病例，圈圈里的地方都是癌变的地方，还有一些是数据的标记，大家看到除了这些圈的地方，没有圈的地方也有很多病变的组织，在这个地方也是一样。但是医生一般去做标记的时候，只标记大的和明显的东西，小的就不做。这也可以理解，如果是这样的图像，如果把每个细节一一画出来，那么我也会受不了。所以我们拿到的数据一般是这样的，最右边的是弱标记，就是说只是告诉你图像里有病变，并不告诉你什么地方有病变，这需要我们自己去辨别出来。

还有一种常见的问题是像一个3D的数据里，这是一个物标，是呈一个球形的东西，但是医生大多数的时候往往只标其中直径最大的，其他的都不再进行处理。这块还有一个2.5D标注。

我们用标记的方法主要是重采样方法以及LOOS加权，弱监督学习，见效未标记类别对LOOS产生的贡献。什么意思？举个例子，我们现在做的眼底影像。眼底影像是眼科检查的常用方法，它检查比较方便而且比较低廉，所以是比较重要的手段。

这边是拿出来的一个典型的图像，这是几种不同的病变，这边是提取出来的特征。

这里一个例子，这些圈是医生标的，这边是有病变的，但是这里还有一些零散的病变没有标进去。

我们做的方法是采用重采样的方法，基本上对这些大块分成很多小块，首先对它的特征在这边进行聚类，然后我们把那些和这个样本相似的一些区域排除掉，只保留那些真正的负样本，然后再把它重新权重加大，最后进入到一个常规的模本里去。结果就是这样，其实刚才这个图里，我们加的那些箭头不是我们自己选的，是算法自动选出来的，就是它能够把这些正样本的地方标记出来。这个方法加上其他以后，显著效果比不使用这种方法高的多。

弱监督学习的例子，这是在我们病例图像检查中，这是一个大的图像，我们总体进行标记，然后局部个例没有标记，我们通过这条通路返回到特定的instance上去。

第二个案例，多模态数据和多模态模型。第一种是同一对象同介质的影像数据。比如说CT，我们做CT扫描会做多次，然后进行对比来看。第二种是同一对象不同介质的影像数据，第三种是影像+结构化数据。

比如说，宫颈病变诊断，我们有病毒的检测以及病理的分析报告，这两个都是以结构化文本的形式存在的，为了做这样的事情，我们这边做了双模态的模型，把依次检查中的图片放在通路里，然后加入不同的模态把信息融合起来。在最末端也把结构化数据在这边融合进去。

实际上，因为有时候检验的时候并不是说所有的模块都有，有时候可能缺了结构化的数据，在这样的情况下，我们不希望在一个组合上用单独的算法去做，所以我们用算法的能力把数据全部融合在一起，即便有些模态不存在，这个模型也能够处理，同时一个模型可以处理所有的情况。

试验结果，我们把两种不同的结果全部放在一起，我们可以看到它比中间任何一种单独去做，以及取两种去做，都要来的好。

第三个案例，生成性模型用于图像画质改变。我可以把一种模态的影像转变为另外一种模态，把比较疏的影像差值变密。

图像优化处理，我们用GAN的模式，把原图做一个深入，做输出以后，在这边相当于把它优化的结果放在这里，已经输出出来了，和正式的图片进行对比以后，作为判别的依据。

这里主要是一些效果，我们主要用于画像画质改善，比如说眼底影像案例，它的作用是可以把低可视度图转化为高可视度，减少对主模型的识别能力要求，扩充数据丰富度。还有一种是用于图像脱敏，它的作用是可以保护患者隐私，简化脱敏工作，避免消除文字后留下空白或黑色遮罩。

第四个案例，更加智能的标注工具。前面讲到的标注数量不足的问题，其中一个原因是因为医生去标的时候工作量太大，我们希望给他们提供一种工具，就是说它在这里大致画一个圈，我们的工具可以自动搜索到这个范围里。这里面传统的做法是CRF模型，可能做这方面研究的人会知道这个东西，这是一个对肝脏进行分割的工作，这是肝的本体，在没有进行处理之前，这个东西是非常边缘，不是特别完美的，但是经过我们的算法以后，它变的非常的光滑。

我们现在自己正在研发的新方法，是一个graph search，它不依赖于人工智能，对物体进行边缘提取的算法，把问题转化为一个优化问题，这是一个试验中的效果，最终我们是希望达到这样的结果，就是对这边进行点击以后，会对直接对内部进行填充。

第五个案例是AI分析依据的可视化，这也以眼底为例，我们做的工作是它会产生一个热图，它能够告诉你对特定的疾病，对判定结果是最重要的，这里都被勾划出来了。

除了我们前面讲到的以外，还有一块我们做的工作是关于全科辅助诊疗。在这方面做的工作主要是关于文本方面的处理，目前已经完成的工作包括像病理结构化、全科辅助诊断等。病理结构化，就是把文本里的关键字提取出来。

这边有一个例子，像我们这边拿到的很多电子病历，是没有经过处理的原始数据是这样的，经过我们结构化处理以后，会把这些时间和人的各种症状单独提取出来，每一个关键字段和医院的系统衔接。

这边是一个语义理解的过程，这是我们在线问诊助手搜集到的数据，这也是一个例子，既有问我要去挂什么科的，又问一些症状代表什么样的疾病，还有比如说正在问某一个医生或者某一家医院是否有空余的时间，这边是我们提取到的关键词。知识图谱这边，是整个基于文本AI能力的核心。

这边是所有的信息，这边是通过LSTM-CRF对模型进行处理，然后这边是得到分解以后的词语，这个专家审核是必须要经过一个过程，实际中获得的样本质量是不一的，谁拿去用的话会污染知识库，所以我们会经过严格的审查去做这个模型，因此这是一个闭环的循环过程。所有的工作都是在强化这个知识图谱，在使用过程中可以直接输出模型。

最后一点是关于应用落地。微医这边的业务生态，是想建立一个HMO健康管理组织，把单纯看病的形式变成健康管理的体系。目前做的基本上包括微医云、微医保。微医云，我们是全部出于微医云这块，所以项目落地都是经过微医云，主要做的是117个医联体项目系统接入。开发部署方案、设计清单也是从微医云上走，包括从网络上在线平台的直接服务。

总结一下，我们感觉从我们的研究开始到落地，在医疗AI有这么一些东西需要注意：

第一，数据治理的工作量与AI开发不相上下，甚至有可能会更大。因为项目的第一步往往是协助医院完成数据筛选和清洗，这里面需要做很多的整理和审核。医院那边拿到的病历质量是参差不齐的，有些地方的质量并不是那么高。

第二，减少标注的劳动量很有必要。这对于医生来说，虽然我们能接触到很多医生，但是在每个人的工作量一定的情况下，减少他在对一个东西进行标注的工作量，能使我们获得更多的样本。

第三，产品：与医生的诊断治疗流程匹配，表现实用价值是关键。很多时候可能我们在一些节目上看到竞赛，它只是集中在一个疾病的一个方面，但是实际上在医疗的过程中，医生那边是要从病人进去开始，到最后的跟踪随访都有一个需求，如果只是解决了其中的一个环节，对他们来说价值不是那么大。

第四，涉及落地的大量复杂而艰难的工作。最主要的是我们要把这些技术，做出来的产品融入到现有的流程中，与他们的系统进行打通，也包括从三甲医院到基层，不同医院的需求是完全不一样的，有些是要求尽可能快地处理更多的数据，有些反过来说我门诊量不是那么大，但是要提供非常精确、完整地诊断结果，因为我这边可能医生不像三甲医院的医生一样有这么强的诊断能力。

我们现在是要适应这个流程，但是并不代表我们完全不对这个流程进行改造，要有两个途径，就是在深度结合的基础上才能改造。

这也很好理解，因为我们最终目的还是为了希望改变整个医疗体系的流程，最大的比如说是一些诊疗看病的方式方法，因为只有这样做才能真正地落实它的最终意义，服务于患者和医生、医院，提高医疗效率。

最后，我讲一个案例，就是我们眼底疾病从研究开始到落地的这么一个过程。眼底疾病是和北京同仁医院进行合作的，目前已经建立了全国最大的眼底标注数据集。

我们最开始做这个的时候也是从目前最流行的糖尿病相关的视网膜病变入手，为了让医生进行标注，首先得对医院的数据进行清洗，有大量原始的数据，但是数据的质量和种类非常多，首先是需要进行一些基础工作，既包括像区分眼底和眼表照片，还有区分左右眼照片，如果医生去手动做这个事情，耗费的精力太多，包括像判别图片质量等。

第二步是医生和专家完成10万份的标注，我们做了一个分类的标准，比如说特异性98%，敏感度91%，这个数字还不错，但是还不够，所以我们进行了调整，第一是希望不是说给一个模型、给一张图片就直接给出结果，而是对图片进行局部的分析，然后对病灶进行标注。

这个工作量比分类标注的工作量大很多，所以在一段时间内大概只完成了2万张。然后我们研发出了非完全标注样本的机器学习算法，又为了提高对黄斑和水肿分类绩效，开发了黄斑区、视盘定位能力。经过这些东西的改造以后，在糖网病识别方面，特异性99%，敏感度95%。

为了使这个产品变得好用，我们也做了一个项目，就是诊断结果报告的自动生成。它初期采用了一个模板方法，现在研发的是采用结合NLP的方法。

现在我们从2种疾病扩展到了12种疾病，专家新完成4万多种类疾病的标注，12分类眼底疾病准确率达到94.5%，更新了对多疾病并存诊断能力的需求，并且开发了多标签分类模型，平均准确率99%，敏感度96%。目前正在做的一个疾病是可视化，针对12疾病，每一个都可以单独实现。我们希望对医生来说，让它变得真正好用。