在医学研究和临床治疗中，准确解读医学图像并生成有洞察力的报告对病人的护理是必不可少的，但却给人类临床专家带来了沉重的负担。

人工智能（AI），特别是多模态生成式医学图像解释（GenMI）领域的快速发展，为自动化这一复杂过程的部分工作创造了机会。尽管 GenMI 有望在生成跨学科报告方面达到人类专家水平，但仍在准确性、透明度等方面面临障碍。

厘清这些障碍并提出针对性解决方案，对于帮助临床医生改善护理质量、加强医学教育、减少工作量、扩大专业准入并提供实时专业知识至关重要。

今天，来自哈佛医学院的研究团队在权威科学期刊 Nature 上发文，全面综述了开发从图像中生成医学报告的 AI 系统方面的进展和挑战。

论文链接：

https://www.nature.com/articles/s41586-024-07618-3

除了分析医疗报告生成的新模型的优势和应用之外，他们倡导一种新的范式，以授权临床医生及其患者的方式部署 GenMI

在临床中发挥 GenMI 的优势

现有的大多数 AI 解决方案都侧重于自动完成医学影像中的单一任(rèn)务(wu)，没(méi)有(yǒu)考(kǎo)虑(lǜ)到(dào)放(fàng)射(shè)学(xué)和(hé)临(lín)床(chuáng)成(chéng)像(xiàng)中(zhōng)涉(shè)及(jí)的(de)更(gèng)全面(miàn)的(de)综(zōng)合(hé)分(fēn)析(xī)。

因(yīn)此(cǐ)，AI 有(yǒu)很(hěn)大(dà)潜(qián)力(lì)在(zài)医(yī)学(xué)成(chéng)像(xiàng)和(hé)报(bào)告(gào)方(fāng)面(miàn)实(shí)现(xiàn)更(gèng)广(guǎng)泛(fàn)的(de)用(yòng)途(tú)，例(lì)如(rú)快(kuài)速(sù)撰(zhuàn)写(xiě)出(chū)涉(shè)及(jí)多(duō)科(kē)室(shì)的(de)权(quán)威(wēi)报(bào)告(gào)，摄(shè)取(qǔ)多(duō)种(zhǒng)模(mó)式(shì)和(hé)临(lín)床(chuáng)数(shù)据(jù)，生(shēng)成(chéng)更(gèng)加(jiā)准(zhǔn)确(què)、流(liú)畅(chàng)和(hé)可(kě)解(jiě)释(shì)的(de)报(bào)告(gào)等(děng)。

图(tú)｜自(zì)动(dòng)生(shēng)成(chéng)医(yī)疗(liáo)报(bào)告(gào)的(de)应(yīng)用(yòng)

目(mù)前(qián)，医(yī)疗(liáo)报(bào)告(gào)生(shēng)成(chéng)框(kuāng)架(jià)主要(yào)由(yóu)视(shì)觉(jué)编(biān)码(mǎ)器(qì)和(hé)语(yǔ)言(yán)解(jiě)码(mǎ)器(qì)组(zǔ)成(chéng)。其(qí)中(zhōng)，编(biān)码(mǎ)器(qì)将(jiāng)图(tú)像(xiàng)中(zhōng)的(de)视(shì)觉(jué)信(xìn)息(xi)提(tí)取(qǔ)为(wèi)向(xiàng)量(liàng)表(biǎo)示(shì)，而(ér)解(jiě)码(mǎ)器(qì)接(jiē)收(shōu)一(yī)个(gè)向(xiàng)量(liàng)并(bìng)产(chǎn)生(shēng)特(tè)定(dìng)的(de)输(shū)出(chū)。

近(jìn)年(nián)来(lái)，科(kē)研(yán)人(rén)员(yuán)在(zài)编(biān)码(mǎ)器(qì)-解(jiě)码(mǎ)器(qì)方(fāng)法(fǎ)的(de)基(jī)础(chǔ)上(shàng)不(bù)断(duàn)创(chuàng)新(xīn)，从(cóng)而(ér)更(gèng)好(hǎo)地(de)编(biān)码(mǎ)图(tú)像(xiàng)数(shù)据(jù)、考(kǎo)虑(lǜ)外(wài)部(bù)知(zhī)识(shi)、筛(shāi)选(xuǎn)异(yì)常(cháng)等(děng)。包(bāo)括(kuò)大(dà)语(yǔ)言(yán)模(mó)型(xíng)（LLM）在(zài)内(nèi)的(de)大(dà)型(xíng)预(yù)训(xun)练(liàn)通(tōng)用(yòng) AI 系(xì)统(tǒng)，通(tōng)过(guò)推(tuī)动(dòng)开(kāi)发(fā)新(xīn)的(de) GenMI 解(jiě)决(jué)方(fāng)案(àn)，彻(chè)底(dǐ)改(gǎi)变(biàn)了(le)医(yī)学(xué)图(tú)像(xiàng)解(jiě)释(shì)。

这(zhè)些(xiē) GenMI 方(fāng)法(fǎ)可(kě)以(yǐ)产(chǎn)生(shēng)更(gèng)准(zhǔn)确(què)的(de)医(yī)疗(liáo)报(bào)告(gào)，以(yǐ)及(jí)使(shǐ)用(yòng)相(xiāng)同(tóng)的(de)基(jī)础(chǔ)模(mó)型(xíng)执(zhí)行(xíng)其(qí)他(tā)几(jǐ)个(gè)下(xià)游(yóu)任(rèn)务(wu)并(bìng)处(chù)理(lǐ)多(duō)模(mó)态(tài)数(shù)据(jù)。

这(zhè)些(xiē)算(suàn)法(fǎ)大(dà)多(duō)建(jiàn)立(lì)在(zài)视(shì)觉(jué)语(yǔ)言(yán)模(mó)型(xíng)（VLM）的(de)基(jī)础(chǔ)上(shàng)，VLM 将(jiāng)单(dān)个(gè)视(shì)觉(jué)和(hé)语(yǔ)言(yán)模(mó)型(xíng)融(róng)合(hé)到(dào)一(yī)个(gè)统(tǒng)一(yī)的(de)框(kuāng)架(jià)中(zhōng)，可(kě)以(yǐ)对(duì)图(tú)像(xiàng)和(hé)文本(běn)输(shū)入(rù)进(jìn)行(xíng)联(lián)合(hé)编(biān)码(mǎ)。

图(tú)｜GenMI 的(de)能(néng)力(lì)

利(lì)用(yòng) GenMI 协(xié)助(zhù)临(lín)床(chuáng)医(yī)生(shēng)和(hé)患(huàn)者(zhě)，在(zài)临(lín)床(chuáng)环(huán)境(jìng)中(zhōng)充(chōng)分(fēn)发(fā)挥(huī)它(tā)们(men)的(de)优(yōu)势(shì)，可(kě)以(yǐ)通(tōng)过(guò)两(liǎng)个(gè)范(fàn)例(lì)来(lái)理(lǐ)解(jiě)。

第(dì)一(yī)个(gè)是(shì)部(bù)署(shǔ) AI 住(zhù)院(yuàn)实(shí)习(xí)医(yī)师(shī)。AI 住(zhù)院(yuàn)实(shí)习(xí)医(yī)师(shī)首(shǒu)先(xiān)会(huì)专(zhuān)门(mén)起(qǐ)草(cǎo)临(lín)床(chuáng)上(shàng)准(zhǔn)确(què)的(de)报(bào)告(gào)，作(zuò)为(wèi)住(zhù)院(yuàn)实(shí)习医师或医生撰写报告的起点。在开发过程中，可以在临床环境中对模型进行前瞻性测试。然后，AI 住院实习医师可以在主治医师的监督下进行微调或校准，并从所需的修正和补充中学习。

图｜部署 AI 住院实习医师

第二个是符合人类偏好。基于人类反馈的强化学习（RLHF）和直接偏好优化（DPO）是应用于此类任务的两种技术。

对话式医疗报告生成(chéng)模(mó)型(xíng)，使(shǐ)临(lín)床(chuáng)医(yī)生(shēng)可(kě)以(yǐ)根据需要提供反馈和后续问题，还可以与临床医生合作，通过生成式 AI 改变输入图像的属性，观察模型预测中的相关差异，并将这些差异与临床医生识别出的突出特征进行比较，从而对 AI 成像工具进行审核，还可以对为患者生成的报告进行调整，使其更直白，包含更少的医学(xué)术(shù)语(yǔ)，更(gèng)多(duō)围(wéi)绕(rào)患(huàn)者(zhě)病(bìng)情(qíng)。

总(zǒng)的(de)来(lái)说(shuō)，临(lín)床(chuáng)医(yī)生(shēng)可(kě)以(yǐ)通(tōng)过(guò) 3 种(zhǒng)途(tú)径与(yǔ) AI 系(xì)统(tǒng)协(xié)作(zuò)：

利(lì)用(yòng) AI 模(mó)型(xíng)的(de)诊(zhěn)断(duàn)能(néng)力(lì)，获(huò)得(de)诊(zhěn)断(duàn)错(cuò)误(wù)的(de)反(fǎn)馈(kuì)。模(mó)型(xíng)可以结合多模(mó)态(tài)输(shū)出(chū)，其(qí)中(zhōng)的(de)解(jiě)释(shì)加(jiā)上(shàng)在(zài)原(yuán)始(shǐ)图(tú)像(xiàng)上(shàng)的(de)边(biān)界(jiè)框(kuāng)，可(kě)以(yǐ)突(tū)出(chū)图(tú)像(xiàng)中(zhōng)以(yǐ)前(qián)可(kě)能(néng)被(bèi)忽(hū)略(è)的(de)相(xiāng)关区(qū)域；

模(mó)型(xíng)快(kuài)速解析图像和报告的能力，有助于临床医生快速搜索类似病例和图像；

模型可以协助临床医生决策，其提出的探究性问题可以让临床医生深入了解与特定病症相关的诊断模式。

仍需克服 4 大挑战

然而，研究团队表示，要想发挥 GenMI 等 AI 系统的优(yōu)势(shì)，还(hái)需(xū)要(yào)解(jiě)决(jué)基(jī)准(zhǔn)、人(rén)类(lèi)过(guò)度(dù)依(yī)赖(lài)、数(shù)据(jù)集和(hé)模(mó)型(xíng)偏(piān)差(chà)以(yǐ)及(jí)新(xīn)模(mó)型(xíng)、新(xīn)科(kē)室(shì)等(děng)挑(tiāo)战(zhàn)。

首(shǒu)先(xiān)，是(shì)基(jī)准(zhǔn)和(hé)评(píng)估(gū)指(zhǐ)标(biāo)。在(zài)安(ān)全实(shí)施(shī)医(yī)学(xué)报(bào)告(gào)生(shēng)成(chéng)模(mó)型(xíng)，AI 住(zhù)院(yuàn)实(shí)习(xí)医(yī)师(shī)将(jiāng)在(zài)住(zhù)院(yuàn)治(zhì)疗(liáo)中(zhōng)发(fā)挥(huī)更(gèng)重(zhòng)要(yào)的(de)作(zuò)用(yòng)之(zhī)前(qián)，必(bì)须(xū)开(kāi)展(zhǎn)评(píng)估(gū)下(xià)游(yóu)临(lín)床(chuáng)效(xiào)果(guǒ)的(de)研(yán)究(jiū)，明(míng)确(què)衡(héng)量(liàng)标(biāo)准(zhǔn)。

流(liú)行(xíng)的(de) LLM 的(de)性(xìng)能(néng)会(huì)随(suí)着(zhe)时(shí)间(jiān)的(de)推(tuī)移(yí)而(ér)发(fā)生(shēng)显(xiǎn)著(zhe)变(biàn)化(huà)，这(zhè)种(zhǒng)差(chà)异(yì)可(kě)能(néng)会(huì)造(zào)成(chéng)严(yán)重(zhòng)后(hòu)果(guǒ)。例(lì)如(rú)，疾(jí)病(bìng)预(yù)测(cè)模(mó)型(xíng)可(kě)能(néng)会(huì)被(bèi)操(cāo)纵(zòng)以(yǐ)输(shū)出(chū)特(tè)定(dìng)的(de)诊(zhěn)断(duàn)和(hé)结(jié)果(guǒ)测(cè)量(liàng)，从(cóng)而(ér)导(dǎo)致(zhì)处(chù)方(fāng)过(guò)量(liàng)、保(bǎo)险(xiǎn)欺(qī)诈(zhà)和(hé)伪(wěi)造(zào)临(lín)床(chuáng)试(shì)验(yàn)。

因(yīn)此(cǐ)，在(zài)将(jiāng) LLM 作(zuò)为(wèi)人(rén)工(gōng)智(zhì)能(néng)住(zhù)院(yuàn)实(shí)习(xí)医(yī)师(shī)的(de)一(yī)部(bù)分(fēn)进(jìn)行(xíng)部署时，必须确保采取一致的安全措施和监管。

其次，是临床医生和患者的过度依赖。临床医生可能出于对错误问责的模糊性、确认偏差和自动化偏差，过于依赖机器自动化指导等各种原因，不愿意更改 AI 生成报告中的文字，忽略模型无法识别的罕见发现。

虽然 AI 住院实习医师可以让患者直接与真正的临床专家进行交流，但这些交流应该在可控的情况下进行，这样患者就不会依赖 AI 住院实习医师来指导他们的医疗护理。同时，临床医生应向患者传授正确的查询方法，并让他们了解 AI 工具，以便自己进行探索。在部署 AI 住院实习医师的整个过程中，必须承认 AI 系统的局限性，尤其是在直接护理等只有人类才能处理和提供的更广泛的语境、同理心和认知的领域。

然后，是有偏差的数据(jù)集和(hé)模(mó)型(xíng)。深度学习模型，尤其是 LLM，很容易受到训练数据固有偏差的影响。在 AI 住院实习医师(shī)的(de)范(fàn)例中，这种缺陷尤其容易造成问题，因为模型不仅会在生成的报告中，还会在医学教育和临床医生理解等方面延续这种偏差(chà)。

此外，人类的主观反馈是改进 AI 住院医师的关键因素，而这本身就可能造成有偏见的反馈循环。训练数据的质量、规模和平衡也是决定模型偏差的重要因素，因此亟需更广泛、更具代表性的数据集。

目前，大多数进展都是由 MIMIC-CXR 等数据集推动的，这些数据集仅限于单模态胸部 X 光扫描，其他数据集也不平衡，除了配对图像和相关报告普遍不足外，与正常扫描相比，异常扫描要少得多，并且往往会捕捉到更常见的疾病，而罕见的疾病则很少出现。异常也通常只局限于图像的一小部分，因此模型很难对(duì)其(qí)进(jìn)行筛选。

最后，是新的模式和新的科室。目前，将 GenMI 应用于三维成像（包括 MRI 和 CT 扫描）的工作十分有限。部分原因是这一领域缺乏大型标注数据集，只有少数未发布、稀少或难以获取的数据集。

除了三维放射图像，GenMI 还以有限的方式应用于其他科(kē)室(shì)。眼(yǎn)科(kē)和(hé)皮(pí)肤(fū)科(kē)的(de)报(bào)告(gào)生(shēng)成(chéng)在(zài)一(yī)定(dìng)程(chéng)度(dù)上(shàng)取(qǔ)得(de)了(le)成(chéng)功(gōng)，在(zài)其(qí)考(kǎo)虑(lǜ)中(zhōng)纳(nà)入(rù)了(le)外(wài)部(bù)知(zhī)识(shi)和(hé)疾(jí)病(bìng)分(fēn)类(lèi)等(děng)标(biāo)准(zhǔn)技(jì)术(shù)。尽(jǐn)管(guǎn)纳(nà)入(rù)新(xīn)科(kē)室(shì)和(hé)图(tú)像(xiàng)类(lèi)型(xíng)将(jiāng)扩(kuò)展(zhǎn) AI 工(gōng)具(jù)的(de)能(néng)力(lì)，但(dàn)获(huò)取(qǔ)大(dà)规(guī)模(mó)多(duō)模(mó)态(tài)数(shù)据(jù)集的(de)成(chéng)本非常高昂，资源充足的公(gōng)司(sī)或(huò)有(yǒu)能(néng)力(lì)收(shōu)集或(huò)授(shòu)权(quán)使(shǐ)用(yòng)这(zhè)些(xiē)专(zhuān)有(yǒu)数(shù)据(jù)集。

自(zì)动(dòng)生(shēng)成(chéng)医(yī)疗(liáo)报(bào)告(gào)在(zài)减(jiǎn)轻(qīng)临(lín)床(chuáng)负(fù)担(dān)、扩(kuò)大(dà)专(zhuān)家(jiā)级(jí)临(lín)床(chuáng)医(yī)疗(liáo)服(fú)务(wu)覆(fù)盖(gài)面(miàn)方(fāng)面(miàn)有广阔前景。GenMI 可以生成更高质量的报告，通过提供交互式临床专业知识授权临床医生和患者，并通过扩展教育功能改善未来的临床护理。

研究团队表示，在不同模式和科室的临床环境中，制定衡量其效果的公开基准、进行持续的临床合作和谨慎的模型验证至关重要，这有助于学术界更透明地衡量报告生成的进展，并为临床监管机构未来的工作提供指导，使其安全有效。