好紧好大快点舒服使劲视频_亚洲综合内射少妇av激情_色爱区综合激月婷婷激情五月_熟妇人妻无码中文字幕在线_久久人妻中出自慰19p_欧美夜色精品一区_亚洲熟女有码字幕_国产精品无码免费专区_国产AV醉酒系列精品_男人爱看的天堂网

歡迎來到思途醫(yī)療科技有限公司官網(wǎng)!

醫(yī)療器械生產(chǎn)企業(yè)合規(guī)技術(shù)咨詢服務(wù)

注冊備案 · 臨床試驗(yàn) · 體系建立輔導(dǎo) · 分類界定 · 申請創(chuàng)新

186-0382-3910
186-0382-3910
全部服務(wù)分類
當(dāng)前位置: 首頁 > 資訊中心 > 法規(guī)文件

肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導(dǎo)原則(2022年第21號(hào))

發(fā)布日期:2022-05-26 閱讀量:

肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導(dǎo)原則(2022年第21號(hào))(圖1)

國家藥監(jiān)局器審中心關(guān)于發(fā)布肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導(dǎo)原則的通告(2022年第21號(hào))


發(fā)布時(shí)間:2022-05-26

為進(jìn)一步規(guī)范肺結(jié)節(jié)CT圖像輔助檢測軟件的管理,國家藥監(jiān)局器審中心組織制定了《肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導(dǎo)原則》,現(xiàn)予發(fā)布。

特此通告。


附件:肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導(dǎo)原則.doc


國家藥品監(jiān)督管理局
醫(yī)療器械技術(shù)審評中心
2022年5月26日


附件

肺結(jié)節(jié)CT圖像輔助檢測軟件注冊審查指導(dǎo)原則

本指導(dǎo)原則是對肺結(jié)節(jié)CT圖像輔助檢測軟件的一般要求,申請人應(yīng)依據(jù)產(chǎn)品的具體特性確定其中的內(nèi)容是否適用。若不適用,需具體闡述其理由及相應(yīng)的科學(xué)依據(jù),并依據(jù)具體的產(chǎn)品特性對注冊申報(bào)資料的內(nèi)容進(jìn)行充實(shí)和細(xì)化。

本指導(dǎo)原則是供注冊申請人和技術(shù)審評人員使用的指導(dǎo)性文件,但不包括注冊審批所涉及的行政事項(xiàng),亦不作為法規(guī)強(qiáng)制執(zhí)行,應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。如果有能夠滿足相關(guān)法規(guī)要求的其他方法,也可以采用,但是需要提供詳細(xì)的研究資料和驗(yàn)證資料。

本指導(dǎo)原則是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的,隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善,以及科學(xué)技術(shù)的不斷發(fā)展,相關(guān)內(nèi)容也將適時(shí)進(jìn)行調(diào)整。

本指導(dǎo)原則是人工智能醫(yī)療器械指導(dǎo)原則體系的重要組成部分,基于人工智能醫(yī)療器械審評指導(dǎo)原則的通用要求,明確了肺結(jié)節(jié)CT圖像輔助檢測軟件的具體要求。

一、適用范圍

本指導(dǎo)原則適用于肺結(jié)節(jié)CT圖像輔助檢測軟件的產(chǎn)品注冊。按現(xiàn)行《醫(yī)療器械分類目錄》,該類產(chǎn)品分類編碼為21-04-02,管理類別為三類。設(shè)備中所含肺結(jié)節(jié)CT圖像輔助檢測功能也適用于本指導(dǎo)原則。采用非人工智能算法的肺結(jié)節(jié)CT圖像輔助檢測軟件可參照本指導(dǎo)原則執(zhí)行。

二、注冊審查要點(diǎn)

(一)監(jiān)管信息

明確申請表中產(chǎn)品名稱、管理類別、分類編碼、型號(hào)規(guī)格、產(chǎn)品組成等信息。

1.產(chǎn)品名稱

產(chǎn)品命名需符合《醫(yī)療器械通用名稱命名規(guī)則》的要求。根據(jù)產(chǎn)品預(yù)期用途可采用肺結(jié)節(jié)CT圖像輔助檢測軟件進(jìn)行命名。

2.分類編碼

依據(jù)《醫(yī)療器械分類目錄》,申報(bào)產(chǎn)品分類編碼為21-04-02。按第三類醫(yī)療器械管理。

(二)綜述資料

1. 產(chǎn)品描述

1.1器械及操作原理描述

1.1.1工作原理

需詳述產(chǎn)品的工作原理,例如:基于深度學(xué)習(xí)技術(shù)對醫(yī)學(xué)影像進(jìn)行分析處理、對肺結(jié)節(jié)進(jìn)行分割、檢測、自動(dòng)識(shí)別等。

1.1.2結(jié)構(gòu)組成

結(jié)構(gòu)組成明確交付內(nèi)容和功能模塊,其中交付內(nèi)容包括軟件安裝程序、授權(quán)文件、外部軟件環(huán)境安裝程序等軟件程序文件,功能模塊包括客戶端、服務(wù)器端(若適用)、云端(若適用),若適用注明選裝、模塊版本?;谌斯ぶ悄芩惴ǎㄈ缟疃葘W(xué)習(xí))的功能模塊,需在模塊名稱中予以注明,如深度學(xué)習(xí)。

1.1.3產(chǎn)品描述

需明確臨床工作流程,工作流程中使用申報(bào)產(chǎn)品的時(shí)間(如在醫(yī)生閱片前使用)。

肺結(jié)節(jié)檢測當(dāng)前的臨床實(shí)踐(基于參考文獻(xiàn))。

結(jié)合用戶界面圖示詳細(xì)介紹技術(shù)要求中對應(yīng)的臨床功能、量化分析的具體內(nèi)容、自動(dòng)操作、手動(dòng)及半自動(dòng)操作/預(yù)定義的默認(rèn)設(shè)置。需明確軟件輸出報(bào)告、特殊聲稱(如用于檢測小于4mm結(jié)節(jié))、服務(wù)器部署(局域網(wǎng)、云端)、產(chǎn)品接口和聯(lián)合使用設(shè)備等信息。

1.2 型號(hào)規(guī)格

需明確申報(bào)產(chǎn)品的型號(hào)規(guī)格及發(fā)布版本。產(chǎn)品型號(hào)規(guī)格及其劃分,如同一個(gè)注冊單元包含多個(gè)型號(hào)規(guī)格,需提供產(chǎn)品型號(hào)規(guī)格區(qū)分列表或配置表。

1.3研發(fā)歷程

闡述申請注冊產(chǎn)品的研發(fā)背景和目的。如有參考的同類產(chǎn)品或前代產(chǎn)品,需提供同類產(chǎn)品或前代產(chǎn)品的信息,并說明選擇其作為研發(fā)參考的原因。

1.4與同類和/或前代產(chǎn)品的參考和比較

同一制造商生產(chǎn)的改良器械,建議直接和本公司已獲批準(zhǔn)的器械的算法性能進(jìn)行比較(即,使用相同的評估過程和測試數(shù)據(jù)集比較性能)。

2.適用范圍和禁忌證

(1)適用范圍

適用范圍需明確處理對象、核心功能、適用人群、目標(biāo)用戶、臨床用途。

例如,用于胸部CT圖像的顯示、處理、測量和分析,可對4mm及以上肺結(jié)節(jié)進(jìn)行自動(dòng)識(shí)別并分析結(jié)節(jié)影像學(xué)特征,供經(jīng)培訓(xùn)合格的醫(yī)師使用,不能單獨(dú)用作臨床診療決策依據(jù)。

(2)預(yù)期使用環(huán)境

需明確設(shè)備使用場所和使用環(huán)境要求。

設(shè)備使用場所包括:醫(yī)療機(jī)構(gòu)機(jī)房等。

使用環(huán)境要求需至少包括:推薦的硬件使用的適宜溫度、濕度、大氣壓、光照條件。

(3)適用人群

需詳述產(chǎn)品的適用人群、感興趣器官/疾病/病灶/異常、以及預(yù)期使用該產(chǎn)品的目標(biāo)用戶。如,可供18歲及以上門診及體檢人群使用,供經(jīng)培訓(xùn)合格的放射科醫(yī)師、??漆t(yī)師使用。

(4)禁忌證

需明確產(chǎn)品臨床應(yīng)用的禁忌證以及器械限制,包括導(dǎo)致器械無效且不應(yīng)使用的疾病、病癥、異常。

(三)非臨床資料

1.產(chǎn)品風(fēng)險(xiǎn)管理資料

依據(jù)YY/T 0316《醫(yī)療器械風(fēng)險(xiǎn)管理對醫(yī)療器械的應(yīng)用》,提供產(chǎn)品風(fēng)險(xiǎn)管理報(bào)告。

申請人需重點(diǎn)說明:申報(bào)產(chǎn)品的研制階段已對有關(guān)可能的危害及產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行了估計(jì)和評價(jià),針對性地實(shí)施了降低風(fēng)險(xiǎn)的技術(shù)和管理方面的措施。產(chǎn)品性能測試對上述措施的有效性進(jìn)行了驗(yàn)證,達(dá)到了通用和專用標(biāo)準(zhǔn)的要求。申請人對所有剩余風(fēng)險(xiǎn)進(jìn)行了評價(jià),全部達(dá)到可接受的水平。產(chǎn)品風(fēng)險(xiǎn)分析資料需為申請人關(guān)于產(chǎn)品安全性的承諾提供支持。

風(fēng)險(xiǎn)管理報(bào)告一般包括以下內(nèi)容:

(1)申報(bào)產(chǎn)品的風(fēng)險(xiǎn)管理組織。

(2)申報(bào)產(chǎn)品的組成。

(3)申報(bào)產(chǎn)品符合的安全標(biāo)準(zhǔn)。

(4)申報(bào)產(chǎn)品的預(yù)期用途,與安全性有關(guān)的特征的判定。

(5)對申報(bào)產(chǎn)品的可能危害作出判定(見附件1)。

(6)對所判定的危害采取的降低風(fēng)險(xiǎn)的控制措施。

(7)對采取控制措施后的剩余風(fēng)險(xiǎn)進(jìn)行估計(jì)和評價(jià)。

2.產(chǎn)品技術(shù)要求及檢驗(yàn)報(bào)告

2.1產(chǎn)品技術(shù)要求

依據(jù)《醫(yī)療器械產(chǎn)品技術(shù)要求編寫指導(dǎo)原則》進(jìn)行編制。

2.1.1規(guī)格信息

明確軟件發(fā)布版本和版本命名規(guī)則。軟件版本命名規(guī)則原則上需涵蓋算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新,明確并區(qū)分重大軟件更新和輕微軟件更新,其中重大軟件更新列舉常見典型情況。

明確不同型號(hào)間產(chǎn)品差異。

2.1.2性能指標(biāo)

明確產(chǎn)品處理對象,以及數(shù)據(jù)接口信息,包括成像模態(tài)(如計(jì)算機(jī)體層攝影)和特定軟硬件名稱及型號(hào)(如適用)。

明確軟件功能及指標(biāo),如輸入圖像的質(zhì)量要求、結(jié)節(jié)檢出、結(jié)節(jié)密度分類類別(如實(shí)性、亞實(shí)性的手動(dòng)分類等)、結(jié)節(jié)位置(如肺葉、肺段、肺結(jié)節(jié)CT圖像層面、肺內(nèi)、胸膜)、結(jié)節(jié)標(biāo)記方式(緊密包裹結(jié)節(jié)的邊界框、不緊密包裹結(jié)節(jié)的邊界框)、分割方式(自動(dòng)分割、半自動(dòng)分割、手動(dòng)分割)、測量功能(如體積、最大軸向平面最長直徑、短徑、平均直徑、最大三維直徑、有效直徑、平均密度、面積等)、隨訪評估功能(如倍增時(shí)間、數(shù)值參數(shù)的百分比(%)和絕對變化、結(jié)節(jié)長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等)、客觀物理測量準(zhǔn)確性(如線性度、精度、重復(fù)性、再現(xiàn)性、范圍限值、顯示誤差等)、結(jié)節(jié)的3D或MIP可視化等。

使用限制明確應(yīng)用場景(體檢、門診病房)、患者(年齡、地域、疾病類型)、CT設(shè)備(主流廠家、探測器排數(shù))、CT掃描參數(shù)(如管電壓、管電流、層厚/層間距、劑量(常規(guī)劑量、低劑量)、窗寬窗位、重建方式、顯示方式)、放射學(xué)檢查條件(CT增強(qiáng)掃描、CT平掃)、CT圖像質(zhì)量要求(如分辨率、偽影)、結(jié)節(jié)檢出的尺寸范圍、結(jié)節(jié)密度分類類別。如軟件包含圖像質(zhì)量判定功能,明確軟件使用限制。

若含有基于測評數(shù)據(jù)庫測試的性能指標(biāo),其要求參考《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》。

運(yùn)行環(huán)境,運(yùn)行在不同計(jì)算機(jī)系統(tǒng)的產(chǎn)品模塊(如客戶端和云端)需分別描述其運(yùn)行環(huán)境、服務(wù)器部署(局域網(wǎng)、云端)信息。

附錄中明確體系結(jié)構(gòu)圖、用戶界面關(guān)系圖與主界面圖示、物理拓?fù)鋱D、測評數(shù)據(jù)庫、數(shù)據(jù)庫/集信息。

3.軟件研究

(1)基本要求

生產(chǎn)企業(yè)需依據(jù)《醫(yī)療器械軟件注冊審查指導(dǎo)原則(2022年修訂版)》提交相應(yīng)軟件研究資料。其中,核心算法所述人工智能算法需依據(jù)《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》提交相應(yīng)算法研究資料。

生產(chǎn)企業(yè)需依據(jù)《醫(yī)療器械網(wǎng)絡(luò)安全注冊審查指導(dǎo)原則(2022年修訂版)》提交網(wǎng)絡(luò)安全描述文檔。按照《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》提交數(shù)據(jù)安全資料。

若使用云計(jì)算服務(wù),生產(chǎn)企業(yè)需依據(jù)《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》提交相應(yīng)研究資料。使用云計(jì)算服務(wù)需明確服務(wù)模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡(luò)安全能力、服務(wù)(質(zhì)量)協(xié)議等要求。

軟件版本命名規(guī)則涵蓋算法驅(qū)動(dòng)型軟件更新和數(shù)據(jù)驅(qū)動(dòng)型軟件更新;區(qū)分重大軟件更新和輕微軟件更新,其中重大軟件更新需列舉常見典型情況。

(2)軟件安全級(jí)別

該類產(chǎn)品的軟件安全性級(jí)別為嚴(yán)重(C)級(jí)。

(3)核心功能

列明軟件核心功能的名稱、所用核心算法、預(yù)期用途并注明類型,全新的核心功能、核心算法、預(yù)期用途均需提供安全有效性研究資料。

表1 核心功能示例

核心功能核心算法預(yù)期用途類型
影像增強(qiáng),用于增強(qiáng)影像對比度,提升算法精度灰度拉伸圖像增強(qiáng)算法肺葉分割及肺結(jié)節(jié)檢測成熟
以預(yù)測概率對檢測框進(jìn)行優(yōu)先級(jí)排序,消除冗余檢測框,抑制假陽性檢出NMS非極大值抑制輔助醫(yī)生進(jìn)行肺結(jié)節(jié)檢測成熟
生成候選結(jié)節(jié)框基于Faster-Rcnn的肺結(jié)節(jié)檢出算法輔助醫(yī)生進(jìn)行肺結(jié)節(jié)檢測全新
醫(yī)生檢測肺結(jié)節(jié)基于FPN的肺結(jié)節(jié)檢出算法輔助醫(yī)生進(jìn)行肺小結(jié)節(jié)檢測全新
利用ResNet產(chǎn)生的熱度圖裁剪出感興趣區(qū)域,然后將區(qū)域分類為結(jié)節(jié)和非結(jié)節(jié),以實(shí)現(xiàn)結(jié)節(jié)檢測基于ResNet的肺結(jié)節(jié)檢出算法輔助醫(yī)生進(jìn)行肺結(jié)節(jié)檢測全新
利用灰度閾值提取肺部區(qū)域基于自適應(yīng)閾值的肺分割算法分割出左右肺,幫助進(jìn)一步檢出肺結(jié)節(jié)成熟
測量肺結(jié)節(jié)體積,長短徑基于3D-UNet的肺結(jié)節(jié)分割算法輔助醫(yī)生對肺結(jié)節(jié)進(jìn)行分割全新
基于肺結(jié)節(jié)分割,測量肺結(jié)節(jié)平均HU值基于HU值的肺結(jié)節(jié)密度測量算法輔助醫(yī)生測量肺結(jié)節(jié)內(nèi)部HU值成熟
……


注:表1中全新是對當(dāng)前深度學(xué)習(xí)算法的全新算法的示例

4.算法研究資料

4.1算法基本信息

需提供算法設(shè)計(jì)和功能的信息,提供流程圖及注釋,明確算法名稱、版本、軟件平臺(tái)的相關(guān)特性。

需描述算法每個(gè)階段(如肺結(jié)節(jié)檢出、肺結(jié)節(jié)分類、肺結(jié)節(jié)分割、肺結(jié)節(jié)測量)的設(shè)計(jì)和功能,通過文獻(xiàn)論述算法類型(成熟及全新)。

4.1.1肺結(jié)節(jié)檢出算法

肺結(jié)節(jié)檢出算法需明確算法的輸入,比如算法采用的是2D,2.5D還是3D的胸部CT圖像作為算法輸入;算法的輸出-標(biāo)記格式描述(形狀、大小、與感興趣區(qū)域有關(guān)的預(yù)期位置、邊界、顏色,比如緊密包裹肺結(jié)節(jié)的矩形框端點(diǎn)(二維/三維),肺結(jié)節(jié)中心點(diǎn))。

明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),如 Faster RCNN;明確算法訓(xùn)練采用的損失函數(shù),如交叉熵,L1范數(shù);明確算法設(shè)計(jì)過程中網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)等核心組件選擇和設(shè)計(jì)的原則、方法與風(fēng)險(xiǎn)考量,如肺結(jié)節(jié)大小尺度的差異,肺結(jié)節(jié)與背景正負(fù)樣本的不均衡性、假陽性、過擬合等;若肺結(jié)節(jié)檢出采用多個(gè)模型融合,需明確不同模型訓(xùn)練與推理的方式,以及模型融合的策略,如級(jí)聯(lián),多數(shù)投票;

肺結(jié)節(jié)檢出存在同一個(gè)目標(biāo)多個(gè)重疊框的問題,算法需明確匹配關(guān)系所采用的策略,如交并比(IoU),定位框中心距離;

明確算法的流程圖,需包含算法運(yùn)行前所進(jìn)行的前處理(圖像縮放、圖像像素值歸一化、圖像重采樣)以及算法運(yùn)行后所進(jìn)行的后處理操作(圖像重采樣、非最大化抑制)。明確訓(xùn)練與部署所采用的框架(如Tensorflow, Pytorch)、算法運(yùn)行環(huán)境(如內(nèi)存、顯存的需求)。

若使用遷移學(xué)習(xí)技術(shù),除上述內(nèi)容外還需補(bǔ)充預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、算法測試等資料。

4.1.2肺結(jié)節(jié)密度分類算法

肺結(jié)節(jié)密度分類算法需明確輸出(密度類別),密度類別制定依據(jù)以及臨床適用性。

肺結(jié)節(jié)密度分類算法需明確算法的輸入,比如算法采用的是2D,2.5D還是3D的圖像作為算法的輸入。若采用2D,需明確肺結(jié)節(jié)選取的圖像層面,如中心層面,最大面積層面;明確算法所采用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),如Residual Net,Dense-Net;明確算法訓(xùn)練采用的損失函數(shù),如交叉熵,F(xiàn)ocal損失函數(shù);損失函數(shù)等核心組件選擇和設(shè)計(jì)的原則、方法與風(fēng)險(xiǎn)考量,如肺結(jié)節(jié)大小尺度的差異,不同類別肺結(jié)節(jié)樣本的不均衡性、過擬合等;若肺結(jié)節(jié)分類采用多個(gè)模型融合,需明確不同模型訓(xùn)練與推理的方式,以及模型融合的策略,如多數(shù)投票;最后,明確算法的流程圖,訓(xùn)練與部署所采用的框架(如Tensorflow, Pytorch)、算法運(yùn)行環(huán)境(如內(nèi)存、顯存的需求)。

4.1.3肺結(jié)節(jié)測量算法

針對肺結(jié)節(jié)測量算法,明確測量原理(基于像素點(diǎn)數(shù)),測量實(shí)現(xiàn)的方式,如肺結(jié)節(jié)體積測量算法、密度值測量算法與長徑短徑測量算法可以通過肺結(jié)節(jié)分割技術(shù)來實(shí)現(xiàn),也可以通過機(jī)器學(xué)習(xí)中的回歸方法來進(jìn)行預(yù)測。測量內(nèi)容包括長徑、短徑、體積、面積、平均HU值等,其中密度值測量算法需明確測量的類型,如平均值,標(biāo)準(zhǔn)差,最大值,最小值,中位數(shù)。

4.1.4肺結(jié)節(jié)肺葉肺段定位算法

肺結(jié)節(jié)肺葉肺段定位算法中,明確肺結(jié)節(jié)定位的類別,如左/右肺定位、肺葉定位、肺段定位。明確算法輸入的類型,如肺結(jié)節(jié)二維切片,肺結(jié)節(jié)三維圖像塊,若輸入類型為二維切片,明確二維切片選取標(biāo)準(zhǔn)(如肺結(jié)節(jié)長徑短徑交點(diǎn)所在切片、肺結(jié)節(jié)最大面積切片)。

肺結(jié)節(jié)肺葉肺段定位算法需明確實(shí)現(xiàn)的機(jī)理,如基于肺段分割算法實(shí)現(xiàn)解剖定位,基于圖像分類算法實(shí)現(xiàn)解剖定位。

若申報(bào)產(chǎn)品涉及上述多個(gè)算法,需提供算法整體流程圖,明確各個(gè)算法調(diào)用先后關(guān)系,以及輸入輸出依賴關(guān)系。

若使用遷移學(xué)習(xí)技術(shù),除上述內(nèi)容外還需補(bǔ)充預(yù)訓(xùn)練模型的數(shù)據(jù)集構(gòu)建、算法測試等資料。

4.2算法需求規(guī)范

算法功能需求建議關(guān)注數(shù)據(jù)庫需求、算法性能評價(jià)指標(biāo)及制定依據(jù)、性能的擬定目標(biāo)及制定依據(jù)。

4.2.1數(shù)據(jù)庫需求

算法性能評價(jià)需要基于訓(xùn)練和測試數(shù)據(jù)庫,數(shù)據(jù)庫具體要求詳見附件2。

4.2.2算法性能評價(jià)指標(biāo)

在指定肺結(jié)節(jié)檢出算法評估指標(biāo)之前,需確定器械標(biāo)記的位置和范圍和參考標(biāo)準(zhǔn)之間的匹配性,需明確標(biāo)記匹配的方式,即算法標(biāo)記目標(biāo)與參考標(biāo)準(zhǔn)目標(biāo)的匹配方式,常見的標(biāo)記匹配方式有按照區(qū)域重疊的比例(面積、體積)、中心點(diǎn)的距離、中心是否落入來判斷標(biāo)記是否匹配;還需明確聲稱的標(biāo)記匹配的閾值。

明確算法任務(wù),明確算法訓(xùn)練和調(diào)優(yōu)過程中不同任務(wù)的評估指標(biāo)及定義。有關(guān)標(biāo)記匹配方式與評估指標(biāo)的定義可以參考“人工智能醫(yī)療器械 肺部影像輔助分析軟件算法性能測試方法”5.1.1.1章節(jié)。明確不同任務(wù)的算法評價(jià)指標(biāo)的定義、計(jì)算公式及確定依據(jù)、分層影響因素選擇依據(jù),如肺結(jié)節(jié)診療中國專家共識(shí)、美國國立綜合癌癥網(wǎng)絡(luò)NCCN指南、Fleischner協(xié)會(huì)指南、中華醫(yī)學(xué)會(huì)肺癌臨床診療指南等。

結(jié)節(jié)檢出指標(biāo)包括不限于召回率、精確度、自由響應(yīng)受試者操作特性曲線(FROC)。

結(jié)節(jié)分類指標(biāo)包括不限于靈敏度、特異度、總體的Kappa系數(shù)、準(zhǔn)確率。

結(jié)節(jié)分割指標(biāo)包括不限于Dice系數(shù)、體積交并比、Hausdorff距離。

測量指標(biāo)包括不限于相對誤差、絕對誤差、相對誤差絕對值的平均值。

提供文獻(xiàn)綜述論證評價(jià)指標(biāo)選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類型、大小、層厚、采集協(xié)議、性別、結(jié)節(jié)大小、結(jié)節(jié)密度、廠家、重建核、劑量、管電壓、管電流等重要變量。

算法質(zhì)量特性包括泛化能力、魯棒性(對抗測試)、壓力測試、重復(fù)性、一致性、效率。

隨訪評估功能包括倍增時(shí)間、數(shù)值參數(shù)的百分比(%)和絕對變化,如結(jié)節(jié)長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均HU等。

4.2.3算法性能測試基本要求

基于算法流程圖評價(jià)每個(gè)器械操作點(diǎn)的基于病例、基于肺結(jié)節(jié)、基于分層因素的性能指標(biāo),需包括訓(xùn)練集、調(diào)優(yōu)集、測試集的算法性能測試結(jié)果,需明確測試方法。所有性能指標(biāo)均需具有相關(guān)置信區(qū)間,需提供關(guān)于估計(jì)置信區(qū)間以及與其相關(guān)的臨床顯著性的方法學(xué)描述,需提供FROC曲線圖及FROC置信區(qū)間(如適用)。

4.2.3.1結(jié)節(jié)檢出

需給出軟件檢出肺結(jié)節(jié)的召回率和精確度的閾值。測試產(chǎn)品定位準(zhǔn)確程度時(shí),只有真陽性檢出的結(jié)節(jié),且位置正確的標(biāo)記才能算作正確標(biāo)記。

召回率和精確度的計(jì)算一般針對全體結(jié)節(jié)進(jìn)行。在設(shè)置篩選條件后,可以使用篩選后的參考標(biāo)準(zhǔn)與篩選后的AI結(jié)果進(jìn)行匹配。如篩選后假陽性結(jié)果難以定義,建議以召回率為主要指標(biāo),常見情形為:

-對具體某一種結(jié)節(jié)類型,計(jì)算結(jié)節(jié)的召回率。

-對平均直徑、長徑處于某一區(qū)間的結(jié)節(jié),計(jì)算召回率

-對類型、尺寸范圍組合的結(jié)節(jié),計(jì)算召回率。

4.2.3.2結(jié)節(jié)分類

明確分類場景,如二分類場景、多分類場景。對于二分類場景下的指標(biāo),如軟件能夠?qū)類型的肺結(jié)節(jié)進(jìn)行分類,需給出準(zhǔn)確率、靈敏度、特異性的閾值??傮w的Kappa系數(shù)不低于N%;多分類問題可以轉(zhuǎn)化為二分類問題,按每一類進(jìn)行描述。

4.2.3.3結(jié)節(jié)分割

如果產(chǎn)品在三維上進(jìn)行結(jié)節(jié)分割,需給出算法可以達(dá)到的體積交并比或者DICE系數(shù)的閾值。如果產(chǎn)品只輸出最大層面的分割,則需給出算法可以達(dá)到的最大層面面積交并比或者DICE系數(shù)的閾值。測試集數(shù)據(jù)的平均交并比或者DICE系數(shù)的95%置信區(qū)間應(yīng)大于等于該閾值。

4.2.3.4結(jié)節(jié)測量

需明確測量內(nèi)容,如體積、密度、尺寸測量;需明確各測量內(nèi)容的測量誤差。對于尺寸測量長徑小于等于10mm需增加平均直徑允差,大于10mm需增加短徑允差。

4.2.3.5結(jié)節(jié)肺葉肺段定位

結(jié)節(jié)肺葉肺段定位需明確定位的具體功能(如采用邊緣勾畫方法展示肺葉肺段分割結(jié)果、僅采用文字描述結(jié)節(jié)所處肺葉肺段),肺葉、肺段標(biāo)記標(biāo)簽分布(如左肺上葉尖后段、左肺上葉前段、右肺中葉外段……)、基于不同功能確定測試指標(biāo)(如結(jié)節(jié)所處左右肺準(zhǔn)確性、肺葉準(zhǔn)確性、肺段準(zhǔn)確性、肺葉肺段分割的DICE系數(shù)或其他合理指標(biāo))及測試指標(biāo)的計(jì)算方法、參考標(biāo)準(zhǔn)建立的方法、測試流程。

測試產(chǎn)品定位準(zhǔn)確程度時(shí),只有真陽性檢出的結(jié)節(jié),且位置正確的標(biāo)記才能算作正確標(biāo)記。

4.2.4樣本量

明確樣本量估計(jì)的公式、參數(shù)及制定依據(jù)。研究樣本應(yīng)足夠大,以使聲稱的性能具有統(tǒng)計(jì)學(xué)顯著性,若有分層性能的聲稱,應(yīng)確定子集的樣本量以檢測聲稱的統(tǒng)計(jì)學(xué)顯著性。

4.2.5測試方法

需明確測試方法及制定依據(jù)。

4.3數(shù)據(jù)質(zhì)控

建議參考“人工智能醫(yī)療器械注冊審查指導(dǎo)原則”及“人工智能醫(yī)療器械質(zhì)量要求和評價(jià)第2部分:數(shù)據(jù)集通用要求”。

4.3.1數(shù)據(jù)采集

需提供數(shù)據(jù)采集協(xié)議,需要考慮明確偏倚控制的方法,如通過各亞組設(shè)置進(jìn)行偏移控制,不應(yīng)為提高算法結(jié)果刻意篩選數(shù)據(jù)。采集數(shù)據(jù)的地區(qū)分布需覆蓋東西南北中地區(qū)。

明確數(shù)據(jù)庫信息(要求詳見附件2)

4.3.2數(shù)據(jù)整理

明確數(shù)據(jù)轉(zhuǎn)移保存的方法。明確數(shù)據(jù)納入排除標(biāo)準(zhǔn),以及進(jìn)行數(shù)據(jù)篩選的方法(人工清洗、自動(dòng)清洗),提供數(shù)據(jù)整理軟件工具的研究資料。

提供數(shù)據(jù)清洗流程圖,明確清洗規(guī)則,例如確定數(shù)據(jù)合規(guī)性、圖像唯一性、層厚、層間距等信息滿足要求、連續(xù)性、完整性、已完成脫敏等并加以篩選。清洗結(jié)果明確棄用數(shù)據(jù)的數(shù)量和原因。明確預(yù)處理的操作步驟和內(nèi)容。

4.3.3數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注建議參考“人工智能醫(yī)療器械質(zhì)量要求和評價(jià)第3部分:數(shù)據(jù)標(biāo)注通用要求”。

需明確標(biāo)注任務(wù)分類(包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標(biāo)注結(jié)果格式、標(biāo)注結(jié)果性質(zhì)、標(biāo)注結(jié)果形式等維度),提供標(biāo)注任務(wù)描述文檔(標(biāo)注規(guī)則、標(biāo)注人員、標(biāo)注工具、標(biāo)注環(huán)境、數(shù)據(jù))。其中標(biāo)注規(guī)則需明確制定依據(jù)并提供參考文獻(xiàn)。標(biāo)注內(nèi)容宜包括結(jié)節(jié)檢出、結(jié)節(jié)位置(肺葉、肺段、結(jié)節(jié)層面)、結(jié)節(jié)大小、結(jié)節(jié)密度、角度等。標(biāo)注人員建議列表給出標(biāo)注、審核、仲裁人員的基本信息,如數(shù)量、醫(yī)療機(jī)構(gòu)、科室、工作年限、職稱、培訓(xùn)、培訓(xùn)考核情況、工作量、標(biāo)注任務(wù)、人員類型(標(biāo)注、審核、仲裁)。

標(biāo)注與質(zhì)控流程建議提供業(yè)務(wù)架構(gòu)、過程組織(任務(wù)生成、任務(wù)分配、任務(wù)實(shí)施、質(zhì)量控制、驗(yàn)收準(zhǔn)則及驗(yàn)收報(bào)告)。其中業(yè)務(wù)架構(gòu)宜采用流程圖介紹單例數(shù)據(jù)的標(biāo)注、審核、仲裁過程。

明確標(biāo)注是否基于另一器械的輸出、臨床檢驗(yàn)(如病理檢測結(jié)果)、隨訪臨床成像檢查、除成像外的隨訪體檢、臨床醫(yī)生的解釋。

如標(biāo)注工具、標(biāo)注平臺(tái)使用人工智能算法進(jìn)行輔助標(biāo)注,需提交標(biāo)注工具、標(biāo)注平臺(tái)算法性能研究資料。

4.3.4數(shù)據(jù)集構(gòu)建

依據(jù)《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》指南明確訓(xùn)練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。

提供查重驗(yàn)證結(jié)果,以證實(shí)訓(xùn)練集、調(diào)優(yōu)集、測試集的樣本兩兩無交集。

數(shù)據(jù)擴(kuò)增需明確擴(kuò)增的對象、范圍、方式(離線、在線)、方法(如翻轉(zhuǎn)、旋轉(zhuǎn)、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡(luò)等)、倍數(shù)、在線數(shù)據(jù)擴(kuò)增記錄。

提供擴(kuò)增數(shù)據(jù)庫與標(biāo)注數(shù)據(jù)庫樣本量、樣本分布(注明擴(kuò)增倍數(shù))對比表,以證實(shí)擴(kuò)增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。

如果采用生成對抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)擴(kuò)增,應(yīng)提供生成對抗網(wǎng)絡(luò)的算法基本信息以及算法選用依據(jù)資料。

4.4算法訓(xùn)練

算法訓(xùn)練需明確訓(xùn)練過程所采用的優(yōu)化器及其相關(guān)參數(shù),如Adam,SGD;在算法訓(xùn)練階段,需明確訓(xùn)練集、調(diào)優(yōu)集的劃分方式,如留出法,交叉驗(yàn)證法; 需明確訓(xùn)練目標(biāo),即判斷何時(shí)停止訓(xùn)練,如設(shè)定最大的訓(xùn)練epoch數(shù)目,依據(jù)損失函數(shù)判斷損失穩(wěn)定且不繼續(xù)下降,根據(jù)訓(xùn)練epoch數(shù)量-評估指標(biāo)曲線判斷評估指標(biāo)不繼續(xù)提升等。當(dāng)訓(xùn)練停止后,明確訓(xùn)練模型最佳epoch的選擇方法,如在留出法中,根據(jù)留出部分的調(diào)優(yōu)集選取評價(jià)指標(biāo)最優(yōu)的epoch;在交叉驗(yàn)證法中,計(jì)算多次隨機(jī)劃分調(diào)優(yōu)集的評價(jià)指標(biāo)平均值,選擇最優(yōu)的epoch。同時(shí),結(jié)合臨床需求(如靈敏度、精準(zhǔn)度),明確算法出廠閾值的選擇與方法,并論證訓(xùn)練所得模型是否滿足產(chǎn)品既定目標(biāo)。算法出廠閾值的選擇需提供制定依據(jù)。

算法訓(xùn)練階段需結(jié)合訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線驗(yàn)證算法訓(xùn)練數(shù)據(jù)量的充分性。對于不同的訓(xùn)練數(shù)據(jù)量,計(jì)算對應(yīng)的評價(jià)指標(biāo)。當(dāng)評價(jià)指標(biāo)為單一標(biāo)量時(shí)(如靈敏度),訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線的x軸為訓(xùn)練數(shù)據(jù)的樣本量(如CT序列個(gè)數(shù)),y軸為在使用特定訓(xùn)練量時(shí),算法在測試集的評價(jià)指標(biāo)。結(jié)合訓(xùn)練數(shù)據(jù)量-評估指標(biāo)曲線,判斷當(dāng)訓(xùn)練數(shù)據(jù)量有限時(shí),評價(jià)指標(biāo)是否隨數(shù)據(jù)量的增加而增加,并在數(shù)據(jù)量達(dá)到一定程度后,評價(jià)指標(biāo)趨于平穩(wěn)。當(dāng)評價(jià)指標(biāo)為曲線時(shí),可考慮根據(jù)不同訓(xùn)練數(shù)據(jù)量,繪制對應(yīng)的評價(jià)指標(biāo)曲線,判斷曲線下面積(AUC)是否先隨數(shù)據(jù)量的增加而增加,最后當(dāng)數(shù)據(jù)量達(dá)到一定程度后趨于平穩(wěn)。以FROC曲線為例,在評估訓(xùn)練數(shù)據(jù)量的充分性時(shí),當(dāng)訓(xùn)練數(shù)據(jù)量有限時(shí),F(xiàn)ROC曲線下面積需隨數(shù)據(jù)量增加而增加,F(xiàn)ROC曲線逐步逼近坐標(biāo)左上角;當(dāng)訓(xùn)練數(shù)據(jù)量達(dá)到一定程度后,F(xiàn)ROC曲線下面積慢慢趨于穩(wěn)定。

若訓(xùn)練過程中采用了數(shù)據(jù)擴(kuò)增的方式,需明確擴(kuò)增方式,如離線數(shù)據(jù)擴(kuò)增,在線數(shù)據(jù)擴(kuò)增。同時(shí),需明確數(shù)據(jù)擴(kuò)增的方法以及相應(yīng)的參數(shù)設(shè)置,如圖像平移,旋轉(zhuǎn),縮放,彈性形變等。若訓(xùn)練過程未采用數(shù)據(jù)擴(kuò)增,需論證未進(jìn)行數(shù)據(jù)擴(kuò)增的理由。

4.5算法驗(yàn)證與確認(rèn)

明確臨床醫(yī)師操作點(diǎn)、不同算法任務(wù)的算法評價(jià)指標(biāo)的閾值及確定依據(jù)。明確算法標(biāo)記目標(biāo)與參考標(biāo)準(zhǔn)的匹配方式和匹配閾值。

明確病例水平和結(jié)節(jié)水平計(jì)算方法及定義一個(gè)結(jié)節(jié)的處理方法及病例陽性的方法。在計(jì)算病例水平算法性能指標(biāo)時(shí),需要明確陽性以及陰性病例的定義,比如陽性病例是定義為包含肺結(jié)節(jié)的病例,還是定義為包含>4mm肺結(jié)節(jié)的病例。在計(jì)算結(jié)節(jié)水平算法性能指標(biāo)時(shí),需要明確檢出(真陽性)以及假陽性的定義,比如檢測框與參考標(biāo)準(zhǔn)重合率為多少時(shí)認(rèn)為檢測框是真陽性,檢測框與金標(biāo)準(zhǔn)重合率的定義等。

區(qū)分算法任務(wù)制定具體測試方法和結(jié)果計(jì)算方法。建議參考《人工智能醫(yī)療器械肺部影像輔助分析軟件算法性能測試方法》。

基于算法的出廠閾值,明確算法在訓(xùn)練集,調(diào)優(yōu)集和測試集的召回率與精確度,通過比較三個(gè)數(shù)據(jù)集的性能來評估算法的泛化性。

對于肺結(jié)節(jié)檢出算法,需分層統(tǒng)計(jì)算法對于不同大小和不同密度的肺結(jié)節(jié)的檢出效能,可以通過FROC曲線,召回率以及精確度等指標(biāo)來評價(jià),同時(shí)結(jié)合臨床需求論述結(jié)果的合理性。在肺結(jié)節(jié)大小的維度來進(jìn)行分層統(tǒng)計(jì),如將肺結(jié)節(jié)分為4-5mm,5-8mm ,8-10mm以及10-30mm。一般而言,肺結(jié)節(jié)尺寸越大,檢出的難度越低。在肺結(jié)節(jié)密度維度,需明確是二分類還是多分類,需明確密度類型及制定依據(jù),進(jìn)行密度類型的分層統(tǒng)計(jì)。

除此之外,還需考慮性別、年齡、設(shè)備廠家、重建方式、層厚/層間距、管電流、管電壓、劑量(常規(guī)劑量、低劑量)、等因素對肺結(jié)節(jié)檢出算法效能的影響。需明確設(shè)備主流廠家,且必須符合DICOM 3.0協(xié)議標(biāo)準(zhǔn)數(shù)據(jù);管電壓考慮70-140 kV,管電流考慮10-400 mA;層厚與層間距需不超過5mm;重建方式需考慮常見的肺算法與標(biāo)準(zhǔn)算法(軟組織算法)。

在亞組的分層統(tǒng)計(jì)中,肺結(jié)節(jié)檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下,肺結(jié)節(jié)檢出效能存在差異,需進(jìn)行合理地論證,并在說明書給出使用限制。

需提供算法性能測試報(bào)告,至少包括軟件環(huán)境、硬件環(huán)境、測試平臺(tái)描述(如適用)、測試集描述、算法性能指標(biāo)的符合性分析(性能指標(biāo)的定義、測試通過準(zhǔn)則、統(tǒng)計(jì)分析)、算法錯(cuò)誤統(tǒng)計(jì)。需包括算法性能及算法質(zhì)量特性、隨訪功能測試結(jié)果。

4.6算法性能綜合分析

結(jié)合算法訓(xùn)練、算法性能評估、臨床評價(jià)等結(jié)果開展算法性能綜合評價(jià),針對訓(xùn)練樣本量和測試樣本量過少、測試結(jié)果明顯低于算法設(shè)計(jì)目標(biāo)、算法性能變異度過大等情況,對產(chǎn)品的適用范圍、使用場景、核心功能進(jìn)行必要限制。

需對算法測試產(chǎn)生的錯(cuò)誤結(jié)果進(jìn)行分析,評估算法在檢出、分類等任務(wù)中出現(xiàn)的假陽性、假陰性結(jié)果的含義與危險(xiǎn)程度,形成定量報(bào)告。

5.用戶培訓(xùn)方案

對于軟件安全性級(jí)別為嚴(yán)重級(jí)別的產(chǎn)品,原則上需單獨(dú)提供一份用戶培訓(xùn)方案,包括用戶培訓(xùn)的計(jì)劃、材料、方式、師資等。

用戶培訓(xùn)需關(guān)注以下內(nèi)容:預(yù)期用戶要求,如工作年限或執(zhí)業(yè)資格;醫(yī)生必須對軟件結(jié)果進(jìn)行確認(rèn),軟件只用于輔助檢測,不能替代醫(yī)生。CT圖像要求,如嚴(yán)重呼吸、金屬偽影或有掃描質(zhì)量問題的CT圖像慎用;基于臨床試驗(yàn)驗(yàn)證,不宜使用該軟件的疾病;

(四)產(chǎn)品說明書和標(biāo)簽樣稿

說明書、標(biāo)簽和包裝標(biāo)識(shí)需符合《醫(yī)療器械說明書和標(biāo)簽管理規(guī)定》和《醫(yī)療器械軟件注冊審查指導(dǎo)原則(2022年修訂版)》、《醫(yī)療器械網(wǎng)絡(luò)安全注冊審查指導(dǎo)原則(2022年修訂版)》、《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》和相關(guān)標(biāo)準(zhǔn)的規(guī)定。

說明書內(nèi)容需重點(diǎn)關(guān)注:

1.用戶說明

對預(yù)期用戶和推薦用戶培訓(xùn)的詳細(xì)說明。如,預(yù)期用戶工作年限或執(zhí)業(yè)資格要求,且需經(jīng)培訓(xùn)合格。

2.使用限制

若產(chǎn)品采用人工智能黑盒算法,需根據(jù)算法影響因素分析報(bào)告,在說明書中明確產(chǎn)品使用限制和必要警示提示信息。

示例:不應(yīng)僅僅依靠本器械所標(biāo)識(shí)的輸出,應(yīng)由專業(yè)醫(yī)師對結(jié)果進(jìn)行解釋。

已發(fā)現(xiàn)該器械對于XX的受檢者無效。具有這種疾病/病癥/異常的受檢者不應(yīng)使用該器械。

對訓(xùn)練數(shù)據(jù)、測試數(shù)據(jù)與臨床試驗(yàn)的算法性能評估結(jié)果不佳,數(shù)據(jù)量偏少的,此類受檢者使用該器械,應(yīng)由專業(yè)醫(yī)師結(jié)合受檢者的病史、癥狀、體征、其他檢查結(jié)果情況綜合給出最終的肺結(jié)節(jié)檢出結(jié)論,核實(shí)是否需要進(jìn)一步診療的決策,并對臨床診斷結(jié)果負(fù)責(zé)。

3.注意事項(xiàng)

測量準(zhǔn)確性(如圖像長度、CT值平均值、最大值、最小值、面積值、體積、密度、位置坐標(biāo))、測量功能警示信息,如體積測量是基于體素個(gè)數(shù)的圖形學(xué)測量,并不能完全反映人體真實(shí)的體積,測量體積僅供醫(yī)生參考。

CT圖像質(zhì)量要求,如嚴(yán)重呼吸、金屬偽影或有掃描質(zhì)量問題的CT圖像慎用;圖像序列未完整包含肺臟全部組織的圖像數(shù)據(jù)禁用。

醫(yī)生必須對軟件結(jié)果進(jìn)行確認(rèn),軟件只用于輔助檢測,不能替代醫(yī)生。原始的AI結(jié)果應(yīng)保留,確保軟件結(jié)果的可追溯性與可責(zé)性。

4.預(yù)防措施

需明確與器械使用相關(guān)的不良事件,并提供緩解措施建議。不良事件討論需至少包括對假陽性事件和假陰性事件的不良事件的討論。

5.器械描述

需提供以下內(nèi)容:

-算法設(shè)計(jì)和功能的概述

-特殊聲稱(如用于小于4mm結(jié)節(jié)檢測)

-研發(fā)和調(diào)整算法中所用的受檢者數(shù)據(jù)的參考標(biāo)準(zhǔn)的描述

-與本器械兼容的采集技術(shù)

-適當(dāng)顯示器械標(biāo)記的要求

-軟件輸出報(bào)告及界面數(shù)據(jù)圖示

6.軟件

需明確軟件發(fā)布版本、提供網(wǎng)絡(luò)安全說明和使用指導(dǎo),明確用戶訪問控制機(jī)制、電子接口(含網(wǎng)絡(luò)接口、電子數(shù)據(jù)交換接口)及其數(shù)據(jù)類型和技術(shù)特征、網(wǎng)絡(luò)安全特征配置、數(shù)據(jù)備份與災(zāi)難恢復(fù)、運(yùn)行環(huán)境(含硬件配置、外部軟件環(huán)境、網(wǎng)絡(luò)環(huán)境,若適用)、安全軟件兼容性列表(若適用)、外部軟件環(huán)境與安全軟件更新(若適用)、現(xiàn)成軟件清單(SBOM,若適用)等要求。

7.產(chǎn)品接口和聯(lián)合使用設(shè)備

需明確對配合使用的圖像工作站和PACS適當(dāng)顯示器械標(biāo)記的要求(如適用)。

需明確CT設(shè)備兼容(廠家、型號(hào)(如適用)、層數(shù))與掃描參數(shù)要求(如層厚、層間距、重建方式、管電壓、管電流、劑量(常規(guī)劑量、低劑量))。

8.算法訓(xùn)練總結(jié)

訓(xùn)練方法概述、開發(fā)數(shù)據(jù)庫基本信息、訓(xùn)練指標(biāo)與結(jié)果、調(diào)優(yōu)指標(biāo)及結(jié)果。

9.算法性能評估總結(jié)

-算法輸入與輸出

-測試集基本信息

-用于確定器械標(biāo)記的每個(gè)區(qū)域的性質(zhì)的評分標(biāo)準(zhǔn)

-每個(gè)可用器械操作點(diǎn)的總體敏感度和假陽性率指標(biāo)

-分層分析(如,根據(jù)病變大小、病變類型、采集參數(shù)、成像或數(shù)據(jù)特征)

-獨(dú)立FROC性能(如適用),需和操作特性曲線一起說明。

-測試結(jié)果

10.臨床試驗(yàn)總結(jié)

需包括臨床試驗(yàn)設(shè)計(jì)基本類型、研究對象(受試者及閱片者情況)、評價(jià)指標(biāo),金標(biāo)準(zhǔn)、對收集臨床信息方法的描述、統(tǒng)計(jì)方法描述、樣本量,臨床試驗(yàn)結(jié)果(含各結(jié)節(jié)尺寸、各密度類型結(jié)節(jié)情況)。

11.公開數(shù)據(jù)庫及測試結(jié)果(如有)

12.第三方測評數(shù)據(jù)庫及測試結(jié)果(如有)

13.輔助決策指標(biāo)定義(或提供決策指標(biāo)定義所依據(jù)的臨床指南、專家共識(shí)等參考文獻(xiàn))等信息。如結(jié)節(jié)大小、結(jié)節(jié)密度類型的定義、低劑量/常規(guī)劑量的定義、分層依據(jù)。

三、參考文獻(xiàn)

[1]《醫(yī)療器械注冊與備案管理辦法》(國家市場監(jiān)督管理總局令第47號(hào))[Z].

[2]《醫(yī)療器械說明書和標(biāo)簽管理規(guī)定》(國家食品藥品監(jiān)督管理總局令第6號(hào))[Z].

[3]《醫(yī)療器械注冊申報(bào)資料要求和批準(zhǔn)證明文件格式》(國家藥品監(jiān)督管理局2021年第121號(hào))[Z].

[4]《醫(yī)療器械通用名稱命名指導(dǎo)原則》(國家藥品監(jiān)督管理局2019年第99號(hào))[Z].

[5]《醫(yī)療器械產(chǎn)品技術(shù)要求編寫指導(dǎo)原則》(國家藥品監(jiān)督管理局2022年第8號(hào))[Z].

[6]《醫(yī)療器械軟件注冊審查指導(dǎo)原則(2022年修訂版)》(國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心2022年第9號(hào))[Z].

[7]《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》(國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評中心2022年第8號(hào))[Z].

[8]《人工智能類醫(yī)用軟件產(chǎn)品分類界定指導(dǎo)原則》(國家藥品監(jiān)督管理局2021年第47號(hào))[Z].

[9] YY/T 0316-2016,《醫(yī)療器械 風(fēng)險(xiǎn)管理對醫(yī)療器械的應(yīng)用》[S].

[10] YY/T 1833.1,《人工智能醫(yī)療器械 質(zhì)量要求和評價(jià) 第1部分:術(shù)語》(報(bào)批稿) [S].

[11] YY/T 1833.2,《人工智能醫(yī)療器械 質(zhì)量要求和評價(jià) 第2部分:數(shù)據(jù)集通用要求》(報(bào)批稿) [S].

[12]YY/T 1833.3,《人工智能醫(yī)療器械 質(zhì)量要求和評價(jià) 第3部分:數(shù)據(jù)標(biāo)注通用要求》(報(bào)批稿) [S].

[13] YY/TXXXX,《人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測試方法》(報(bào)批稿) [S].

[14]AIMDICP-WG6-2020-002,《基于胸部CT的肺結(jié)節(jié)影像輔助決策產(chǎn)品性能指標(biāo)和測試方法》[S].

[15] FDA.Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data- Premarket Notification[510(k)] Submissions[EB/OL]https://www.fda.gov/media/77635/download.2012-07-03/2022-3-8.

[16]FDA.Clinical Performance Assessment: Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Datain-Premarket Notification [510(k)] Submissions[EB/OL]https://www.fda.gov/media/77642/download 2020-1-22/2022-3-8.

[17]胸部CT肺結(jié)節(jié)數(shù)據(jù)集構(gòu)建及質(zhì)量控制專家共識(shí)[J].中華放射學(xué)雜志,2021,55(02):104-110.

[18]胸部CT肺結(jié)節(jié)數(shù)據(jù)標(biāo)注與質(zhì)量控制專家共識(shí)(2018)[J].中華放射學(xué)雜志,2019(01):9-15.

[19]周清華,范亞光,王穎,喬友林,王貴齊,黃云超,王新允,吳寧,張國楨,鄭向鵬,步宏.中國肺部結(jié)節(jié)分類、診斷與治療指南(2016年版)[J].中國肺癌雜志,2016,19(12):793-798.

[20] 赫捷,李霓,陳萬青,吳寧,沈洪兵,江宇,李江,王飛,田金徽,中國肺癌篩查與早診早治指南制定顧問組,中國肺癌篩查與早診早治指南制定專家組,中國肺癌篩查與早診早治指南制定工作組.中國肺癌篩查與早診早治指南(2021,北京)[J].中國綜合臨床,2021,37(03):193-207.

[21]劉士遠(yuǎn).肺亞實(shí)性結(jié)節(jié)影像處理專家共識(shí)[J].中華放射學(xué)雜志,2015,49(04):254-258.

[22] 中國肺結(jié)節(jié)病診斷和治療專家共識(shí)[J].中華結(jié)核和呼吸雜志,2019(09):685-693.

[23] Bankier Alexander A,MacMahon Heber,Goo Jin Mo,Rubin Geoffrey D,Schaefer-Prokop Cornelia M,Naidich David P. Recommendations for Measuring Pulmonary Nodules at CT: A Statement from the Fleischner Society.[J]. Radiology,2017,285(2).

[24] Bai, C., Choi, C.-M., Chu, C. M., Anantham, D., Chung-man Ho, J., Khan, A. Z., … Yim, A. (2016). Evaluation of Pulmonary Nodules. Chest, 150(4), 877–893.

[25] Deterbeck FC, Mazzone PJ, Naidich DP, et al. Screening for lung cancer:Diagnosis and management of lung cancer, 3rd ed: American College of Chest Physicians evidence-based clinical practice guidelines. Chest, 2013,143(5 Suppl): e78S- e92S.

附件:1.風(fēng)險(xiǎn)管理文檔
     2.數(shù)據(jù)庫(集)


附件1

風(fēng)險(xiǎn)管理文檔

下表所列為常見可預(yù)見事件序列/可能的傷害示例,需關(guān)注:

表2 常見可預(yù)見事件序列/可能的傷害示例

危險(xiǎn)可預(yù)見事件序列可能的傷害

信息
危險(xiǎn)
算法對肺結(jié)節(jié)直徑測量給出過高或過低的結(jié)果導(dǎo)致用戶對肺結(jié)節(jié)的主觀判斷產(chǎn)生誤導(dǎo)
算法對肺結(jié)節(jié)的位置存在錯(cuò)誤的判定導(dǎo)致用戶對肺結(jié)節(jié)的主觀判斷產(chǎn)生誤導(dǎo)
算法對肺結(jié)節(jié)密度類型存在分類錯(cuò)誤導(dǎo)致用戶對肺結(jié)節(jié)的主觀判斷產(chǎn)生誤導(dǎo)
未按規(guī)定編制產(chǎn)品說明書,使用說明不明確導(dǎo)致軟件無法正常使用并對用戶造成不便
界面實(shí)用性差導(dǎo)致誤操作
無法正常顯示醫(yī)學(xué)圖像,或圖像失真導(dǎo)致軟件無法正常使用并對用戶造成不便
菜單設(shè)置不實(shí)用導(dǎo)致誤操作
圖像信息丟失或損壞延誤治療
軟件不兼容導(dǎo)致產(chǎn)品無法正常運(yùn)行對用戶造成不便
AI模型失效導(dǎo)致無法進(jìn)行圖像識(shí)別對用戶造成不便
服務(wù)器和客戶端之間無法正常傳輸數(shù)據(jù)軟件無法正常使用并對用戶造成不便
算法給出的肺結(jié)節(jié)檢出結(jié)果存在假陽性結(jié)果過度診斷
算法對真陽性肺結(jié)節(jié)存在漏檢延誤診斷
操作
危險(xiǎn)
算法無法對接收到的CT圖像進(jìn)行處理分析導(dǎo)致軟件無法正常使用并對用戶造成不便
無法與相關(guān)設(shè)備或系統(tǒng)進(jìn)行通訊連接導(dǎo)致軟件無法正常使用并對用戶造成不便
軟件設(shè)計(jì)缺陷,可能軟件死機(jī)或軟件自動(dòng)退出導(dǎo)致軟件無法正常使用并對用戶造成不便
算法被未經(jīng)培訓(xùn)的用戶、使用不熟練的用戶、或非專業(yè)用戶使用并完成主觀診斷導(dǎo)致肺結(jié)節(jié)的過度診斷或延誤診斷
算法對接收到的CT圖像進(jìn)行處理分析的時(shí)間過長導(dǎo)致軟件無法正常使用并對用戶造成不便

采取風(fēng)險(xiǎn)控制措施前后的風(fēng)險(xiǎn)矩陣表示例

表3 采取風(fēng)險(xiǎn)控制措施前的風(fēng)險(xiǎn)分布圖

嚴(yán)重度
發(fā)生概率
1
可忽略的
2
輕微的
3
嚴(yán)重的
4
危急的
5
災(zāi)難性的
5頻繁




4很可能




3偶爾

4

2極少12


1不可能
1


表4 采取風(fēng)險(xiǎn)控制措施后的風(fēng)險(xiǎn)分布圖

嚴(yán)重度
發(fā)生概率
1
可忽略的
2
輕微的
3
嚴(yán)重的
4
危急的
5
災(zāi)難性的
5頻繁




4很可能




3偶爾




2極少




1不可能44


附件2

數(shù)據(jù)庫(集)

按照產(chǎn)品開發(fā)時(shí)間順序明確使用的數(shù)據(jù)庫/集情況,需明確數(shù)據(jù)量變化原因,抽樣及合并方法及合理性。數(shù)據(jù)庫/集包括不限于原始數(shù)據(jù)庫、基礎(chǔ)數(shù)據(jù)庫、標(biāo)注數(shù)據(jù)庫、訓(xùn)練集、調(diào)優(yōu)集、測試集、對抗測試集、公開數(shù)據(jù)庫,測評數(shù)據(jù)庫。

每個(gè)數(shù)據(jù)庫建議提供以下信息:

-數(shù)據(jù)庫名稱及版本、類型(如外部、內(nèi)部;訓(xùn)練、調(diào)優(yōu)、測試)

-受檢者數(shù)據(jù)收集的納入和排除標(biāo)準(zhǔn)

-人口統(tǒng)計(jì)學(xué)數(shù)據(jù)(年齡、種族、人種)

-放射學(xué)檢查條件,如CT增強(qiáng)掃描,CT平掃

-采集數(shù)據(jù)的方法

數(shù)據(jù)來源(體檢篩查、門診病房)

設(shè)備廠家、型號(hào)、探測器排數(shù)

掃描參數(shù):管電壓范圍、管電流范圍、層厚范圍、輻射劑量(低劑量平掃、常規(guī)劑量平掃或增強(qiáng)掃描)

-重建方式(標(biāo)準(zhǔn)算法、肺算法、其他)

-樣本量(正常案例數(shù)、疾病案例數(shù)、確定疾病狀態(tài)、位置、范圍的方法)

-按影響因素分層的病例分布,如年齡、性別、結(jié)節(jié)大小、結(jié)節(jié)類型、圖像重建層厚/層間距、疾病類型、重建方式、掃描協(xié)議、成像廠家、地區(qū)、醫(yī)療機(jī)構(gòu)。

需明確總體數(shù)據(jù)范圍及分層數(shù)量及占比,并需列表對比分析各數(shù)據(jù)庫信息。

采用公開數(shù)據(jù)數(shù)據(jù)庫的需明確用途,不應(yīng)作為測評數(shù)據(jù)庫使用。

思途企業(yè)咨詢

站點(diǎn)聲明

本網(wǎng)站所提供的信息僅供參考之用,并不代表本網(wǎng)贊同其觀點(diǎn),也不代表本網(wǎng)對其真實(shí)性負(fù)責(zé)。圖片版權(quán)歸原作者所有,如有侵權(quán)請聯(lián)系我們,我們立刻刪除。如有關(guān)于作品內(nèi)容、版權(quán)或其它問題請于作品發(fā)表后的30日內(nèi)與本站聯(lián)系,本網(wǎng)將迅速給您回應(yīng)并做相關(guān)處理。
鄭州思途醫(yī)療科技有限公司專注于醫(yī)療器械產(chǎn)品政策與法規(guī)規(guī)事務(wù)服務(wù),提供產(chǎn)品注冊備案申報(bào)代理、臨床試驗(yàn)、體系建立輔導(dǎo)、分類界定、申請創(chuàng)新辦理服務(wù)。

八年

醫(yī)療器械服務(wù)經(jīng)驗(yàn)

多一份參考,總有益處

聯(lián)系思途,免費(fèi)獲得專屬《落地解決方案》及報(bào)價(jià)

咨詢相關(guān)問題或咨詢報(bào)價(jià),可以直接與我們聯(lián)系

思途CRO——醫(yī)療器械注冊臨床第三方平臺(tái)

在線咨詢
186-0382-3910免費(fèi)獲取醫(yī)療器械注冊落地解決方案
在線客服
服務(wù)熱線

北京公司
186-0382-3911

鄭州公司
186-0382-3910

合肥公司
188-5696-0331

微信咨詢
返回頂部