[규제 Insight] FDA PCCP Guidance 분석

안녕하세요. 에이아이트릭스 RA/QA Manager 김소정(Joy) 입니다. 😊

 

RA/QA 팀에서는 의료기기에 대한 규제 동향을 파악하고 분석하여 의료기기 시장을 선도하고자 규제에 대한 다양한 인사이트를 전달하는 포스트를 게시하고 있습니다.

 

지난 포스트가 궁금하신 분들은 아래 링크를 방문해주세요!

🫱🏻 [규제 Insight] FDA CDSS Guidance 분석

[규제 Insight] FDA CDSS Guidance 분석

 

이번에 소개해드릴 내용은 FDA에서 지난 4월에 발행한 PCCP(Predetermined Change Control Plan) 가이던스에 관한 리뷰입니다.

 

이번 가이던스는 Machine Learning(ML)에 관심있으신 분이라면 꼭 읽어보셔야 합니다.🤓

원문이 43페이지 분량으로 많은 내용을 담고 있어 용어나 FDA 규제 내용에 익숙치 않은 분들은 전문을 이해하기 위해 많은 시간을 들여야 하기 때문에 본 포스팅에서는 가이던스를 보다 쉽게 설명하고 요약하려 합니다.📖

 

일단 가이던스에서 사용하는 주요 용어는 다음과 같습니다.

• "ML-DSF”란, Machine Learning-Enabled Device Software Function의 약어로, ML 기법으로 학습된 ML 모델을 사용하는 의료기기 기능을 의미합니다. 여기서 DSF(Device Software Function)는 FDA의 의료기기 정의를 충족하는 소프트웨어 기능을 의미합니다.
• “PCCP”란, Predetermined Change Control Plan의 약어로, ML-DSF에 발생할 수 있는 변경(Modifications)과 변경을 어떻게 평가할지(Assess)에 대하여 서술한 문서를 의미합니다.

AI/ML-Enabled Medical Devices는 사용자에게 배포된 이후에도 제품이 지속적으로 개선하고 업데이트가 진행됩니다.
따라서 하드웨어 장비나 의료용품에 비하여 제품 기능의 변경이 자주 발생합니다.

 

이번 가이던스는 FDA에 의료기기 심사를 받을때 “PCCP, 즉 사전에 결정해놓은 변경 관리 계획”을 제출자료로 포함시킴으로써 제조 업체가 이미 시장에 출시된 기기에 변경이 발생했을 때 기기를 보다 효과적으로 관리할 수 있게 해줍니다.

이를 적용하고 싶은 업체는 PCCP를 준비하여 FDA 승인을 위한 문서 제출 시 함께 제출해야 합니다.

 

PCCP는 법령을 통해서도 행정적인 준비를 마쳤습니다. 2022년 12월 29일, FD&C Act에 "Section 515C, Predetermined Change Control Plans for Devices"가 추가되며 FDA는 510(k), De Novo 혹은 PMA가 필요한 의료기기의 PCCP를 승인할 수 있는 권한을 부여 받았습니다. 또한 법령은 의료기기의 변경사항이 FDA에 의해 승인된 PCCP를 준수할 경우, 추가적인 인허가 검토가 필요 없음을 명시합니다.

 

💡 FDA는 본 가이던스에서 Data Sets를 다음과 같이 정의하고 있습니다.

(1) Training Data 
ML model을 빌드(학습)하는 절차에 사용되는 데이터로, model weights, connections, and components를 정의하게 됨. “Training phase”란, ML-DSF의 exploratory phase가 종료된 이후에 진행되는 작업을 의미. 데이터는 poposed intended use populations (e.g., race, ethinicity, disease severity, gender, age, etc.)를 대표해야 함.

(2) Tuning Data
소수의 ML-DSF를 탐색하기 위해 사용되는 데이터(ex. different architectures or hyperparameters를 탐색).
“Tuning phase”란, ML-DSF를 Test하기 이전의 마지막 단계로, Training phase의 일환으로 여겨지기도 함. (* ML community에서는 이 단계와 데이터를 “Validation” 이라고 부르기도 하지만, FDA는 의료 분야에서 이러한 용어사용을 권장하지 않음)

(3) Testing Data
ML-DSF의 성능을 특성화(characterize)하기 위한 데이터. “Testing phase”란, ML-DSF가 배포되기 이전에 안전성과 유효성의 합리적인 보장을 확립하는 과정임.
Testing data는 training & tuning data와 독립적이어야 하며, Training & Tuning data를 생성한 사이트와 다른 여러 개의 사이트(multiple sites)에서 생성되어야 함.

---

PCCP의 구성요소

PCCP를 하나의 문서라고 본다면, FDA는 PCCP를 세 개의 파트로 나누어 구성하도록 제안합니다.

 

1) Description of Modifications (Chapter VI.)

2) Modification Protocol (Chapter VII.)

3) Impact Assessment (Chapter VIII.)

 

각 파트에 포함되어야 할 내용에 대해 더 자세히 알아보겠습니다.

 

1) Description of Modifications (Chapter VI.)

---

[요구사항]

• ML-DSF에 대해 계획하고 있는 각각의 변경(Modification)에 대한 설명(Description)
• 변경사항과 함께 바뀌는 기기의 특성(Characteristics) 및 성능(Performance)에 대한 설명

FDA는 효율적인 리뷰를 위해, PCCP에 verify와 validate이 될 수 있는 제한된 숫자의 modifications만 포함할 것을 권장합니다. FDA는 심사 과정에서 적절하지 않은 Modification 항목들은 제외하여 검토를 수행하고, 일부의 Modification만 수용할 수 있습니다. 따라서 최종적으로 FDA가 승인한 범위만을 “authorized PCCP” 라고 부르게 됩니다.

Description of Modification에서는 일단 Modification의 유형을 명확하게 분류해야 합니다.

 

[변경 유형 - Automatically/Manually]

a. 계획된 변경이 자동으로 (automatically) 구현 (즉, 변경이 소프트웨어에 의해 자동으로 구현)

b. 계획된 변경이 수동으로 (manually) 구현 (즉, human input, action, review, and/or decision-making이 요구되는 단계가 있는 경우)

 

Automatic implemtation의 경우에는, FDA는 빠르게 발전하고 있는 이 분야의 특성을 고려하고 Benefit-Risk assessment와 FDA’s current experience를 기반으로 심사를 진행할 것 입니다.

 

[변경 유형 - Global/Local]

a. 시장에 배포된 모든 기기에 동일하게(in a uniform manner) 적용되는 변경 (”homogeneous changes”, “global changes” or “global adaptations”)

b. 시장에 배포된 기기마다 다르게(differently) 적용되는 변경 (특정 clinical sites 혹은 individual patientes의 unique한 특성을 바탕으로 변경을 진행) (”heterogenous changes”, “local changes” or “local adaptations”)

 

Local adaptations의 경우에는, 어떤 Loacl factor 또는 conditions이 Local change를 보증(warrant)하는지 설명을 포함해야 합니다.

 

각 변경은 Modification Protocol 내의 특정한 성능 평가 활동과 연결되어야 하기 때문에 구체적이며 Verification & Validation testing을 진행하고 증명할 수 있는 특정한 변경만을 PCCP에 포함할 것을 권장합니다. 따라서, 모든 변경들이 PCCP에 포함되는 것은 적합하지 않을 수 있습니다. PCCP 내에서 허용될 수 있는 변경 유형은 다음과 같습니다.

 

[중요! - Types of modifications that may be acceptable in PCCP]

1) modifications related to quantitative measures of ML-DSF performance specifications; 동일한 유형 및 범위의 input signal type에서 새로운 데이터를 통해 모델을 재학습하고 분석 또는 임상 성능을 개선

2) modifications related to device inputs to the ML-DSF; 동일한 input signal type에서 new source를 추가하거나 (새로운 모델이나 버전의 data acquistion system), 새로운 input signal types을 제한적으로 추가

3) limited modifications related to the device’s use and performance (e.g., for use within a specific subpopulation); 기존에는 허가 범위에서 제외되었던 특정 하위 집단(subset of a population)에 대하여 large dataset을 재학습함으로써, 해당 하위 집단에 대한 사용을 확장

여기서 중요한 점은, PCCP에 포함된 모든 변경은 기기의 intended use와 indications for use 범위 내에서 이루어져야 합니다. 또한 FDA는 기기들이 특성에 따라 다양한 risk spectrum을 가지고 있음을 인지하고 있고, 각 기기의 특성을 고려하여 benefit-risk profile을 고려할 것을 말합니다.

 

2) Modification Protocol (Chapter VII.)

---

Description of Modifications에서는 ML-DSF에 대한 계획된 변경 사항을 개략적으로 설명하는 반면, Modification Protocol에서는 Description of Modifications의 변경 항목들의 개발, 검증 및 구현할 때 따라야 하는 방법을 step-by-step으로 구체적으로 설명해야 합니다.

 

Modification Protocol에는 Verification and Validation activities가 포함되어야 하며, 사전에 정의된 acceptance criteria도 필요합니다. 각각의 Modification Protocol에 대한 verificated and validated documents는 품질 시스템(QS) 규정을 준수해야 합니다. 의료기기 제조업체는 품질시스템 규정에 따라 의료기기의 설계 및 생산에 대해 발생한 변경을 검토/승인해야 하고, Device Master Record (21 CFR 820.181)에 변경 및 승인 사항을 문서화해야 합니다.

 

Modification Protocol의 목표는 다음과 같습니다.

• 제안된 모든 변경 사항을 개발, 검증 및 구현(developing, validating, and implementing)하는 데 방법과 데이터를 식별
• 제안된 모든 변경 사항에 대한 test methods, data, statistical analyses 및 specified acceptance criteria을 식별
• 제조업체가 각각의 변경 사항에 대해 제출해야 할 정보(즉, 승인된 PCCP가 없는 기기에 변경이 구현된 경우)가 제조업체에 의해 생성되고 기록 보관에 대 요구사항과 제조업체의 QS에 따라 일관되게 유지될 수 있도록 보장
• Impact Assessment에서 Description of Modifications (업데이트 프로세스 및 사용자와의 커뮤니케이션이 포함된)에 명시된 변경과 관련하여 확인된 위험이 완화되는지 확인
• 제조업체가 개발하고 FDA가 검토해야 할 부담을 최소화하며, Description of Modifications Section에 자세히 설명된 변경 사항에 대해 추적 가능하고 구체적이며 특정 변경 사항을 지원하기에 충분한 포괄적인 내용이 포함

각각의 Modification Protocol은 위 내용을 포함하면서 아래 4가지 구성요소를 포함해야 합니다.

1) data management practices

2) re-training practices

3) performance evaluation protocols

4) update procedures including communication and transparency to users and real-world monitoring plans

 

각 구성요소에 대한 자세한 설명은 가이던스를 통해 확인하실 수 있습니다. 가이던스는 각 구성요소를 What they are?, Why they are recommended?, What manufacturers should include in a submission? 으로 나누어 자세히 설명하고 있습니다.

 

Modification Protocols에 대한 기술이 끝나고 나면, Traceability Between the Description of Modifications Section and the Modification Protocol Section 작업을 해야 합니다. Description of Modifications에 있는 각각의 각 Modification에 어떤 Modification Protocol(Method)이 적용될 수 있는지 traceability table과 같은 방법을 이용하여 명확하게 표현해야 합니다.

 

아래 Table 1은 Tracability table에 대한 예시입니다.

 

Table 1. Example of Description of Modifications to Modification Protocol Traceability Table

 

Modification Protocol Component
Modification	Data management practices	Re-training practices	Performance evaluation	Update procedures
Modification #1	Method A (see Section X.A)	Method D (see Section X.D)	Method G (see Section X.G)	Method J (see Section X.J)
Modification #2	Method A (see Section X.A)	Method E (see Section X.E)	Method H (see Section X.H)	Method J (see Section X.J)
Modification #3	Method B (see Section X.A)	Method F (see Section X.F)	Method I (see Section X.I)	Method J (see Section X.J)

[Table 1: A traceability table can help to identify where each method supporting each modification may be found in the marketing submission.]

 

3) Impact Assessment (Chapter VIII.)

---

PCCP의 마지막 구성요소는 Impact Assessment 입니다. 이 Section은 PCCP 내 별도의 Section으로 작성 되거나 Modification Protocol 내에 함께 작성되어도 됩니다.

 

Impact Assessment는 ML-DSF에 대한 PCCP 구현의 benefit-risk 평가 및 위험의 완화(mitigations of risks)에 대한 평가 문서로서, 제조업체는 기존의 품질 시스템을 이용해서 PCCP에 명시된 변경 사항에 대한 영향 평가를 수행해야 합니다.

 

FDA에 제출되는 Impact Assessment에는

1) 변경이 적용된 버전의 기기와 변경이 없는 기기의 버전을 비교해야 하며,

2) 각 변경 사항에 대해 risks of social harm을 포함한 benefits and risks,

3) Modification Protocol 내에서 제안된 활동이 기기의 안전성과 효과를 합리적으로 보장하는 방법에 대해 논의되어야 합니다.

4) 또한, 하나의 변경의 구현이 다른 변경의 구현에 어떤 영향을 미치는지,

5) 모든 변경 사항의 구현에 따른 전체적인 영향에 대해서도 설명해야 합니다.

 

FDA는 제안된 변경 사항 조합들이 추가적이고 완화되지 않은 위험을 초래할 가능성이 낮고 변경이 구현되어도 기기의 안전성과 효과가 유지된다는 것을 입증하기 위해 Impact Assessment에서 이러한 요소를 다루는 것이 중요하다고 생각합니다.

 

또한, ML-DSF가 Multiple function device product의 device function인 경우, FDA가 ML-DSF의 안전성이나 효과 및 ML-DSF의 변경에 대한 "other function(s)"의 영향을 평가할 수 있도록 FDA의 “Multiple Function Device Products: Policy and Considerations” 가이던스를 고려할 것을 권장합니다.

 

추가) PCCP 작성 체크리스트

PCCP에 필수적으로 작성되어야 하는 구성 요소 3가지를 알아보았습니다. 제가 작성한 규제 Insight를 먼저 읽어보시고 해당 가이던스 원문을 정독하신다면 PCCP에 어떤 내용이 어떻게 작성되어야 하는지 머릿속에 윤곽이 잡히실 것 같은데요.

 

저는 이 가이던스를 읽고 각 구성요소에 작성되어야 하는 내용들을 정리하면 PCCP 작성을 위한하나의 체크리스트가 만들어 질 수 있겠다 생각하여 아래 그림처럼 도식화하여 나타내보았습니다.

 

구성요소에 작성되어야 할 내용들을 가장 오른쪽 회색박스에 리스트업함으로써 참고하여 PCCP를 구성하고 작성하면 좀 더 쉬운 접근이 가능할 것이라 생각합니다. (다만, 제가 직접 만든 것이므로 참고용으로만 봐주시면 좋겠습니다.🙂)

 

 

PCCP 사례와 Modification Protocol 구성요소 예시

본 가이던스에는 ML-DSFs의 Modification Protocol 구성요소의 요소에 대한 예시들과 PCCP 시나리오 사례를 Appendix로 제시해줍니다.

본 포스팅에서는 일부만 소개해드리니, 더 다양한 예시가 궁금하신 분들은 가이던스 원문을 참고하시기 바랍니다.

 

Appendix A: Example Elements of Modification Protocol Components
for ML-DSFs

Modification Protocol의 네 가지 구성요소에 대한 고려사항의 예시입니다. 업체는 프로토콜의 네 가지 구성요소 중 어느 것도 적절하지 않다고 판단될 경우, 다른 구성요소 또는 추가 구성요소를 포함할 수 있습니다. 또한 FDA는 Marketing submission의 검토과정에서 일부 의료기기 유형에 대해 PCCP에 추가적인 Modification Protocol 구성요소 또는 정보를 포함하도록 요청할 수 있습니다.

 

본 포스팅에선 고려사항에 대한 소제목만 소개해드리니 자세한 예시는 가이던스 원문을 참고해주세요!

 

(1) Data Management

a. Collection protocols - 10가지 고려사항

b. Assurance of Data Quality - 9가지 고려사항

c. Reference standard determination - 6가지 고려사항

d. Sequestration of test data sets - 3가지 고려사항

 

(2) Re-Training

a. Re-training objectives and focus - 4가지 고려사항

b. Re-training implementation - 3가지 고려사항

 

(3) Performance Evaluation

a. Triggers to initiate performance evaluation - 2가지 고려사항

b. Assessment metrics and elements - 5가지 고려사항

c. Statistical analysis plans - 8가지 고려사항

d. Performance targets - 3가지 고려사항

e. Additional testing needs - 2가지 고려사항

 

(4) Update Procedures

a. Software verification and validation - 4가지 고려사항

b. When and how updates will be implemented - 5가지 고려사항

c. Communication and transparency to users - 9가지 고려사항

d. Device monitoring plan - 6가지 고려사항

 

Appendix B: Example ML-DSF Scenarios Employing PCCPs

본 Appendix B에서는 PCCP를 사용할 수 있는 다양한 ML-DSF 시나리오 사례(총 5가지)를 보여줍니다. 모든 사례는 가상이며 승인된 특정 기기를 반영하지 않습니다.

 

본 포스팅에서는 사례 중 하나인 Patient Monitor Software 내용만 소개하고 가이던스에는 Skin Lesion Software, Ventilator Settings Software, Image Acquisition Assistance Device, Feeding Tube Placement Radiograph Analysis Software에 대한 사례도 언급되어 있으니 관련 업체 분들은 가이던스 원문을 확인해주세요.

 

 

(1) Patient Monitor Software

Background: The device is an ML-DSF intended for use in high-acuity healthcare environments (e.g., an intensive care unit). The software obtains physiological signals (e.g., electrocardiogram, blood pressure, pulse oximetry) from a primary patient monitor. The physiological signals are processed and analyzed by an ML model to detect patterns that occur at the onset of physiologic instability. When physiologic instability is detected, an audible alarm signal is generated to indicate that prompt clinical action is needed to prevent potential harm to the patient. The ML-enabled medical device was authorized with a PCCP.

 

Brief Overview of Pre-Specified Modification: The manufacturer would like to re-train the ML model with more data to reduce the false alarm rate while maintaining or increasing sensitivity to the onset of physiologic instability. The baseline sensitivity is y%. The manufacturer would like to demonstrate a significant improvement in the false-alarm rate while the sensitivity remains within a pre-specified non-inferiority margin of z% when compared with the original device, i.e., the version of the device without any modifications.

 

Post-Authorization Modification Scenarios:

Modification Scenario 1: Modification related to quantitative measures of device performance, as specified in the PCCP, and implemented in accordance with the PCCP

In accordance with the Modification Protocol, data were collected and used to re-train the ML model. The modified ML model was tested per the methods specified in the Modification Protocol. The results demonstrated that the false alarm rate was significantly reduced while the mean sensitivity estimate was statistically within the proposed non-inferiority margin of the baseline sensitivity y%. Labeling was updated in accordance with the modified ML-DSF performance, and communication was provided to the device users. Because the device modification was specified in the PCCP, and it was implemented in conformance with the PCCP, the device modification would not require a new marketing submission. The manufacturer should document the modification that was specified in the PCCP in accordance with their quality system.

Modification Scenario 2: Modification beyond quantitative measures of device performance, which was not specified in the PCCP

In accordance with the Modification Protocol, the manufacturer re-trained their ML model using additional data to improve the sensitivity. Analytical validation demonstrated that the revised ML model has the same false alarm rate and sensitivity as the previous version. However, the manufacturer also noticed that the modified ML model maintained the same sensitivity and can now also predict physiologic instability in advance of its onset, which the previous version of the ML model could not do. The manufacturer would like to update the device’s indications for use to reflect this additional performance claim to predict physiologic instability in advance of its onset, which was not previously included in the PCCP. The methods used for analysis, performance, and statistics were not specified in the PCCP for predicting a future state. Because this modification that was not included in the PCCP could significantly affect the safety or effectiveness of the device, a new marketing submission would be required.

 

향후 일정

오늘 소개해드린 FDA에서 발간하는 가이던스 이외에도 여러 국가에서 다양하게 국가별 규제 사항에 대한 가이드라인을 제공하고 있습니다.

에이아이트릭스 RA/QA 팀에서는 지속적으로 인공지능(AI) 기술과 소프트웨어 의료기기에 관한 최신 규제를 모니터링하고 국내 업계에 소개할 예정입니다.🙂

국내의 관련 분야 종사자 분들 중에서 이러한 내용에 관심이 있거나 구체적인 논의가 필요하다면 언제든 연락 바랍니다!👏🏻

 

에이아이트릭스 지원하기🔗 > 

의료기기 인허가(RA) 담당자 [FDA, AI & SaMD]
의료기기 품질관리 담당자 (QA Manager)