MDR ЕС · Приложение I · Приложение II · Объективные доказательства
Верификация и валидация медицинских изделий
Верификация доказывает, что конструкция соответствует установленным требованиям. Валидация доказывает, что готовое изделие удовлетворяет потребности пользователей и выполняет назначение в реальных условиях применения.
Различие кажется простым. Создать убедительный пакет доказательств сложнее. Для каждого испытания нужны четкий вопрос, репрезентативный образец, заранее установленные критерии приемки, обоснованный объем выборки и контролируемый вывод.
Спланировать доказательства ↓Доказать
изделие
Критерии заданы
Образец определен
Результат прослеживается
- 01
Потребность
Результат реального применения
- 02
Входные данные
Измеримое требование
- 03
Выходные данные
Реализованная конструкция
- 04
Верификация
Требование выполнено
- 05
Валидация
Потребность удовлетворена
Испытание пройдено, но протокол не определял критерий успеха
Прямой ответ
Верификация и валидация закрывают разные части одной цепочки доказательств
Приложение II требует представить результаты и критический анализ всех испытаний и исследований по верификации и валидации, необходимых для подтверждения соответствия. Производитель должен показать и правильность реализации проектных спецификаций, и способность готового изделия безопасно выполнять предусмотренное медицинское назначение.
Сравните выходные данные с утвержденным входным требованием
- Размеры относительно утвержденного чертежа
- Расход относительно спецификации характеристик
- Результат программы относительно требования
- Реализация меры контроля относительно файла рисков
- Целостность упаковки относительно заданного предела
- Содержание маркировки относительно утвержденных требований
Подтвердите работу готового изделия при предусмотренном применении
- Репрезентативные пользователи и популяция пациентов
- Предусмотренная среда и реалистичный рабочий процесс
- Конфигурация, эквивалентная серийному изделию
- Критические задачи и предвидимые ошибки применения
- Клиническая эффективность и польза, где применимо
- Маркировка, принадлежности и обучение в поставляемом виде
Возьмите заявление «подает 5 мл с точностью ±5%». Стендовое испытание может верифицировать заданную точность подачи. Валидация проверяет, могут ли предусмотренные пользователи правильно подготовить, использовать и интерпретировать готовое изделие в репрезентативных условиях без неприемлемого риска, связанного с применением.
До составления протокола
Стройте план доказательств на основе заявлений, требований и рисков
Испытания не следует начинать с перечня привычных стандартов. Сначала определите вопросы, на которые должны ответить доказательства, затем выберите метод, образец, условия, объем выборки и критерии приемки, способные дать такой ответ.
Преобразуйте потребности в измеримые требования
Требования к эффективности, безопасности, юзабилити, биологии, программному обеспечению, упаковке и производству
Отметьте требования к мерам контроля риска
Для каждой реализованной меры нужны объективные доказательства правильной реализации и эффективности
Определите вид доказательства
Контроль, анализ, стендовое испытание, имитированное применение, программное испытание, валидация процесса или клинические данные
Зафиксируйте правило решения
Критерии приемки, статистическое обоснование, отклонения, правила повторного испытания и ответственные утверждающие лица
Матрица испытаний полезна только тогда, когда указывает точное требование, протокол, конфигурацию образца, обоснование выборки, критерий приемки, результат и вывод. Формулировка «испытано по стандарту» не является полным планом.
Сделайте область и логику решений понятными до начала работ
Рабочий план должен позволять проверяющему понять, что будет испытано, почему этого достаточно и что произойдет при неоднозначном результате.
- Охваченные модели, варианты и конфигурации
- Входные данные, потребности, заявления и меры контроля риска
- Методы, стандарты и обоснованные отклонения
- Образцы, серии и производственный статус
- Обоснование выборки и наихудшего случая
- Правила приемки, отклонений и ревалидации
Какое требование закрывает эта работа?
Если результат нельзя проследить до входного требования, меры контроля риска, GSPR или заявления, его регуляторная цель неясна.
Почему образец представляет серийное изделие?
Зафиксируйте материалы, поставщика, оснастку, программу, процесс, стерилизацию, упаковку, старение и конфигурацию, влияющие на результат.
Какой точный результат означает успех?
Утвердите численные пределы, качественные правила решения и порядок обращения с недействительными испытаниями до проверки первого образца.
Выбирайте доказательство по вопросу
Четыре вида работ, которые часто называют валидацией, но они отвечают на разные вопросы
Выберите объект доказательства. В одном проекте могут потребоваться все четыре вида работ, но для каждого нужны собственные область, репрезентативная конфигурация и вывод.
Верифицируйте каждую реализованную характеристику относительно контролируемого требования
Работа может включать контроль, анализ или испытание. Она дает результат только тогда, когда объективное доказательство закрывает определенное входное требование.
- ОПРЕДЕЛИТЬ
Укажите точное требование, предел приемки, метод, образец, подготовку, обоснование выборки и измерительное оборудование.
- ВЫПОЛНИТЬ
Используйте утвержденный протокол, калиброванное оборудование, контролируемые исходные данные и фиксируйте отклонения от метода.
- СДЕЛАТЬ ВЫВОД
Укажите, выполнено ли требование, и свяжите результат с матрицами GSPR, мер контроля риска и заявлений.
Валидируйте готовое изделие в репрезентативных условиях применения
Валидация конструкции выходит за пределы спецификаций и подтверждает, что поставляемая система безопасно работает для предусмотренных пользователей и назначения.
- ПРЕДСТАВИТЬ ПОЛЬЗОВАТЕЛЕЙ
Включите предусмотренных профессиональных или непрофессиональных пользователей, их способности, обучение и предвидимые ограничения.
- ПРЕДСТАВИТЬ ПРИМЕНЕНИЕ
Используйте окончательные интерфейс, принадлежности, маркировку и инструкции в реалистичной среде и рабочем процессе.
- ЗАКРЫТЬ ПОТРЕБНОСТИ
Свяжите результаты с назначением, критическими задачами, клиническими заявлениями, остаточными рисками и потребностями пользователей.
Валидируйте процессы, результат которых нельзя полностью проверить позднее
Валидация процесса устанавливает, что заданные параметры и меры управления стабильно дают приемлемый результат.
- ПРОВЕРИТЬ ДИАПАЗОН
Определите критические параметры и испытайте номинальные и обоснованные наихудшие условия, загрузки, операторов, оборудование и материалы.
- КВАЛИФИЦИРОВАТЬ СИСТЕМУ
При необходимости подтвердите установку, функционирование и рабочие характеристики оборудования и свяжите их с рутинным мониторингом.
- ПОДДЕРЖИВАТЬ УПРАВЛЕНИЕ
Определите критерии выпуска, пределы тенденций, техническое обслуживание, оценку изменений и триггеры частичной или полной ревалидации.
Разделите верификацию уровня ПО и валидацию уровня системы
Доказательства по ПО должны охватывать его архитектуру и код, а также поведение в составе полной системы медицинского изделия.
- ВЕРИФИЦИРОВАТЬ ПО УРОВНЯМ
Свяжите модульные, интеграционные и системные испытания с требованиями к ПО, интерфейсами, мерами контроля риска и архитектурой.
- КОНТРОЛИРОВАТЬ КОНФИГУРАЦИЮ
Идентифицируйте исходный код, сборку, SOUP, данные, модель, операционную систему, аппаратную часть, сеть и версии испытательной среды.
- ВАЛИДИРОВАТЬ СИСТЕМУ
Подтвердите, что выпущенное ПО поддерживает медицинское назначение и рабочий процесс пользователя на поддерживаемых конфигурациях.
Прослеживаемость как механизм управления
Семь связей, превращающих результат испытания в регуляторное доказательство
Успешного отчета недостаточно, если неясны испытанный образец, требование или связь с мерой контроля риска. Результат становится применимым только при управлении всей цепочкой.
Вопрос
Метод
Образец
Выборка
Критерии
Результат
Решение
Восемь контролируемых записей делают вывод по верификации и валидации воспроизводимым
Названия документов могут различаться. Цепочка решений — нет.
- 01
План верификации и валидации
Область, ответственность, методы, зависимости и критерии завершения.
- 02
Матрица прослеживаемости
Потребности, входные данные, риски, GSPR, протоколы, отчеты и выводы.
- 03
Утвержденные протоколы
Образцы, метод, условия, выборки, критерии приемки и отклонения.
- 04
Записи об образцах
Конфигурация, серия, сборка, обработка, старение и репрезентативность.
- 05
Исходные доказательства
Первичные данные, изображения, журналы, расчеты, оборудование и операторы.
- 06
Итоговые отчеты
Результаты, отступления, аномалии, анализ и решения по требованиям.
- 07
Записи о неудачах
Расследования, изменения, повторные испытания, влияние на риск и закрытие.
- 08
Итоговое резюме
Охват, нерешенные вопросы, ограничения и рекомендация о выпуске.
Что может входить в пакет доказательств
Характеристики изделия определяют состав верификации и валидации
Не каждому изделию нужны все перечисленные работы. Применимые доказательства выбирают с учетом назначения, GSPR, анализа рисков, заявлений, материалов, технологии, производства и среды применения.
Характеристики и долговечность
Размеры, усилие, расход, точность, прочность, усталость, износ, утечка и работа в заявленных пределах среды и срока службы.
Испытайте наихудшие конфигурации и заявленные пределыБезопасность контакта с пациентом
Характеристика материалов, биологическая оценка, экстрагируемые и вымываемые вещества, деградация, остатки и токсикологическая оценка с учетом контакта.
Используйте конечное обработанное и стерилизованное состояние материалаФункциональное и системное поведение
Основная безопасность, существенные характеристики, требования к ПО, интерфейсы, тревоги, кибербезопасность, совместимость систем и восстановление после отказа.
Идентифицируйте точные аппаратные и программные конфигурацииБезопасное применение пользователями
Критические задачи, пользовательский интерфейс, маркировка, обучение, ошибки применения и валидация с репрезентативными пользователями, средой и процессами.
Не заменяйте валидацию одним экспертным обзоромЗащита в течение срока годности
Стерилизация, микробиологическое состояние, стерильный барьер, герметизация, транспортирование, ускоренное или реальное старение, хранение и дистрибуция.
Свяжите испытанную последовательность с маркированным сроком годностиБезопасность, эффективность и польза
Клиническая оценка, исследования при необходимости, эквивалентность при допустимости, PMCF и доказательства назначения и клинических заявлений.
Успешное стендовое испытание не устанавливает клиническую пользуУспех компонента не валидирует готовую систему автоматически
Соответствующий материал, испытанный компонент или верифицированный программный модуль могут поддерживать пакет доказательств. Производитель все равно должен оценить взаимодействия, конечную обработку, принадлежности, рабочий процесс пользователя и риски уровня системы в поставляемой конфигурации.
Объем выборки и выбор наихудшего случая
Шесть решений определяют репрезентативность результата
Универсального правила «три образца» не существует. Количество и выбор образцов следует обосновать риском, вариабельностью, видом отказа, типом данных, требуемой уверенностью и применимым методом испытания.
Атрибутивный или количественный результат
Результат «успех или неудача» требует иной статистической основы, чем непрерывное измерение усилия, расхода или размерной точности.
Метод анализа соответствует типу данных и правилу приемки
Единицы, серии и процессы
Разброс может быть связан с сырьем, поставщиками, гнездами формы, линиями, операторами, площадками, конфигурациями ПО или условиями среды.
Выбор охватывает источники, способные изменить результат
Последствие отказа
Для критической меры безопасности обычно нужна более высокая уверенность, чем для некритического предпочтения или функции удобства.
Уровень уверенности обоснован относительно последствия отказа
Применимый стандарт или протокол
Стандарт может устанавливать единицы, подготовку, повторения или статистику. Отступления требуют обоснования и оценки влияния.
Все применимые требования метода учтены
Конфигурация с наибольшей вероятностью отказа
Самая малая, большая, слабая, нагруженная или иным образом ограничивающая конфигурация может сократить ненужные испытания при научном обосновании.
Наихудший случай выведен из механизма отказа, а не удобства
Укажите требуемую уверенность
- A
Определите решение и вид отказа
- B
Выберите доверие, надежность или точность
- C
Рассчитайте и документируйте объем выборки
Документируйте, почему выбранный наихудший случай охватывает каждый неиспытанный вариант
- Размеры и допуски, влияющие на механизм отказа
- Материалы, составы и характеристики контакта с пациентом
- Энергия, давление, нагрузка, расход и рабочие пределы
- Производственные площадки, инструменты, линии и диапазоны процессов
- Воздействия стерилизации и конфигурации упаковки
- Сочетания программного и аппаратного обеспечения и интерфейсов
- Хранение, транспортирование, старение и подготовка
- Принадлежности и выбираемые пользователем настройки
Практическая последовательность выполнения
Семь этапов от вопроса к утвержденному выводу
Эта последовательность предотвращает ненужные повторные испытания. Прохождение этапа означает, что доказательство пригодно для регуляторного решения, а не только то, что лабораторная работа завершена.
- ЭТАП 01ВОПРОС ДОКАЗАТЕЛЬСТВА
Точно определите, что требуется доказать
Начните с потребности пользователя, входного требования, меры контроля риска, GSPR, заявления, результата процесса или влияния изменения.
ПРОЙДЕНО, ЕСЛИВопрос измерим и прослеживается до контролируемого определения изделия.
- ЭТАП 02МЕТОД
Выберите метод, способный ответить на вопрос
Используйте инспекцию, анализ, стендовое испытание, моделируемое применение, тестирование ПО, валидацию процесса или клинические доказательства и укажите применимые стандарты.
ПРОЙДЕНО, ЕСЛИМетод измеряет релевантный результат в обоснованных условиях.
- ЭТАП 03ОБРАЗЕЦ И ВЫБОРКА
Зафиксируйте репрезентативную конфигурацию и обоснование выборки
Определите единицы, партии, версии, обработку, кондиционирование, пользователей, число повторов и выбор наихудшего случая.
ПРОЙДЕНО, ЕСЛИПлан объясняет, почему результат применим к выпускаемому семейству изделий.
- ЭТАП 04ПРОТОКОЛ
Утвердите критерии и правила принятия решения до начала работ
Определите этапы, оборудование, первичные данные, числовые пределы, статистический анализ, недействительные прогоны, отклонения и согласования.
ПРОЙДЕНО, ЕСЛИУспех нельзя переопределить после получения данных.
- ЭТАП 05ВЫПОЛНЕНИЕ
Выполните утвержденный метод в контролируемых условиях
Подтвердите статус оборудования, компетентность исполнителя, идентичность образца, условия среды и своевременную регистрацию первичных данных.
ПРОЙДЕНО, ЕСЛИЗапись показывает, что произошло фактически, и сохраняет каждое отклонение.
- ЭТАП 06АНАЛИЗ
Разберите неудачи, отклонения и аномалии
Исследуйте причины, оцените достоверность и риск, утвердите изменения и определите обоснованный объем повторных, регрессионных или сравнительных испытаний.
ПРОЙДЕНО, ЕСЛИНи один неблагоприятный результат не скрыт усреднением, исключением или необъясненным повтором.
- ЭТАП 07ЗАКРЫТИЕ
Утвердите вывод на уровне требования
Обновите прослеживаемость, управление рисками, клиническую оценку, заявления, маркировку, техническую документацию и решение о выпуске, если применимо.
ПРОЙДЕНО, ЕСЛИКаждый вопрос имеет актуальный результат, контролируемый вывод и триггер переоценки при изменении.
Распространенные ошибки V&V
Шесть сокращений пути, из-за которых успешные испытания становятся непригодными
Замечания нотифицированного органа часто относятся не к лабораторному результату, а к логике вокруг испытания. Эти ошибки не позволяют проверяющему применить доказательство к конечному изделию.
Устанавливать критерии после получения результата
Пределы, заданные постфактум, позволяют данным самим определить успех. Утвердите измеримые критерии и их обоснование до выполнения испытания.
Использовать три образца по привычке
Привычное количество не является статистическим обоснованием. Учтите вариабельность, тип данных, риск, доверительный уровень и требования применимого метода.
Испытывать неопределенный прототип
Зафиксируйте конфигурацию образца и обоснуйте каждое отличие от выпускаемых материалов, процесса, ПО, упаковки и состояния после стерилизации.
Называть валидацией каждую работу
Укажите, верифицирует ли работа входное требование, валидирует потребность пользователя или процесс либо формирует клиническое доказательство. От этого зависит построение исследования.
Повторять неуспешное испытание без расследования
Последующий успешный результат не отменяет первоначальную неудачу. Определите первопричину, достоверность, влияние на риск и обоснованный объем повторных испытаний.
Игнорировать изменения после испытаний
Изменения поставщика, материала, кода, процесса, упаковки или заявлений могут обесценить прежние доказательства. Свяжите оценку каждого изменения с затронутыми записями V&V.
Практические вопросы
Верификация и валидация по MDR ЕС
Откройте вопрос, который влияет на протокол, обоснование выборки, репрезентативную конфигурацию, обработку неудачи или решение о ревалидации.
В чем практическая разница между верификацией и валидацией?+
Верификация подтверждает, что выходные данные проектирования или реализованная функция соответствуют установленным входным требованиям. Валидация подтверждает, что готовое изделие при использовании предусмотренными пользователями в предусмотренной среде выполняет назначение и удовлетворяет потребности пользователей. Верификация отвечает на вопрос, правильно ли изготовлено изделие по спецификации. Валидация отвечает на вопрос, подходит ли созданное изделие для реальной ситуации применения.
Может ли одно испытание одновременно дать доказательства верификации и валидации?+
Да, если протокол рассчитан на оба вопроса и предусматривает подходящие критерии приемки, образцы, пользователей и условия. Исследование имитированного применения может верифицировать отдельные требования к характеристикам и одновременно подтвердить, что репрезентативные пользователи безопасно выполняют критические задачи. В отчете следует указать, какие входные требования, риски и потребности пользователей закрывает каждый результат, а не называть всю работу валидацией по умолчанию.
Нужно ли утверждать критерии приемки до начала испытаний?+
Да. Заранее установленные критерии не позволяют производителю переопределить успех после получения результатов. Каждый критерий должен быть измеримым, прослеживаться до требования, меры контроля риска, стандарта или обоснованного заявления о характеристиках и сопровождаться статистическим либо инженерным обоснованием, необходимым для интерпретации результата.
Сколько образцов требуется для верификации или валидации?+
MDR не устанавливает единого числа. Объем выборки зависит от поставленного вопроса, вариабельности, тяжести возможного отказа, требуемой уверенности, применимого стандарта и метода испытания. Для атрибутивных данных может потребоваться расчет доверия и надежности, для количественных данных — расчет мощности, точности или толерантного интервала. При разрушающих испытаниях следует обосновать, почему выбранные серии и единицы представляют обычную производственную вариабельность.
Нужно ли проводить верификацию и валидацию на изделиях, эквивалентных серийным?+
Финальную валидацию следует проводить на готовом изделии или конфигурации, эквивалентной серийной. Для верификации допустимы прототипы, если это не делает результат неприменимым, но в отчете нужно идентифицировать испытанную конфигурацию и обосновать ее репрезентативность. Различия в материалах, поставщиках, оснастке, программном обеспечении, стерилизации, упаковке или производственных процессах требуют документированной оценки влияния и могут потребовать дополнительных или повторных испытаний.
Когда требуется валидация производственного процесса?+
Процесс валидируют, когда его результат нельзя полностью проверить последующим контролем или испытанием либо когда такая полная проверка непрактична или разрушительна. Типичные примеры — стерилизация, асептическое производство, герметизация, сварка, склеивание, формование и некоторые программно управляемые производственные операции. Валидация должна устанавливать рабочие диапазоны, мониторинг, критерии приемки и правила ревалидации, а не только фиксировать один успешный запуск.
Что делать при неуспешном испытании или отклонении от протокола?+
Нельзя удалять результат или просто повторять испытание. Зафиксируйте событие, сохраните исходные данные, исследуйте причину и оцените влияние на достоверность, риск и другие доказательства. Если меняется конструкция или метод, утвердите изменение и определите обоснованный объем повторного испытания. Успешный повторный результат недостаточен, пока первоначальная неудача и ее последствия не разрешены.
Когда после изменения нужно повторять испытания?+
Повторные или дополнительные испытания нужны, если изменение способно повлиять на верифицированное требование, валидированную потребность пользователя, меру контроля риска, клиническое заявление, интерфейс, срок годности, упаковку, стерильность, кибербезопасность или производственный процесс. Оценка изменения должна определить затронутые доказательства и обосновать полное повторное испытание, целевую регрессию, переходные доказательства либо вывод об отсутствии влияния.
Заменяет ли клиническая оценка валидацию конструкции?+
Нет. Клиническая оценка определяет, подтверждают ли клинические данные безопасность, эффективность и клиническую пользу для назначения изделия. Валидация конструкции также проверяет, удовлетворяют ли готовое изделие, маркировка, пользовательский интерфейс, принадлежности и среда применения потребности пользователей. Клинические данные могут быть частью валидации, но не заменяют стендовые, юзабилити-, программные, биологические и иные доказательства, необходимые для изделия.
Первоисточники
Для окончательного решения используйте действующие официальные тексты и применимые стандарты
MDR определяет требуемый регуляторный результат, а стандарты устанавливают подробные методы для отдельных технологий и видов доказательств. До испытаний проверьте действующие редакции, поправки, статус гармонизации и специальные требования к изделию.
Регламент (ЕС) 2017/745
Требования приложения I и доказательства верификации и валидации изделия по разделу 6 приложения II
MDCG 2020-1
Система клинических доказательств для программного обеспечения медицинских изделий
MDCG 2019-16 Rev.1
Верификация, валидация и доказательства кибербезопасности на протяжении жизненного цикла
IEC 62304
Процессы жизненного цикла ПО и работы по верификации программного обеспечения медицинских изделий
ISO 14971
Управление рисками и верификация внедрения и эффективности мер контроля риска
Гармонизированные стандарты
Информация Европейской комиссии и актуальные исполнительные решения
Сделайте доказательства убедительными до начала испытаний
Нужна помощь в планировании или исправлении верификации и валидации медицинского изделия?
MDRC может разработать стратегию V&V и матрицу прослеживаемости, проверить протоколы и обоснования выборок, выявить пробелы в доказательствах, оценить неуспешные испытания и изменения и подготовить сводный отчет по верификации и валидации к проверке.
