Валидация и верификация

Привет ALL,

нужна консультация (возможно достаточно опыта описания в РК) по поводу требований п.7.5.2 Валидация процессов производства и обслуживания, применительно к IT-компании, которая занимается разработкой программных продуктов под заказ.

Стандарт требует

Цитата:

Организация должна подтверждать все процессы производства и обслуживания, результаты которых нельзя проверить посредством последовательного мониторинга или измерения. К ним относятся все процессы, недостатки которых становятся очевидными только после начала использования продукции или после предоставления услуги.

Валидацию продукта после поставки делает сам клиент или пользователи системы. Cам процесс, т.е. как проходит оценка продукта на стороне заказчика, IT-компания контролировать не может. Если будут найдены какие-то дефекты, то клиент о них сообщает в переписке или через дефект-трекинговую систему.

Подскажите плиз какая деятельность (или приведите пример процесса) IT-компании должна валидироваться/подтверждаться в соответствии с 7.5.2?

да, больше всего смущает фраза

Цитата:

К ним относятся все процессы, недостатки которых становятся очевидными только после начала использования продукции или после предоставления услуги.

фактически у IT-компании после поставки уже процессов нет, ну разве что оценка удовлетворенности клиента. А с другой стороны, если после поставки продукта клиент выявил какие-то недостатки, то они могут быть вызваны проблемами в любом процессе ЖЦП.

Так в чем же все-таки различие между валидацией и верификацией? Что-то я совсем запуталась

Попробуйте перевести эти слова
А ориентироваться просто
7.3.5 Верификация (проверка)
7.3.6 Валидация (утверждение)
Сначала проверить 7.3.5 а затем утвердить проверенное 7.3.6

Gunilla писал(а):

Daria писал(а):

Так в чем же все-таки различие между валидацией и верификацией? Что-то я совсем запуталась

Верификация - согласование.
Валидация - утверждение.

Ну немного не согласен читайте 7.3.5 ИСО
"Верификация должна осуществляться ....чтобы удостовериться, что выходные данные проектирования и разработки сосуществуют входным требованиям"
так что это все таки проверка а не согласование иначе на основании чего вы удостоверитесь согласовать можно и не проверив

Также читайте 7.3.3. ИСО 9004
Примеры деятельности по верификации....
- сравнение требований к входу по отношению к выходу процесса
- и т.д.

Из Руководства по аудиту процесса проектирования разработки ISO 9001 Auditing Practices Group:
По п.7.3.5:
Верификация процесса проектирования и разработки направлена на обеспечения уверенности в том, что выходы процесса проектирования и разработки соответствуют входным требованиям этого процесса. Верификация может представлять собой следующее:
- выполнение альтернативных вычислений;
- сравнение новой разработанной спецификации с такой же, уже проверенной, спецификацией;
- демонстрации, включая прототипы, симуляцию, тесты;
- анализ документов до выпуска.
По п.7.3.6:
Валидация процесса проектирования и разработки – подтверждение путем изучения, предоставление свидетельств того, что выполнены особые требования для специфического применения. Другими словами, процесс валидации должен быть способен подтвердить то, что конечный продукт и/или услуга будет способен (способен) удовлетворить требования потребителей. Для многих продуктов и/или услуг, валидация – относительно простой процесс. Примером может служить новый дизайн офисной мебели, который может быть валидирован тестирование прототипов и последующим тестирование пробных образцов конечного продукта.

Daria писал(а):

Так в чем же все-таки различие между валидацией и верификацией? Что-то я совсем запуталась

Тут такие умные ответы дали, что я сама чуть не запуталась Smile

Цитировать формулировки можно бесконечно, имхо ясности это не внесет.

Говоря по-русски, верификация - это подтверждение того, что работы ведутся в соответствии с заданными Заказчиком требованиями, как правило проводится исполнителями внутри самой компании. А валидация - окончательная перепроверка этих самых изначально заданных требований непосредсвенно у Заказчика.

Ну вот на конкретном примере:

Заказчик хочет нечто. Согласовывается ТЗ, из которого вы понимаете что должны сделать "синий автомобиль". Вы начинаете процесс производства, и в процессе проверяете то что получается - а автомобиль ли это, а синий ли он у вас?
Это - верификация.

А потом вы приходите к заказчику и говорите - вот смотрите, получился синий автомобиль, принимаете работу? А он говорит - ребята, вы не так поняли, я хотел розовый трактор, переделать быстро. Или наоборот говорит - о, это именно то что я видел мысленным взором, скорее подписывайте акт сдачи-приемки.
Это - валидация Very Happy

добавлю с посту Firefox
из того же источника

Цитата:

Однако во многих других ситуациях утверждение проектирования может быть более сложным. Например, может потребоваться соответствие продуктов или компонентов, используемых в электрических или электронных системах, с требованиями к рабочим характеристикам, установленными организациями с другой системой проектирования. В такой ситуации утверждение проекта может быть завершено только путем получения информации о рабочих характеристиках продуктов или компонентов (предпочтительно в виде официальных результатов тестов) от организаций с такой системой проектирования или при помощи пользователей таких продуктов или компонентов.

Другой пример трудной ситуации - это когда утверждение проектирования проводится клиентом или какой-либо другой внешней организацией (например, для подтверждения архитектурного проектирования).

В таких сложных ситуациях организации придется искать договоренности с соответствующими внешними сторонами по способу проведения утверждения проектирования и доведения до них результатов. В такой ситуации для завершения утверждения проектирования в планирование проектирования и разработки необходимо включить снабжение.

есть еще и отраслевые нормативные требования относительно утверждения результатов проектирования...
поэтому в одном случе достточно визы "в производство" гл.технолога, в другом "Утвереждение" в гос.экспертизе

Доброго всем времени суток! Я новичок на форуме, так что сорри, если что не так! Smile

Перед сертификацией мы тоже разбирались с этими терминами. Приняли для себя следующие толкования:
- "верификация" - сделали то, что требовалось (т.е. в соответствии с ТЗ);
- "валидация" - то, что сделали, работает (и соответствует ожиданиям заказчика).
Это соответствует тому, что говорил выше уважаемый ssss.
Применительно к нашему профилю деятельности (разработка ПО), это обеспечивается:
- верификация - тестирование ПО и рецензирование докуметации;
- валидация - санкционирование поставки продукции + приемка продукции заказчиком.

ИСО 9004 п.7.3.3 Валидация выходов процесса.....
Так что процесс этот ваш и как вы решите так и будите валидировать у себя или заказчика
А как сказали про синий автомобиль так вспомнил Автоваз так они хотели много чего "валидировать"

Mega писал(а):

Доброго всем времени суток! Я новичок на форуме, так что сорри, если что не так! Smile

Перед сертификацией мы тоже разбирались с этими терминами. Приняли для себя следующие толкования:
- "верификация" - сделали то, что требовалось (т.е. в соответствии с ТЗ);
- "валидация" - то, что сделали, работает (и соответствует ожиданиям заказчика).
Это соответствует тому, что говорил выше уважаемый ssss.
Применительно к нашему профилю деятельности (разработка ПО), это обеспечивается:
- верификация - тестирование ПО и рецензирование документации;
- валидация - санкционирование поставки продукции + приемка продукции заказчиком.

ИМХО в случае разарботки ПО, валидация -- приемка (утверждение) заказчиком ПО в промышленную эксплуатацию

ssss писал(а):

swan писал(а):

Ну столько понаписывали тут... А все никакой конкретики.
Народ! Валидацией принято называть комплекс экспериментов по изучению технологических процессов с целью получения документальных доказательств того, что результат этих процессов при (определенных условиях) всегда будет отвечать поставленным требованиям. Это сложная и кропотливая работа для многих отраслей, которая включает использование статаппарата. Верификация же - это просто проверка - все ли делается (сделано) так, как планировалось? В основном - в отношении документации, т.к. проверка продукции - это уже контроль качественных и количественных показателей...

А речь идет именно о верификации-валидации продукции. Это основное. Предприятия обычно работают именно с целью производить продукцию, и именно такую, которая устроит заказчика, а процессами вы и сами в свободное время можете заняться. Там будет и статистика, и документация, а заказчику всего-то надо знать, соответствует ли то что он просил его требованиям, сможет он это использовать как собирался, проще говоря. Не такая уж это сложная и кропотливая работа.

Коллеги
изначальный вопрос был о различиях валидации и верификации
Термины "верификация" и "валидация" вместе в стандарте ISO 9001:2000 используется в следующем контексте:
п .7.1 c) соответствующую деятельность по проверке (верификации), утверждению (валидации), мониторингу, контролю и испытаниям применительно к данной продукции и критерии приемки продукции;
п 7.3 применительно к результату проектирования и разработки (п. 7.3.5 и 7.3.6 соответственно)
ИМХО верификация закупок и валидация процессов несколько выпадают иэ этого контекста
ИМХО и Gulila и Firefox показали основные различия

ssss писал(а):

Как-то однако сложновато общаться на этом форуме. Где речь шла о валидации закупок? Я же сослалась на пост Mega, где описана ситуация о конкретном заказе ПО.
А уж определения типа
верификация - согласование
валидация - утверждение
вообще не выдерживают критики. Что вы сможете реально сделать после такого объяснения? Имхо проблема большинства специалистов по качеству в оторванности от реальности - уходят с головой в терминологию, а потом удивляются что никто в компании их давно не понимает. Давайте говорить по русски, что ли...

2 ssss

1. что касается поста Mega
Разработка ПО специфическое применение стандарта 9001, для интерпретации которого есть отдельный стандарт ISO/IEC 90003:2004
Software engineering -- Guidelines for the application of ISO 9001:2000 to computer software....
2. для дальнейшей критки
если обратиться к троязычному ISO 8402:1994 (E, Fr, Rus) отмененому вводом ISO 9000:2000 то там было просто приведены термины и их определения....
validation - проверка
verifikation - утверждение
Г Жуков прав в части проектирования он стандарт использует эти термины не только в этом разделе
3 валидация закупок и верификаия процессов приведены в стандарте и своим постом я хотел вывести их из дальнейшего обсуждения...
с легкой руки ... теперь валидация и верификация в русском языке...

ГОСТ Р ИСО 9000-2001 писал(а):

3.8.4 верификация (еn verification; fr vérification): Подтверждение на основе представления объективных свидетельств (3.8.1) того, что установленные требования (3.1.2) были выполнены.
Примечания
1 Термин «верифицировано» используется для обозначения соответствующего статуса.
2 Деятельность по подтверждению может включать:
- осуществление альтернативных расчетов;
- сравнение научной и технической документации (3.7.3) по новому проекту с аналогичной документацией по апробированному проекту;
- проведение испытаний (3.8.3) и демонстраций;
- анализ документов до их выпуска.
(Измененная редакция. Изм. № 1).

3.8.5 валидация (en validation; fr validation): Подтверждение на основе представления объективных свидетельств (3.8.1) того, что требования (3.1.2), предназначенные для конкретного использования или применения, выполнены.
Примечания
1 Термин «подтверждено» используется для обозначения соответствующего статуса.
2 Условия применения могут быть реальными или смоделированными.
(Измененная редакция. Изм. № 1).

ИМХО возьмем к примеру известное вам строительное производство....
Валидация - Утверждение акта госприемки законченного строительством объекта...
Верификация - Проверка и согласование объекта строительства надзорными органами...

да никто не говорит, что термины приведены неправильно. Речь идет о том, что если вы подойдете к рядовому исполнителю и скажете "представь-ка мне подтверждение на основе объективных свидетельств, что установленные требования были выполнены", он на вас посмотрит нехорошим взглядом, несмотря на то что термин принят официально и законно,и вы все правильно ему сказали. Впрочем, насчет неудачного перевода уже очень много говорилось, не буду повторяться.

ну и как следствие разобраться как корректно интерпретировать эти требования для каждого конкретного случая - зачастую проблема.
Вот тот же случай со строительным производством. Вы пишете:

Цитата:

ИМХО возьмем к примеру известное вам строительное производство....
Валидация - Утвержение акта госпримки законченного строительством объекта...
Верификация - Проверка и согласование объекта строительства надзорными органами...

Да если верификацию проводить на стадии, когда речь идет об участии надзорных органов - она вообще теряет практический смысл. Поздновато, так сказать. Зачем тогда вообще уже упоминавшиеся ранее в каком-то топике лицензионные требования к контролю качества выполняемых работ?
Да и насчет валидации - вам просто никто не позволит выйти на госкомиссию без сдачи объекта заказчику и плана по устранению ЕГО замечаний. А госкомиссия - это конечно громко звучит, но валидация начинается значительно раньше.

В общем, извините меня, я не буду участвовать в дальнейших обсуждениях, к сожалению тут присутствует слишком много теории при отсутствии практических советов. Что как раз было бы очень интересно почитать.

ssss писал(а):

да никто не говорит, что термины приведены неправильно. Речь идет о том, что если вы подойдете к рядовому исполнителю и скажете "представь-ка мне подтверждение на основе объективных свидетельств, что установленные требования были выполнены", он на вас посмотрит нехорошим взглядом, несмотря на то что термин принят официально и законно,и вы все правильно ему сказали.

2 ssss
никто не запрещает в СМК определить свои термины....
и если у рядовог оисполнителя спрашивать подтверждение статуса "ПРОВЕРЕНО", "СОГЛАСОВАНО" вместо "ВЕРИФИЦИРОВАНО", "УТВЕРЖДЕНО" вместо "ВАЛИДИРОВАНО" то это отрыжки ни у кого вызывать не будет, ни у аудиторов ни у аудируемых...

ssss писал(а):

разобраться как корректно интерпретировать эти требования для каждого конкретного случая - зачастую проблема.
Вот тот же случай со строительным производством. Вы пишете:

Цитата:

ИМХО возьмем к примеру известное вам строительное производство....
Валидация - Утвержение акта госпримки законченного строительством объекта...
Верификация - Проверка и согласование объекта строительства надзорными органами...

Да если верификацию проводить на стадии, когда речь идет об участии надзорных органов - она вообще теряет практический смысл. Поздновато, так сказать. Зачем тогда вообще уже упоминавшиеся ранее в каком-то топике лицензионные требования к контролю качества выполняемых работ?
Да и насчет валидации - вам просто никто не позволит выйти на госкомиссию без сдачи объекта заказчику и плана по устранению ЕГО замечаний. А госкомиссия - это конечно громко звучит, но валидация начинается значительно раньше.

В общем, извините меня, я не буду участвовать в дальнейших обсуждениях, к сожалению тут присутствует слишком много теории при отсутствии практических советов. Что как раз было бы очень интересно почитать.

а вот как разобраться в конкретной ситуации это уже другой вопрос...

вы правы верификация в строительстве начинает производиться намного раньше, и авторский, и строительный и пр. надзор и акты приемки скрытых работ и конроль качества производимых СМР и т.д. и т.п.
только вопрос о содержании работ по валидации-верификации не ставился, ставился вопрос то о различиях без привявзки к конкретной предметной области действия СМК. а на такой вопрос можно было ответить только абстрактно...

практические совет можно получить на вопросы по практике, а тут какие вопросы тикие и ответы....
приношу извинения, если чем то не удовлетворил ваш интерес
сожалею за ваш выбор, но это ваш выбор...

Ну, коллеги... Так можно скоро тома издавать Smile

Такое впечатление, что никто толком и не знает - что такое верификация, а что такое валидация...
Я работаю в сфере производства фармацевтической продукции, так вот у нас в фармацевтике термин "валидация" используется уже очень давно, когда и в ИСОвских стандартах его не было. И смысл он имеет именно тот, о котором я уже сегодня писал. Ну а, например, в органах по сертификации систем качества (я - аудитор) "верификацией дел" называют проверку аудиторских отчетов и других сопутствующих документов после аудита на месте на предмет комплектности и правильности их составления. И это правильно!

swan писал(а):

Ну, коллеги... Так можно скоро тома издавать Smile

Такое впечатление, что никто толком и не знает - что такое верификация, а что такое валидация...
Я работаю в сфере производства фармацевтической продукции, так вот у нас в фармацевтике термин "валидация" используется уже очень давно, когда и в ИСОвских стандартах его не было. И смысл он имеет именно тот, о котором я уже сегодня писал.

Наверное, путаница оттого, что сапожник пытается спорить с пекарем Smile

Давайте тогда на конкретных примерах разбирать, что есть валидация. Поскольку я есть сугубый технарь, но при этом никогда не производивший продукцию, а оказывающий услуги, то и квакать буду со своей технической кочки.
С верификацией, вроде бы, более-менее ясно: проверка того, соответствует комплект проектной документации требованиям технического задания.
Под валидацией я привык понимать такие вещи:
1. Испытание макета подводной лодки в бассейне, имитирующем реальные условия;
2. "Развал" самолёта в аэродинамической трубе;
3. Комплексное опробование (или был ещё такой термин - межведомственные испытания) комплекта аппаратуры с последующей комиссионной приёмкой.
Ну, и тому подобное.
Вопрос к swan (просто любопытно): что же конкретно называется валидацией в фармацевтике? Я бы сюда отнёс лабораторные испытания новых препаратов на крысках-мышках и добровольцах Smile

kiav писал(а):

Под валидацией я привык понимать такие вещи:
1. Испытание макета подводной лодки в бассейне, имитирующем реальные условия;
2. "Развал" самолёта в аэродинамической трубе;
3. Комплексное опробование (или был ещё такой термин - межведомственные испытания) комплекта аппаратуры с последующей комиссионной приёмкой.

Здесь вы попали в 9004
п.7.3.3 Примеры деятельности по верификации выходов процесса проектирования и разработки:
.....
- проверка, моделирование и испытания с целью контроля соотвествия конкретным требованиям к входным данным;
.....
В сущности это и есть деятельность для верификации (проверки)

Жуков.Г писал(а):

Здесь вы попали в 9004

Уж коль речь зашла о 9004, то в п. 7.1.3.3 говорится:
"Валидация охватывает моделирование, имитирование и испытания, а также анализ с вовлечением потребителей и других заинтересованных сторон." Т.е. как раз то, о чём я сказал выше.
Хотелось бы услышать (увидеть) Ваше вИдение вопроса, г-н Жуков: какие конкретные примеры валидации проектирования и разработки, на Ваш взгляд, будут корректными?
А вообще, добро бы с 9001 разобраться, прежде чем на 9004 переходить Smile

kiav
В фармацевтике валидацией принято называть комплекс исследований экспериментального характера по изучению технологических процессов с целью получения документальных доказательств того, что результат этих процессов при (определенных условиях) всегда будет отвечать поставленным требованиям. Это по сути определение статистических характеристик процесса, параметрических границ, индексов воспроизводимости и т.д. Валидация у нас может быть сопутствующей (когда процесс уже внедрен) или перспективной (до начала производства). Близко с Вашими рассуждениями

kiav писал(а):

Жуков.Г писал(а):

Здесь вы попали в 9004

Уж коль речь зашла о 9004, то в п. 7.1.3.3 говорится:
"Валидация охватывает моделирование, имитирование и испытания, а также анализ с вовлечением потребителей и других заинтересованных сторон." Т.е. как раз то, о чём я сказал выше.
Хотелось бы услышать (увидеть) Ваше вИдение вопроса, г-н Жуков: какие конкретные примеры валидации проектирования и разработки, на Ваш взгляд, будут корректными?
А вообще, добро бы с 9001 разобраться, прежде чем на 9004 переходить Smile

Нужно в первую очередь исходить из требований ГОСТов 15.101, и 15.201

swan писал(а):

kiav
В фармацевтике валидацией принято называть комплекс исследований экспериментального характера по изучению технологических процессов с целью получения документальных доказательств того, что результат этих процессов при (определенных условиях) всегда будет отвечать поставленным требованиям. Это по сути определение статистических характеристик процесса, параметрических границ, индексов воспроизводимости и т.д. Валидация у нас может быть сопутствующей (когда процесс уже внедрен) или перспективной (до начала производства). Близко с Вашими рассуждениями

Если я правильно понял, в данном случае валидация есть получение подтверждений, что, грубо говоря, на выходе процесса получится именно димедрол, а не пурген. Но вовсе не то, что этот димедрол будет лечить голову, а не что-то другое Smile

То есть априори предполагается, что данный препарат имеет нужный лечебный эффект, а задача валидации - удостовериться, что технологический процесс верный. Так?

Жуков.Г писал(а):

Нужно в первую очередь исходить из требований ГОСТов 15.101, и 15.201

И всё-таки хотелось бы увидеть КОНКРЕТНЫЕ примеры, а не ссылки.

kiav писал(а):

Если я правильно понял, в данном случае валидация есть получение подтверждений, что, грубо говоря, на выходе процесса получится именно димедрол, а не пурген. Но вовсе не то, что этот димедрол будет лечить голову, а не что-то другое Smile

То есть априори предполагается, что данный препарат имеет нужный лечебный эффект, а задача валидации - удостовериться, что технологический процесс верный. Так?

Это когда вы в аптеке покупаете "серые" таблетки то вам там валидируют, что голова болеть не будет ( просто если кашлянешь после пургена то ....)
А воообще-то, на серьезном производстве ,тем более в фармацевтике, существует масса контролей начиная от исследований и постановки на производство и кончая приемочными испытаниями которые и позволяют утверждать (валидировать), что продукция соотвествует установленным требованиям и прошла испытания (верифицирована)

Господа!
Валидация процессов производства лекарственных средств никоим образом не может гарантировать их необходимый фармакологический эффект! Валидация техпроцессов необходима для доказательства получения такого выхода процесса, который и ожидается получить. Например: процесс смешивания ингредиентов для таблетирования при определенных условиях (температура, время перемешивания, влажность компонентов, тип мешалки и т.д.) на выходе с большой вероятностью (конкретной) будет давать смесь с определенными характеристиками (органолептическими, физико-хиическими, микробиологическими и т.д. - цвет, запах, сыпучесть, прессуемость, количественное содержание компонентов, однородность и т.д.). Фармакологическая активность препарата изучается еще во время доклинических и клинических исследований, задолго до постановки на производство. Гарантия того, что препарат соответствует требованиям достигается через комплекс мероприятий и включает как валидацию процессов, так и многочисленный контроль, который, хотя и многочисленный, не имеет решающей роли, ведь он НЕ СПЛОШНОЙ, а ВЫБОРОЧНЫЙ! Поэтому система качества фармпредприятий, как и любых других, должна быть направлена на обеспечение качества на всех этапах производства, на предупреждение несоответствий, а не на их фиксацию и коррекцию. Именно такой смысл заложен в термин "валидация" во всем мире, по крайней мере в фармацевтике.