Краткая аннотация
О документе
Подходы к проверке данных, источников и связей внутри цифрового архива.
Инструменты_валидации_Архив_и_Интеллектуальная_система.pptx
Загружаем документ…
и интеллектуальная система
ВАЛИДАЦИЯ = ПРИГОДНОСТЬ ДЛЯ ЦЕЛИ
ВЕРИФИКАЦИЯ = ПРАВДИВОСТЬ УТВЕРЖДЕНИЯ
Подготовлено для Сергея Леонидовича
Рабочая версия • 26 августа 2026 года
РАЗДЕЛ 01
Что предлагается утвердить
Единая система доказательности для объектов, данных, экспертиз, моделей ИИ и заявлений об эффекте.
Валидация должна быть встроена в жизненный цикл объекта и решения: от приёма материала до публикации, повторного исследования и пересмотра вывода.
| № | Решение | Содержание |
|---|---|---|
| 1 | Разделить операции | Идентификация, испытание, валидация, верификация, сертификация и аккредитация имеют разные предметы и полномочия. |
| 2 | Создать реестр VAL | Каждый инструмент получает код, владельца метода, входы, критерии, доказательства, срок действия и правила повторной проверки. |
| 3 | Ввести паспорт валидации | Решение связывается с объектом, утверждением, методом, экспертом, версией данных и журналом событий. |
| 4 | Использовать критические шлюзы | Оценочный балл не может компенсировать отсутствие происхождения, целостности, прав или компетентного проверяющего. |
| 5 | Разделить исполнение и решение | Автоматизация готовит доказательства; уполномоченный человек принимает и подписывает решение. |
| 6 | Проводить независимую проверку | Высокорисковые утверждения и публичные заявления проверяются стороной без конфликта интересов. |
РАЗДЕЛ 02
Термины и границы
Сначала определяется вид подтверждения, затем выбираются метод и полномочия.
| Операция | Предмет | Пример результата |
|---|---|---|
| Идентификация | Установление того, что объект или субъект однозначно определён. | Паспорт, устойчивый ID, авторитетная запись. |
| Проверка / контроль | Сопоставление результата с конкретным правилом или критерием. | Контрольная сумма совпала; поле заполнено. |
| Испытание | Определение характеристик по установленной процедуре. | Состав материала, прочность, спектр, состояние. |
| Калибровка | Установление связи показаний с эталонными значениями и неопределённостью. | Свидетельство и прослеживаемость измерения. |
| Валидация | Подтверждение правдоподобия и пригодности утверждения для предполагаемого будущего использования. | Метод пригоден для датировки данного типа образца. |
| Верификация | Подтверждение, что утверждение правдиво и корректно сформулировано по заданным требованиям. | Отчёт соответствует исходным данным и методу. |
| Сертификация | Подтверждение соответствия третьей стороной в рамках установленной схемы. | Применяется только при наличии схемы и полномочий. |
| Аккредитация | Официальное признание компетентности органа или лаборатории. | Не заменяет проверку конкретного объекта. |
РАЗДЕЛ 03
Объект валидации — не вещь, а утверждение
Один объект может иметь несколько утверждений с разными методами, рисками и сроками действия.
- Объект. Физическая единица, цифровой файл, набор данных, модель, документ, коллекция или процесс.
- Утверждение. Конкретная проверяемая формулировка: «создан в 1957 году», «файл неизменён», «метод воспроизводим».
- Цель использования. Хранение, научное исследование, публикация, реставрация, судебное доказательство, обучение модели.
- Критерий. Измеримое условие принятия, допустимый диапазон, правило полноты или экспертный стандарт.
- Доказательство. Наблюдение, документ, измерение, журнал, контрольная сумма, независимое заключение или воспроизведение.
- Решение. Принято, принято с условиями, отклонено, не применимо или требуется повторная проверка.
| Элемент | Пример |
|---|---|
| Утверждение | Архивный цифровой мастер соответствует принятому оригиналу. |
| Методы | Контрольная сумма, журнал оцифровки, визуальный контроль, контроль цветопередачи. |
| Критерий | Совпадение fixity; комплектность; отсутствие необъяснённых изменений; допустимые параметры качества. |
| Решение | Принято для долговременного хранения; производные создаются только из утверждённого мастера. |
РАЗДЕЛ 04
Восемь доменов валидации
Доверие возникает только при совместном прохождении предметных и сквозных проверок.
| Код | Домен | Что подтверждается |
|---|---|---|
| D1 | Идентичность и происхождение | Кто, что, когда, где; цепочка владения и хранения. |
| D2 | Научная обоснованность | Метод, атрибуция, рецензирование, воспроизводимость. |
| D3 | Физическое состояние | Осмотр, материалы, повреждения, реставрация, условия хранения. |
| D4 | Цифровая целостность | Fixity, формат, пакет, копии, восстановление, миграция. |
| D5 | Измерения и данные | Отбор проб, калибровка, неопределённость, лабораторная компетентность. |
| D6 | Права, этика и безопасность | Правовые основания, доступ, персональные и чувствительные сведения. |
| D7 | ИИ и алгоритмы | Данные, метрики, устойчивость, объяснимость, человеческий контроль. |
| D8 | Эффект и публичные заявления | Базовая линия, причинность, показатели, независимая верификация. |
РАЗДЕЛ 05
Уровни доказательности V0–V4
Уровень описывает силу подтверждения, а не «ценность» объекта.
| Уровень | Статус | Минимум доказательств | Допустимое использование |
|---|---|---|---|
| V0 | Не проверено | Есть заявление или материал, но происхождение и метод не подтверждены. | Не публиковать как факт. |
| V1 | Автоматическая проверка | Формат, полнота, контрольная сумма, правила, машинные подсказки. | Предварительный статус. |
| V2 | Проверка хранителем | Комплектность, связь с фондом, права, журнал приёма, визуальный контроль. | Внутреннее использование. |
| V3 | Профильная экспертиза | Компетентный специалист подтвердил метод, атрибуцию и ограничения. | Научное/публичное использование. |
| V4 | Независимая верификация | Воспроизведение, межлабораторное сравнение или третья сторона без конфликта. | Высокорисковые решения и заявления. |
РАЗДЕЛ 06
Реестр инструментов VAL: происхождение и наука
Каждый инструмент имеет владельца методики, версию, область применимости и шаблон доказательства.
| Код | Инструмент | Основное доказательство |
|---|---|---|
| VAL-01 | Аудит идентификационной записи | ID, обязательные поля, дубликаты, версия. |
| VAL-02 | Проверка цепочки происхождения | Документы передачи, владельцы, хранители, разрывы. |
| VAL-03 | Сверка авторитетных записей | Персоны, организации, варианты имён, даты. |
| VAL-04 | Временная и географическая проверка | Датировка, координаты, исторические границы, источник. |
| VAL-05 | Профильная атрибуционная экспертиза | Авторство, школа, типология, научный контекст. |
| VAL-06 | Независимое рецензирование | Второй эксперт, конфликт интересов, разногласия. |
| VAL-07 | Протокол воспроизводимости | Данные, код, оборудование, параметры, результат. |
| VAL-08 | Сопоставление с эталонной коллекцией | Референсные объекты, признаки, отклонения. |
РАЗДЕЛ 07
Реестр инструментов VAL: измерения и сохранность
Технические проверки должны быть повторяемыми и оставлять машиночитаемый журнал.
| Код | Инструмент | Основное доказательство |
|---|---|---|
| VAL-09 | План отбора проб | Генеральная совокупность, способ отбора, репрезентативность. |
| VAL-10 | Бюджет неопределённости | Источники погрешности, расчёт, допустимый диапазон. |
| VAL-11 | Проверка калибровки | Свидетельство, срок, эталон, прослеживаемость. |
| VAL-12 | Межлабораторное сравнение | Слепые образцы, сопоставление результатов, отклонения. |
| VAL-13 | Проверка fixity | SHA-256/согласованный алгоритм, дата, копия, результат. |
| VAL-14 | Валидация формата | Соответствие спецификации, профиль, ошибки, версия валидатора. |
| VAL-15 | Проверка пакета передачи | Манифест, комплектность, структура, BagIt/профиль пакета. |
| VAL-16 | Контрольное восстановление | Изолированная копия, время, полнота, пригодность результата. |
РАЗДЕЛ 08
Реестр инструментов VAL: права, ИИ и эффект
Автоматизация и публичные заявления требуют самостоятельных линий проверки.
| Код | Инструмент | Основное доказательство |
|---|---|---|
| VAL-17 | Матрица прав и лицензий | Правообладатель, основание, территория, срок, производные. |
| VAL-18 | Этическая и приватностная оценка | Чувствительность, согласия, минимизация, вред. |
| VAL-19 | Проверка полномочий доступа | Роль, цель, решение, срок, журнал выдачи. |
| VAL-20 | Паспорт данных и модели | Происхождение датасета, ограничения, версия модели, назначение. |
| VAL-21 | Набор TEVV-тестов | Тестирование, оценка, верификация и валидация в контексте применения. |
| VAL-22 | Тест устойчивости и смещений | Срезы, крайние случаи, атаки, ошибки, неравномерность. |
| VAL-23 | Журнал человеческого решения | Предложение ИИ, уверенность, проверяющий, итог, основание. |
| VAL-24 | Мониторинг модели и инцидентов | Дрейф, качество, жалобы, остановка, повторная валидация. |
| VAL-25 | Базовая линия эффекта | Исходное состояние, период, территория, источник данных. |
| VAL-26 | Паспорт показателя | Определение, формула, единица, источник, периодичность. |
| VAL-27 | Проверка причинного вклада | Альтернативы, внешние факторы, допущения, контрфактическая логика. |
| VAL-28 | Независимая верификация заявления | Выборка доказательств, существенность, заключение третьей стороны. |
РАЗДЕЛ 09
Паспорт валидации
Паспорт превращает заключение из текста в воспроизводимую и проверяемую запись.
| Блок | Обязательные поля |
|---|---|
| Идентификаторы | ID паспорта, объекта, утверждения, фонда, версии. |
| Назначение | Цель использования, аудитория, последствия ошибки. |
| Область | Что включено и исключено; период, территория, выборка. |
| Критерии | Нормы, пороги, допуски, обязательные шлюзы. |
| Метод | Код VAL, версия методики, оборудование, ПО, модель. |
| Входы | Файлы, документы, пробы, реестровые записи, контрольные суммы. |
| Исполнители | Роли, компетенции, организация, независимость, конфликт интересов. |
| Результаты | Наблюдения, измерения, отклонения, неопределённость. |
| Решение | Статус, уровень V0–V4, условия, ограничения, срок действия. |
| Прослеживаемость | Подпись, дата, журнал события, ссылки на доказательства и последующие проверки. |
РАЗДЕЛ 10
Процесс: восемь контрольных точек
Маршрут зависит от риска, но решение всегда должно быть отделено от подготовки доказательств.
| Шаг | Действие | Выход |
|---|---|---|
| 1 | Регистрация утверждения | Объект, формулировка, цель, владелец. |
| 2 | Оценка риска | Последствия ошибки, обратимость, публичность, чувствительность. |
| 3 | Назначение схемы | Домены, инструменты VAL, уровень V, критические шлюзы. |
| 4 | Автоматический предконтроль | Полнота, формат, fixity, дубликаты, подсказки ИИ. |
| 5 | Предметная проверка | Хранитель, лаборатория или профильный эксперт. |
| 6 | Независимая верификация | При высоком риске — третья сторона или воспроизведение. |
| 7 | Решение и публикация | Статус, условия, подпись, машиночитаемая запись. |
| 8 | Мониторинг и пересмотр | Срок, событие-триггер, инцидент, новая версия данных или метода. |
РАЗДЕЛ 11
Критические шлюзы и итоговое решение
Балльная модель помогает сравнивать полноту, но не отменяет обязательные условия.
| Шлюз | Условие | Критерий прохождения |
|---|---|---|
| G1 | Идентичность | Объект и версия однозначно определены. |
| G2 | Происхождение | Есть достаточная цепочка происхождения или явно зафиксированный разрыв. |
| G3 | Целостность | Доказано отсутствие необъяснённых изменений в проверяемой версии. |
| G4 | Права и безопасность | Есть основание на хранение, обработку и заявленный режим использования. |
| G5 | Компетентность | Метод выполнил и решение принял уполномоченный специалист. |
| G6 | Прослеживаемость | Доказательства, версии, замечания и решение доступны для аудита. |
| Статус | Смысл |
|---|---|
| ПРИНЯТО | Все обязательные шлюзы пройдены; критерии выполнены. |
| ПРИНЯТО С УСЛОВИЯМИ | Есть некритические отклонения; назначены ограничения и срок устранения. |
| ТРЕБУЕТСЯ ПРОВЕРКА | Недостаточно доказательств или необходим независимый уровень. |
| ОТКЛОНЕНО | Критический шлюз не пройден или утверждение опровергнуто. |
| НЕ ПРИМЕНИМО | Метод или критерий неприменим к утверждению; причина документирована. |
РАЗДЕЛ 12
Научная и лабораторная валидация
Компетентность лаборатории важна, но результат остаётся связанным с методом, пробой и неопределённостью.
- До измерения. Определить вопрос, матрицу образца, выборку, метод, пределы обнаружения, допустимую неопределённость и контрольные материалы.
- Во время. Зафиксировать оборудование, калибровку, условия, оператора, отклонения, холостые и контрольные пробы.
- После. Проверить расчёты, неопределённость, выбросы, цепочку данных, повторяемость и пригодность для заявленной интерпретации.
- Независимо. Для критических выводов использовать вторую лабораторию, межлабораторное сравнение или слепую повторную пробу.
РАЗДЕЛ 13
Цифровая и архивная валидация
Цифровая сохранность доказывается не наличием резервной копии, а регулярными событиями проверки и восстановления.
| Этап | Инструменты доказательства |
|---|---|
| Приём | Манифест, комплектность, антивирусная проверка, fixity, журнал передачи. |
| Формат | Идентификация и валидация формата, профиль, технические зависимости. |
| Хранение | Несколько копий, разные среды, контроль доступа, регулярная проверка fixity. |
| Миграция | Сохранение исходного мастера, сравнение свойств до/после, документированное событие. |
| Восстановление | Периодическое испытание копии, измерение RTO/RPO, проверка пригодности. |
| Доступ | Выдаётся определённая версия; производные связаны с мастером и условиями использования. |
РАЗДЕЛ 14
Валидация интеллектуальной системы
ИИ проверяется в контексте применения, на данных, похожих на реальные, и под непрерывным контролем после запуска.
| Контур | Минимальная проверка |
|---|---|
| Назначение | Для какой задачи модель допустима; какие решения ей запрещены. |
| Данные | Происхождение, лицензии, качество, срезы, утечки, репрезентативность. |
| Базовый уровень | Сравнение с человеком, правилом или более простой системой. |
| Качество | Точность, полнота, калибровка уверенности, ошибки по типам объектов. |
| Устойчивость | Шумы, неполные входы, редкие случаи, смена формата, атаки. |
| Справедливость | Различия ошибок по релевантным группам и языкам; оценка вреда. |
| Объяснимость | Показываются источники, версия модели, уверенность и границы вывода. |
| Человек | Критические выводы подтверждаются; несогласие и причина сохраняются. |
| Мониторинг | Дрейф, инциденты, жалобы, пороги остановки, повторная валидация. |
РАЗДЕЛ 15
Независимость, компетентность и конфликт интересов
Сила заключения зависит не только от метода, но и от того, кто имел право его применять и принимать решение.
| Роль | Ответственность | Ограничение |
|---|---|---|
| Владелец утверждения | Формулирует цель и предоставляет доказательства. | Не принимает независимое решение. |
| Оператор проверки | Применяет метод, фиксирует наблюдения и отклонения. | Не изменяет критерии после результата. |
| Профильный эксперт | Интерпретирует данные и оценивает научную достаточность. | Декларирует компетенции и конфликт. |
| Верификатор | Независимо проверяет утверждение и существенные доказательства. | Не участвовал в создании проверяемого результата. |
| Владелец схемы VAL | Утверждает методы, уровни, формы и квалификацию. | Не вмешивается в единичное решение без протокола. |
| Апелляционная комиссия | Рассматривает спор, новые доказательства и процессуальные нарушения. | Организационно отделена от первичного решения. |
РАЗДЕЛ 16
Минимальный комплект форм и журналов
Инструмент считается внедрённым только после появления владельца, формы, записи и процедуры пересмотра.
| Код | Форма | Ключевые поля |
|---|---|---|
| F-VAL-01 | Заявка на валидацию | Утверждение, цель, риск, требуемый срок. |
| F-VAL-02 | План проверки | Методы, выборка, критерии, роли, независимость. |
| F-VAL-03 | Лист наблюдений | Факты, измерения, отклонения, ссылки на доказательства. |
| F-VAL-04 | Заключение | Статус, уровень V, ограничения, срок, подпись. |
| F-VAL-05 | Декларация конфликта | Связи, интересы, меры управления. |
| F-VAL-06 | Протокол разногласий | Позиции экспертов, дополнительные проверки, решение. |
| F-VAL-07 | Журнал ИИ-решений | Модель, версия, вход, ответ, уверенность, человек, итог. |
| F-VAL-08 | Журнал мониторинга | События, дрейф, инциденты, жалобы, корректирующие действия. |
| F-VAL-09 | Протокол повторной проверки | Триггер, изменившиеся данные/метод, новый статус. |
РАЗДЕЛ 17
Пилот внедрения на 12 месяцев
Пилот должен проверить не число выданных заключений, а качество прослеживаемости и способность воспроизвести решение.
| Срок | Фаза | Результат |
|---|---|---|
| 0–2 | Проектирование | Утвердить термины, домены, уровни V, критические шлюзы и владельцев схем. |
| 3–4 | Методы и формы | Описать 28 инструментов VAL; запустить паспорт, журналы и конфликт интересов. |
| 5–7 | Три потока | Научный объект, цифровой пакет и ИИ-функция; не менее 30 утверждений. |
| 8–9 | Независимая проверка | Повторить выборку решений внешними экспертами; испытать апелляцию. |
| 10–11 | Автоматизация | Интегрировать реестры, fixity, валидаторы форматов и журнал ИИ. |
| 12 | Аудит и масштаб | Проверить восстановимость доказательств, ошибки, сроки и решение о расширении. |
| Показатель | Как измерять |
|---|---|
| Прослеживаемость | Доля решений, для которых восстановлен полный пакет доказательств. |
| Воспроизводимость | Доля выборки, где независимая сторона получила сопоставимый результат. |
| Согласованность | Расхождение экспертов по типам утверждений и причинам. |
| Скорость | Медианное время по уровням риска без сокращения обязательных проверок. |
| Качество ИИ | Доля принятых/отклонённых подсказок и ошибки после человеческой проверки. |
| Исправления | Срок закрытия замечаний и повторяемость первопричин. |
РАЗДЕЛ 18
Нормативная опора и источники
Стандарты используются как основа проектирования; применимость и обязательность определяются отдельно для каждого процесса.
[S1] ISO/IEC 17029:2019 — validation and verification bodies
[S2] ISO/IEC 17025:2017 — testing and calibration laboratories
[S3] ISO 14721:2025 — OAIS reference model
[S4] Library of Congress — PREMIS
[S5] W3C Recommendation — PROV-O
[S6] NIST — AI Risk Management Framework 1.0
[S7] NIST — TEVV-Athlon initial public draft notice
[S8] IETF RFC 8493 — BagIt File Packaging Format
Исходные материалы
Оригиналы и версии документа
- Инструменты_валидации_Архив_и_Интеллектуальная_система.docxDOCX · основной документ
- Инструменты_валидации_Архив_и_Интеллектуальная_система.pptxPPTX · связанная версия
Другие редакции в веб-формате
Каждая версия раскрывается отдельно; последовательность исходного документа сохранена.
ИНСТРУМЕНТЫ ВАЛИДАЦИИИнструменты_валидации_Архив_и_Интеллектуальная_система.pptx · веб-текст+
Доказательная система для академических реестров, лабораторий, цифрового архива и ИИ
УТВЕРЖДЕНИЕ
× ДОКАЗАТЕЛЬСТВА
× КОМПЕТЕНТНОСТЬ
× НЕЗАВИСИМОСТЬ
Проверяем не «объект вообще», а конкретное утверждение — для заданной цели, по зафиксированным критериям и доказательствам.
РЕЕСТР VAL-01—VAL-28
Универсального «сертификата достоверности» не существует
ПРОЕКТНАЯ СИСТЕМА
Корректное решение всегда ограничено пятью параметрами.
УТВЕРЖДЕНИЕ
Что именно подтверждается?
Формула решения
МЕТОД
Как получены доказательства?
«Принято для…»
«При условиях…»
«Действительно до…»
«Основано на…»
КОМПЕТЕНТНОСТЬ
Кто вправе оценивать?
ДАТА
На какой момент верен вывод?
ЦЕЛЬ
Для какого использования?
Решение без области применимости создаёт ложное ощущение абсолютной гарантии.
Четыре разных действия — четыре разных результата
ЕДИНЫЙ СЛОВАРЬ
ИСПЫТАНИЕ
ВАЛИДАЦИЯ
ВЕРИФИКАЦИЯ
СЕРТИФИКАЦИЯ
измеряет свойство или характеристику
оценивает правдоподобие для будущего применения
подтверждает истинность уже заявленного
подтверждает соответствие заданным требованиям
РЕЗУЛЬТАТ
РЕЗУЛЬТАТ
РЕЗУЛЬТАТ
РЕЗУЛЬТАТ
протокол испытаний
заключение о пригодности
заключение о соответствии фактам
сертификат в установленной схеме
Аккредитация оценивает компетентность органа или лаборатории — она не заменяет проверку конкретного объекта.
Объект валидации — проверяемое утверждение
ПРОЕКТНАЯ СИСТЕМА
ОБЪЕКТ
УТВЕРЖДЕНИЕ
ЦЕЛЬ
КРИТЕРИЙ
ДОКАЗАТЕЛЬСТВА
РЕШЕНИЕ
документ, образец, данные, модель
что именно считается верным
какое решение будет принято
что считается достаточным
какие записи подтверждают вывод
статус, ограничения, срок
ПРИМЕР
Не «рукопись подлинна», а: «рукопись создана не позднее 1954 года и пригодна как источник для публикации каталога при сохранении оговорённых ограничений».
Восемь доменов валидации
ПРОЕКТНАЯ СИСТЕМА
ИДЕНТИЧНОСТЬ
ПРОИСХОЖДЕНИЕ
что это и не подмена ли
откуда, кем и когда передано
НАУЧНАЯ ОБОСНОВАННОСТЬ
МЕТРОЛОГИЯ
метод, выборка, воспроизводимость
калибровка и неопределённость
ЦИФРОВАЯ СОХРАННОСТЬ
ПРАВА И ЭТИКА
целостность, формат, восстановление
основания, ограничения, согласия
ИИ И ДАННЫЕ
ЭФФЕКТ И ПРИГОДНОСТЬ
качество, робастность, смещения
результат для заявленной цели
Пять уровней доказательности V0–V4
ВНУТРЕННЯЯ ШКАЛА
НЕ ЗАЯВЛЕНО
САМОПРОВЕРКА
ВНУТРЕННИЙ КОНТРОЛЬ
НЕЗАВИСИМАЯ ЭКСПЕРТИЗА
ПРИЗНАННАЯ СХЕМА
нет проверяемого основания
автор и проверяющий совпадают
вторая роль внутри организации
внешний компетентный эксперт
аккредитованный или нормативный контур
Уровень выбирают по риску решения. V4 требуется не всегда; опасно другое — выдавать V1 или V2 за независимое подтверждение.
Реестр VAL: 28 инструментов
ЕДИНАЯ НУМЕРАЦИЯ
VAL-01—08
ПРОИСХОЖДЕНИЕ И НАУКА
идентификация • цепочка владения • библиография • атрибуция • экспертное заключение • выборка • статистика • воспроизводимость
VAL-09—16
ИЗМЕРЕНИЯ И СОХРАННОСТЬ
калибровка • неопределённость • межлабораторное сравнение • контрольная проба • fixity • формат • пакет передачи • тест восстановления
VAL-17—24
ПРАВА И ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА
правовой чек-лист • этика • лицензии • паспорт данных • паспорт модели • TEVV • смещения и робастность • человеческое решение
VAL-25—28
ЭФФЕКТ И УПРАВЛЕНИЕ
реестр рисков • показатели результата • постконтроль • повторная валидация
Каждый код связывает метод, исполнителя, доказательства, версию и принятое решение.
Паспорт валидации — 10 обязательных блоков
ПРОЕКТНАЯ СИСТЕМА
ID и версия
объект и утверждение
цель и область применения
критерии принятия
методы VAL
доказательства и ссылки
исполнители и компетенции
конфликты интересов
решение, условия и срок
события и повторная проверка
Паспорт обеспечивает трассируемость: от итогового статуса — к каждому использованному доказательству.
Восемь контрольных точек
СКВОЗНОЙ ПРОЦЕСС
ЗАЯВКА
СКОПИНГ
ПЛАН
СБОР
утверждение и цель
риски и уровень V
критерии и методы
доказательства и журнал
ОЦЕНКА
НЕЗАВИСИМЫЙ ОБЗОР
РЕШЕНИЕ
МОНИТОРИНГ
достаточность и противоречия
вторая линия контроля
статус и условия
срок и триггеры пересмотра
Шаг нельзя считать завершённым, пока запись, доказательство и ответственная роль не зафиксированы в реестре.
Критические шлюзы G1–G6 и статусы решения
ПРОЕКТНАЯ СИСТЕМА
ПРАВО НА РАБОТУ
ПРИНЯТО
критерии выполнены
ИДЕНТИЧНОСТЬ И ПРОИСХОЖДЕНИЕ
ПРИНЯТО С УСЛОВИЯМИ
ограничения записаны
ДОСТАТОЧНОСТЬ МЕТОДА
ТРЕБУЕТ ДОРАБОТКИ
ЦЕЛОСТНОСТЬ ДОКАЗАТЕЛЬСТВ
нужны дополнительные доказательства
ОТКЛОНЕНО
НЕЗАВИСИМОСТЬ РЕШЕНИЯ
критический шлюз не пройден
ПРИГОДНОСТЬ ДЛЯ ЦЕЛИ
НЕ ПРИМЕНИМО
критерий вне области
Научная и лабораторная валидация
ISO/IEC 17025 КАК ОПОРА
ДО НАЧАЛА
VAL-09
зафиксировать гипотезу, выборку, метод, критерии и план анализа
калибровка и прослеживаемость
ВО ВРЕМЯ РАБОТЫ
VAL-10
калибровка, контрольные образцы, условия среды, журнал отклонений
расчёт неопределённости
ПОСЛЕ ПОЛУЧЕНИЯ ДАННЫХ
VAL-11
неопределённость, статистический анализ, проверка выбросов, повторяемость
межлабораторное сравнение
НЕЗАВИСИМО
VAL-12
межлабораторное сравнение, экспертный обзор, воспроизведение результата
контрольная проба / эталон
Валидируется не «научность вообще», а пригодность метода и результата для конкретного вывода.
Цифровая и архивная валидация
ЦЕЛОСТНОСТЬ ≠ ПОДЛИННОСТЬ
ПРИЁМ
manifest и контрольная сумма
Что доказывает hash?
ФОРМАТ
идентификация и риск устаревания
Он выявляет изменение битов между двумя проверками.
Но сам по себе не доказывает автора, дату создания, правомерность или смысл документа.
ПАКЕТ
состав, структура, метаданные
ХРАНЕНИЕ
репликация и регулярный fixity-check
МИГРАЦИЯ
сравнение до/после и журнал события
ВОССТАНОВЛЕНИЕ
тестовое извлечение и открытие
Минимальный контур: OAIS + PREMIS + пакет передачи + журнал событий + тест восстановления.
Валидация интеллектуальной системы
TEVV + ЧЕЛОВЕЧЕСКОЕ РЕШЕНИЕ
ДАННЫЕ
МОДЕЛЬ
ЭКСПЛУАТАЦИЯ
происхождение и лицензии
назначение и границы
человек подтверждает вывод
качество разметки
метрики на целевых сценариях
журнал входов и решений
репрезентативность
робастность и смещения
мониторинг дрейфа
чувствительные поля
версия и конфигурация
триггеры остановки
Запретительный принцип: ИИ не публикует каноническую атрибуцию и не снимает ограничения доступа без ответственного человека.
Независимость и распределение ролей
ПРОЕКТНАЯ СИСТЕМА
ВЛАДЕЛЕЦ УТВЕРЖДЕНИЯ
формулирует цель и предоставляет материалы
Обязательные ограничения
ИСПОЛНИТЕЛЬ
проводит испытание или собирает доказательства
• декларировать конфликт интересов
• не совмещать критические роли
• подтверждать компетентность
• документировать особое мнение
• сохранять неизменяемый журнал
ЭКСПЕРТ
оценивает достаточность и противоречия
ЛИЦО, ПРИНИМАЮЩЕЕ РЕШЕНИЕ
утверждает статус и ограничения
ХРАНИТЕЛЬ РЕЕСТРА
обеспечивает версионность и аудит
Чем выше риск решения, тем сильнее должны быть независимость и доказательства компетентности.
Комплект из девяти форм F-VAL
ОПЕРАЦИОННЫЙ МИНИМУМ
F-VAL-01
F-VAL-02
F-VAL-03
Заявка и утверждение
План валидации
Реестр доказательств
F-VAL-04
F-VAL-05
F-VAL-06
Лист испытаний
Экспертное заключение
Декларация независимости
F-VAL-07
F-VAL-08
F-VAL-09
Протокол решения
План корректирующих действий
Лист мониторинга и пересмотра
Формы образуют одну цепочку: заявка → план → доказательства → оценка → решение → мониторинг.
Пилот на 12 месяцев
РЕШЕНИЕ О ЗАПУСКЕ
8–10
11–12
ПРАВИЛА
ОБУЧЕНИЕ
ТРИ КЕЙСА
НЕЗАВИСИМЫЙ ОБЗОР
МАСШТАБИРОВАНИЕ
политика, роли, реестры, формы
команда и калибровка экспертов
архивный, лабораторный, ИИ
проверка решений и пробелов
отчёт и решение учредителя
100%
≤ 10 дней
паспортов без критических пробелов
решений со ссылками на доказательства
публикаций ИИ без человеческого подтверждения
медианный срок простого кейса
Запускать пилот после утверждения владельца реестра, матрицы полномочий и перечня критических шлюзов.
Источники, указанные в презентации 23
- Внутренняя проектная модель «Архива сохранения наследия», 2026.
- ISO/IEC 17029:2019, Conformity assessment — General principles and requirements for validation and verification bodies: https://www.iso.org/standard/29352.html
- Внутренняя проектная модель, 2026.
- ISO/IEC 17029:2019: https://www.iso.org/standard/29352.html
- ISO/IEC 17025:2017: https://www.iso.org/ISO-IEC-17025-testing-and-calibration-laboratories.html
- Внутренняя проектная модель «Объект валидации — проверяемое утверждение», 2026.
- ISO 14721:2025 OAIS: https://www.iso.org/standard/87471.html
- PREMIS, Library of Congress: https://www.loc.gov/standards/premis/index.html
- NIST AI RMF: https://www.nist.gov/itl/ai-risk-management-framework
- Внутренняя шкала доказательности V0–V4. Это проектная модель, а не международный стандарт.
- Внутренний реестр VAL-01—VAL-28, разработанный для проекта, 2026.
- W3C PROV-O: https://www.w3.org/TR/prov-o/
- Внутренняя форма паспорта валидации, 2026.
- Внутренняя восьмиэтапная процедура, 2026.
- Внутренняя модель шлюзов G1–G6 и статусов решения, 2026.
- Внутренний реестр VAL-09—VAL-12, 2026.
- RFC 8493 BagIt: https://datatracker.ietf.org/doc/html/rfc8493
- NIST AI RMF 1.0: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-ai-rmf-10
- NIST TEVV-Athlon: https://www.nist.gov/artificial-intelligence/ai-research/tevv-athlon-framework-evaluating-ai-systems
- Внутренний реестр VAL-20—VAL-24, 2026.
- Внутренняя модель ролей и независимости, 2026.
- Внутренний комплект форм F-VAL-01—F-VAL-09, 2026.
- Внутренний план пилота на 12 месяцев и проектные показатели, 2026.
