Опубликовано: 28.04.2026 | Источник: The Verge (IT)

OpenAI и риски ИИ: как исследовать безопасность моделей в дипломе

Флорида запустила расследование против OpenAI по поводу угроз национальной безопасности и общественной безопасности. Атторней-генерал штата Джеймс Утмайер заявил, что технологии ChatGPT могут использоваться для генерации запрещённого контента — от материалов, связанных с сексуальным насилием над детьми, до инструкций по самоповреждению и даже поддержки террористических актов. Также есть опасения, что данные и архитектура моделей могут быть скомпрометированы и использоваться в интересах иностранных государств, включая Китай.

Этот случай — не просто политический инцидент. Это сигнал для всех, кто работает с искусственным интеллектом: безопасность, аудит и контроль доступа к ИИ-системам становятся критическими аспектами архитектуры. Для студентов технических специальностей это открывает возможности создать ВКР, который не только соответствует ГОСТ, но и решает реальные, актуальные проблемы. Вместо абстрактных «систем на основе нейросетей» вы можете предложить архитектуру с контролем доступа, аудитом генерации, интеграцией с системами DLP и оценкой рисков — всё это подкреплённое реальными кейсами и метриками.

Темы для дипломного проекта на основе кейса

1. Система контроля и аудита генерации контента в ИИ-ассистентах

Актуальность: Событие в Флориде показало, что ИИ-модели могут генерировать опасный контент. Без механизмов фильтрации и аудита такие системы становятся уязвимыми.

Цель: Разработка архитектуры, позволяющей контролировать и фиксировать генерацию контента в ИИ-системах с последующим анализом на предмет нарушений.

Задачи:

• Анализ уязвимостей LLM-моделей (prompt injection, jailbreak, data leakage)
• Проектирование промежуточного слоя фильтрации (content moderation gateway)
• Интеграция с системами DLP и SIEM (например, Wazuh + OpenSearch)
• Реализация журналирования и аудита запросов/ответов с метками риска

Структура:

• Глава 1 — Анализ угроз и существующих решений (по ISO/IEC 25010, NIST AI RMF)
• Глава 2 — Проектирование архитектуры шлюза модерации (UML, диаграммы последовательности)
• Глава 3 — Тестирование, оценка задержек, экономика внедрения (RTO, RPO, TCO)

2. Архитектура изолированного ИИ-ядра для государственных и критических систем

Актуальность: Утечка данных или использование ИИ в интересах иностранных государств — прямой риск, о котором говорит расследование Флориды.

Цель: Создание защищённой, автономной ИИ-платформы с контролем доступа и аудитом на всех уровнях.

Задачи:

• Анализ моделей развертывания: облачные vs on-premise vs hybrid
• Проектирование изолированной среды (air-gapped) с локальным LLM (например, Llama 3 8B)
• Реализация аутентификации через PKI и RBAC
• Оценка производительности и задержек при локальной инференции

Структура:

• Глава 1 — Анализ угроз утечки данных и требования ГОСТ 34.101-94
• Глава 2 — Архитектура на базе Kubernetes с NetworkPolicy и Vault
• Глава 3 — Тестирование отказоустойчивости, нагрузки, анализ TCO

3. Оценка рисков внедрения ИИ в образовательные и медицинские учреждения

Актуальность: Использование ИИ для поощрения самоповреждения — прямой вызов этике и безопасности.

Цель: Разработка методики оценки рисков внедрения ИИ в социальные сферы.

Задачи:

• Формализация рисков (по шкале вероятность/влияние)
• Разработка матрицы контрмер (NIST SP 800-30)
• Создание прототипа системы мониторинга поведения пользователей (через OpenTelemetry)
• Расчёт экономического ущерба при инцидентах

Структура:

• Глава 1 — Анализ этических и правовых аспектов (GDPR, ФЗ-152)
• Глава 2 — Методика оценки рисков и архитектура системы контроля
• Глава 3 — Моделирование сценариев, расчёт показателей, рекомендации

Как использовать кейс в дипломе: практическое применение

Аналитическая глава: сравнение решений и обоснование стека

В первой главе вы не просто пересказываете, как работает ИИ. Вы анализируете реальные риски. Например:

• Сравните облачные API (OpenAI, Anthropic) и локальные модели (Llama, Mistral) по критериям: безопасность, задержка, стоимость, контроль данных.
• Обоснуйте выбор стека: например, FastAPI + ONNX Runtime + Redis + Prometheus — для быстрой и контролируемой инференции.
• Ссылайтесь на ISO/IEC 25010 — по шкале «надёжность», «безопасность», «сопровождаемость».

Пример таблицы для сравнения:

Проектная часть: архитектура и интеграция

Во второй главе покажите, как вы проектируете систему, способную предотвратить инциденты, подобные описанным в статье.

Пример архитектуры:

• Пользователь → API Gateway (Auth0) → Content Moderation Layer (на базе BERT-модели) → LLM (Llama 3) → Post-generation filter → Ответ
• Все запросы/ответы — в зашифрованное хранилище (PostgreSQL + pgcrypto)
• Алерты при подозрительных паттернах — в SIEM (Wazuh или ELK)

Используйте UML-диаграммы:

• Диаграмма компонентов — покажите взаимодействие сервисов
• Диаграмма развертывания — где что стоит (Kubernetes, Docker, bare metal)
• Диаграмма последовательности — как проходит запрос с фильтрацией

Пример фрагмента кода (псевдокод фильтра):

def moderate_prompt(prompt: str) -> bool:
    risk_score = bert_classifier(prompt)
    if risk_score > 0.8:
        log_to_siem(prompt, "HIGH_RISK")
        return False
    return True

Тестирование и метрики: как доказать эффективность

В третьей главе — не просто «всё работает», а доказательства. Используйте метрики:

• Время отклика — до и после внедрения фильтра (например, +120 мс)
• Процент блокировок — сколько запросов было остановлено (например, 3.2% от общего числа)
• RTO/RPO — если система упадёт, сколько времени на восстановление (по ГОСТ 34.602-89)
• TCO — сравнение облачного и локального решения за 3 года

Используйте OpenTelemetry для сбора метрик и трассировки. Это покажет, что вы работаете по современным стандартам.

Чему вы научитесь при работе над таким проектом

• Проектировать безопасные архитектуры с учётом угроз из реального мира
• Работать с LLM в изолированных средах (on-premise, air-gapped)
• Оформлять техническую документацию по ГОСТ: ТЗ, ПЗ, схемы
• Измерять и интерпретировать метрики производительности и безопасности
• Обосновывать выбор технологий (не «я выбрал Kubernetes, потому что он крут», а «Kubernetes позволяет контролировать сетевой трафик через NetworkPolicy»)

Как оформить UML-диаграммы в дипломе?

Используйте стандарты UML 2.5. Диаграммы должны быть читаемы: не более 7 компонентов на схеме. Формат — PNG или SVG, разрешение не менее 300 dpi. Подписи — по ГОСТ: «Рисунок 2.1 — Диаграмма компонентов системы».

Обязательно ли писать код в ВКР?

Да, если проект предполагает разработку. Достаточно 300–500 строк ключевого кода (например, ядро фильтрации, API, интеграция). Код — в приложении, с комментариями. Не нужно писать всё, но важно показать, что вы можете реализовать задуманное.

Где брать тестовые данные?

Используйте публичные датасеты: Hugging Face, Kaggle. Для симуляции запросов — генераторы (Faker, Synthea). Для тестов безопасности — готовые наборы prompt-инъекций (например, из проекта promptfoo). Укажите источники в списке литературы.

Как измерить производительность в дипломе?

Используйте нагрузочные тесты (k6, Locust). Метрики: время отклика, количество запросов в секунду, потребление CPU/RAM. Сравните до и после оптимизации. Покажите графики и таблицы — это сильный аргумент на защите.

Источник: Florida launches investigation into OpenAI (опубликовано 2026-04-09)