INDB: когда все лгут, помнит, что вы видели
Современные технологии искусственного интеллекта (ИИ) все больше входят в нашу повседневную жизнь. Однако безопасность ИИ остается одной из самых острых задач в области технологий. Один из ключевых моментов в этой области — система INDB (Инфраструктура для Независимого Доказат...
INDB: Когда все лгут, помнит, что вы видели — Вопрос безопасности искусственного интеллекта
Введение
Современные технологии искусственного интеллекта (ИИ) все больше входят в нашу повседневную жизнь. Однако безопасность ИИ остается одной из самых острых задач в области технологий. Один из ключевых моментов в этой области — система INDB (Инфраструктура для Независимого Доказательства), которая разработана для решения проблем, связанных с ложными данными и несоответствующими наблюдениями. INDB рассматривает вопрос: "когда все лгут, помнит, что вы видели". В этой статье мы исследуем, что именно подразумевается под этим выражением и как это может повлиять на будущее технологий.
Как INDB работает: Действие после записи
ИНДБ и допущения
В любой записи в базу данных (БД) зашито допущение: у факта одно значение. Два несовпадающих наблюдения об одном объекте — конфликт, который положено разрешить до коммита. Это означает, что при записи в базу данных, допущение (или предположение) о том, что "у каждого факта одно значение" должно быть проверено. Если один наблюдатель говорит о существовании объекта, а другой — нет, то это должно быть разрешено. В INDB это делается, приняв сырое наблюдение (вдох), сжав повторы (выдох) и подписать то, что осталось (аксиома).
Проблема лжи
Если один человек видел объект, а другой — нет, то возникает проблема лжи. Любая запись, сделанная в БД, содержит допущение, что фактически происходит одно и то же. При этом, при записи в БД, данные генерирует ваш же код, допущение верное. Но если наблюдения расходятся, то одно из них перекроется другим. Например, человек может сначала изменить состояние файла, а затем записать это в БД. Это создает противоречие, которое INDB не может разрешить моментально.
ИНДБ как средство разрешения конфликтов
INDB стоит на том, что смысл производится при чтении, а не фиксируется при записи. Вместо CRUD (Create, Read, Update, Delete) — три фазы: вдох (принять сырое наблюдение), выдох (сжать повторы и отфильтровать шум репутацией) и аксиома (подписать то, что выжило). Таким образом, INDB не фиксирует запись в БД как факт, а рассматривает ее как допущение, которое может быть переопределено или дополнено другими наблюдениями.
Применение INDB в реальной жизни
Наблюдения в реальности
В реальной жизни наблюдения часто расходятся. Это может происходить из-за разных причин, включая ошибки в оборудовании, неправильные данные в БД или ложные данные. Примером могут служить сенсоры, которые могут отображать разные значения для одного и того же объекта в разных условиях. В этом случае, INDB должен разрешить противоречие, рассматривая оба наблюдения как настоящие и разрешая проблему в момент чтения.
Применение в безопасности ИИ
В контексте безопасности искусственного интеллекта, INDB играет важную роль. Базовые модели ИИ, такие как языковые модели, часто используют допущения, чтобы интерпретировать данные. Если модель не учла все допущения и ошибочные наблюдения, она может дать наивные примеры, которые не соответствуют реальности. Новая среда инженерии и специализированного харнесса помогают преодолеть эти проблемы, обеспечивая более надежные и правдивые результаты.
Как в будущем это может сказаться на технологиях
Процесс инженерии
Процесс инженерии агентов, особенно в области безопасности ИИ, требует объединения языковой модели и специализированного харнесса. Такой подход позволяет устранить гипотезы и неправильные данные, что помогает достичь более стабильных и надежных результатов.
Новые векторы компрометации
В реальности новые векторы компрометации возникают еженедельно. Базовые модели ИИ живут в плену устаревших весов, путают галлюцинации с реальными уязвимостями и не знают о свежих техниках отравления долговременной памяти или эксплойтах в репозиториях моделей. Это означает, что инженерная среда и харнесс становятся всё более важными для обеспечения надежности и безопасности.
Развитие технологий
Впереди нас ждут новые подходы к инженерии агентов, связанные с объединением языковых моделей и специализированных харнессов. Это может включать в себя использование более сложных алгоритмов, таких как INDB, для разрешения проблем с допущениями и ложными наблюдениями, а также использование новых методов инженерии, которые помогут создать более безопасные и надежные системы искусственного интеллекта.
FAQ
1. Что означает "INDB: когда все лгут, помнит, что вы видели"?
INDB рассматривает вопрос о том, как система реагирует на ложные данные или несоответствующие наблюдения. Это означает, что система должна рассматривать все данные как допущения, которые могут быть переопределены или дополнены другими наблюдениями.
2. Как INDB помогает в области безопасности ИИ?
INDB помогает в области безопасности ИИ путем обеспечения надежности и правдивости результатов, что достигается путем объединения языковой модели и специализированного харнесса. Это позволяет устранить гипотезы и неправильные данные и создать более стабильные и надежные системы.
3. Какие последствия могут быть связаны с применением INDB в будущем?
Применение INDB в будущем может привести к более надежным и безопасным системам искусственного интеллекта, созданным путем объединения языковой модели и специализированного харнесса. Это может включать в себя использование новых алгоритмов, таких как INDB, для разрешения проблем с допущениями и ложными наблюдениями, а также использование новых методов инженерии, которые помогут создать более безопасные и надежные системы искусственного интеллекта.
Список источников
[1] [INDB: когда все лгут, помнит, что вы видели](https://habr.com/ru/articles/1073372/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1073372)
[2] [Тот самый харнесс, который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка](https://habr.com/ru/articles/1073370/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1073370)