Консультант
GDPR DPP, GDPR DPM, DPT, CIPP/E
10 важных вопросов, которые юристы должны задать техническим командам о системах ИИ
- 25 октября, 2024
- AI, Законодательства
С появлением Регламента Европейского Союза по ИИ юристы играют ключевую роль в обеспечении того, чтобы компании соблюдали новые правила. Этот закон вводит общие стандарты управления системами ИИ и уделяет особое внимание системам, которые могут оказать значительное влияние на жизнь людей и их права. Многие из вопросов основаны на статьях, которые относятся к системам высокого риска. Тем не менее важно помнить, что даже системы ИИ, которые не подпадают под эту категорию, могут представлять потенциальные угрозы. Понимание того, как они работают, как обрабатывают данные и какие могут возникнуть риски — это неотъемлемая часть общей стратегии защиты прав пользователей и соблюдения законодательства.
Чтобы правильно оценить, насколько система ИИ безопасна, соответствует ли она требованиям Регламента ЕС, нужно задавать техническим командам правильные вопросы.
В этой статье мы рассмотрим 10 важных вопросов, которые юристы могут задать техническим специалистам.
Содержание
Какова цель системы искусственного интеллекта и в каких ситуациях она будет использоваться?
Понимание того, для чего именно предназначена система и как она будет использоваться, крайне важно. Это помогает понять, какие требования закона нужно применять.
Во-первых, это помогает определить, является ли система высокорисковой. Во-вторых, знание цели системы необходимо для оценки того, соответствует ли она требованиям закона по точности, надежности и безопасности. В-третьих, это добавляет прозрачности в понимание возможностей и ограничений ИИ.
Примеры ответов на этот вопрос могут быть такими: система предназначена для анализа медицинских снимков и обнаружения раковых опухолей; она используется для оптимизации логистики на больших складах; система анализирует финансовые данные для выявления мошенничества. Если ИИ используется в таких важных сферах, как здравоохранение или правосудие, то это автоматически указывает на высокие риски и более строгие требования закона.
Как система ИИ обеспечивает качество и релевантность данных, которые используются для ее работы?
Качество и релевантность данных имеют огромное значение: ошибки или недостатки в данных могут привести к неточным результатам или предвзятости.
Почему важно задать этот вопрос?
📎 Соответствие закону: в частности, статья 10 Регламента требует, чтобы для систем высокого риска были установлены четкие процедуры обеспечения качества данных.
📎 Даже если система не относится к группе высокого риска, точность и надежность работы ИИ зависят от того, насколько качественны и репрезентативны данные.
📎 Правильный подход к данным помогает избежать предвзятости в работе системы. Это особенно важно для систем, результаты работы которых могут сильно влиять на жизни людей.
Ответ может включать описание того, откуда собираются данные, как они очищаются и проверяются. Например, могут быть использованы методы обработки выбросов, пропущенных данных и дубликатов. Также важны процедуры проверки данных, например, использование независимых тестовых наборов или перекрестной проверки. Могут применяться инструменты автоматизированного контроля качества данных или регулярно проводиться аудит данных, чтобы убедиться в их актуальности.
Подробно документированные методы контроля качества данных помогут продемонстрировать соблюдение всех правил. Если же таких процессов нет, это может указывать на потенциальные риски и несоответствие требованиям Регламента.
Может ли быть реализован человеческий контроль в работе системы искусственного интеллекта?
Этот вопрос основан на статье 14 Регламента. Он актуален в случае, если ваша система можно отнести к системам высокого риска. Регламент требует, чтобы человек имел возможность контролировать систему ИИ, чтобы минимизировать риски для здоровья, безопасности и основных прав людей.
Задавая этот вопрос, стоит учитывать: реализация эффективного человеческого контроля над системами искусственного интеллекта, особенно над сложными нейронными сетями, приводит к серьезным техническим сложностям.
Современные глубокие нейронные сети часто работают как «черный ящик». Их внутренняя логика принятия решений может быть чрезвычайно сложной и непонятной для человека. Нейронные сети могут содержать миллионы или даже миллиарды параметров. Ее поведение часто является результатом сложных нелинейных взаимодействий между ее компонентами. Отследить влияние каждого параметра на конечный результат практически невозможно без специальных инструментов. Кроме того, нейронные сети могут обрабатывать огромные объемы данных с высокой скоростью. Это затрудняет мониторинг человеком в режиме реального времени.
Без специальных средств эффективный человеческий контроль над сложными системами ИИ действительно практически невозможен. Реализация требований статьи 14 Регламента ЕС об ИИ требует не только организационных мер, но и существенных технических инвестиций в разработку и внедрение соответствующих инструментов и методологий.
Какие возможны ответы на этот вопрос? Например, система может предоставлять интерфейс, через который оператор может следить за ее работой и вмешиваться при необходимости. Может быть внедрена процедура, которая позволяет человеку остановить или отменить действие системы, если что-то идет не так.
Также важно предотвращать ситуации, когда операторы слишком полагаются на решения ИИ. Необходимо предусмотреть механизмы, чтобы человек мог критически оценивать работу системы, не доверяя ей слепо.
Эти меры необходимы для того, чтобы соответствовать статье 14 Регламента ЕС и обеспечить безопасность и надежность ИИ-системы. Четкие механизмы контроля повышают доверие к системе и снижают риски неправильного использования, особенно в тех случаях, когда система может существенно повлиять на жизнь людей.
Какая документация ведется в отношении разработки и эксплуатации системы искусственного интеллекта?
Такая документация важна для прозрачности, чтобы различные заинтересованные стороны — от разработчиков до регулирующих органов — могли понять, как работает система и как она была создана. Кроме того, статья 11 обязывает создавать и поддерживать актуальную техническую документацию. Она необходима для демонстрации того, что система ИИ высокого риска соответствует установленным правилам. Техническая документация также помогает отслеживать процесс создания системы и её жизненный цикл. Это важно для управления рисками и аудита.
В документацию могут быть включены:
📎 Подробное описание архитектуры системы ИИ и её компонентов.
📎 Информация о процессах разработки: использованные методологии, инструменты и этапы.
📎 Спецификации дизайна системы: интерфейсы и их взаимодействие с пользователем.
📎 Подробные сведения о данных, которые использовались для обучения и тестирования моделей ИИ.
📎 Описание алгоритмов и методов машинного обучения, применяемых в системе.
📎 Оценка рисков, связанных с эксплуатацией системы, и меры, принятые для их минимизации.
📎 Журналы операций, фиксирующие ключевые события в работе системы.
📎 Документация, касающаяся тестирования и валидации модели.
📎 Меры по обеспечению кибербезопасности.
📎 Процедуры мониторинга работы системы и её обновления.
Документация должна быть доступной и понятной как для проверяющих органов, так и для организаций, которые внедряют систему. Для малых и средних предприятий допускается более упрощённая форма ведения документации, однако она также должна быть достаточной для выполнения требований закона.
Подкаст "Про Приватность"
Открытая площадка, где прайваси-эксперты обсуждают актуальные вопросы из сферы приватности.
Яндекс.Музыка | Spotify | Google Podcasts | Castbox | Mave
Как система справляется с потенциальной предвзятостью (biases) в процессе принятия решений?
Это необходимо для того, чтобы решения ИИ были справедливыми и не дискриминировали определённые группы людей. Если ИИ принимает решения с предвзятостью, это может нанести вред отдельным группам и привести к юридическим последствиям. Также несправедливые решения могут негативно сказаться на её эффективности и принятии пользователями. Кроме того, статья 10(2)(f) прямо обязывает разработчиков ИИ принимать меры для борьбы с предвзятостью, чтобы их системы соответствовали принципам справедливости и недискриминации.
Для борьбы с предвзятостью существуют несколько подходов и решений. Первый из них — это анализ обучающих данных. Он позволяет выявить потенциальные предвзятости. Путём статистического анализа можно определить, насколько сбалансированы и репрезентативны данные. Регуляризация моделей — ещё один метод, который помогает снизить переобучение модели и уменьшить влияние предвзятых данных. Также существуют специальные алгоритмы, которые позволяют моделям учитывать справедливость при обучении. Это помогает устранить предвзятость на ранних этапах разработки.
После внедрения системы необходимо осуществлять её непрерывный мониторинг, чтобы проверять её работу на наличие предвзятости в реальных сценариях. Для этого могут использоваться инструменты объяснимого ИИ, такие как SHAP или LIME. Они позволяют понять, как система принимает решения, и выявить скрытую предвзятость. Открытые библиотеки предоставляют разработчикам инструменты для выявления и устранения предвзятости в моделях машинного обучения.
Собираются ли в процессе работы системы пользовательские данные? Если да, как они защищаются?
Задается этот вопрос по нескольким причинам. Во-первых, для соблюдения требований законодательства статья 10 требует внедрения надлежащих практик управления данными для систем ИИ высокого риска. Во-вторых, правильное управление данными напрямую влияет на производительность и надежность системы ИИ. Наконец, меры по защите данных должны соответствовать требованиям Европейского регламента по защите данных (GDPR), что также делает этот вопрос актуальным.
На этот вопрос можно ответить, рассматривая несколько ключевых аспектов. Во-первых, необходимо использовать методы анонимизации и псевдонимизации данных, чтобы защитить личные данные пользователей. Во-вторых, следует обеспечить шифрование данных как при хранении, так и при передаче, чтобы предотвратить несанкционированный доступ. Также важны политики контроля доступа к данным и управления правами пользователей, чтобы гарантировать, что только уполномоченные лица имеют доступ к информации. Процессы минимизации данных и ограничения их использования помогают избежать избыточного сбора данных и рисков, связанных с их хранением. Меры по обеспечению целостности и точности данных также имеют большое значение, как и процедуры регулярного аудита и мониторинга обработки данных. Важно также иметь механизмы удаления или обновления устаревших данных, а также процессы получения и управления согласием пользователей на обработку их данных. Дополнительно, необходимо защищать систему от несанкционированного доступа и утечек данных и иметь четкие процедуры обработки запросов пользователей на доступ, исправление или удаление их данных.
Как система обрабатывает пограничные случаи?
Представьте систему ИИ, которую используют для распознавания лиц на входе в офисное здание. В стандартных условиях система проверяет лица сотрудников по базе данных и предоставляет доступ. Однако что происходит, если сотрудник частично закрыт шарфом, носит очки или капюшон? Если система не обучена на таких сценариях, она может либо ошибочно не распознать сотрудника и отказать ему в доступе, либо, что еще хуже, одобрить доступ неавторизованному человеку. В случае сбоя это может привести к серьезным проблемам с безопасностью, а также к дискриминации, если система хуже распознает лица людей с определенными особенностями внешности (например, с темной кожей или различными чертами лица).
Для соответствия требованиям статьи 15 системы ИИ высокого риска должны быть устойчивыми к ошибкам. Также способность системы обрабатывать нестандартные ситуации позволяет оценить ее общую надежность. Правильная обработка пограничных случаев критически важна, чтобы обеспечить безопасное использование ИИ в реальных условиях. Эффективное управление неожиданными входными данными помогает избежать критических сбоев системы.
На вопрос о том, как система обрабатывает пограничные случаи и неожиданные входные данные, вам могут ответить по-разному. Технические специалисты могут описать процедуры тестирования таких случаев, включая методы генерации экстремальных и нестандартных входных данных, чтобы убедиться, что система может справляться с ними. Также может быть предусмотрен процесс валидации входных данных и фильтрации некорректных или потенциально опасных данных.
Разнообразные методы тестирования и обработки нестандартных ситуаций демонстрируют серьезный подход к обеспечению надежности системы. Способность системы адаптироваться к новым типам входных данных подчеркивает ее гибкость и устойчивость к изменениям в реальном мире.
Как система искусственного интеллекта справляется с мультиязычными или межкультурными входными данными?
Способность системы ИИ эффективно функционировать в мультиязычной и межкультурной среде имеет критическое значение для обеспечения справедливости при использовании ИИ на глобальном уровне. В международной среде важно учитывать языковые и культурные различия, чтобы избежать дискриминации и предвзятости.
Для обеспечения многоязычных и межкультурных возможностей системы ИИ применяются различные методы. Используются многоязычные модели обработки естественного языка, которые могут генерировать и понимать текст на нескольких языках. При этом для обучения системы используются разнообразные наборы данных, которые охватывают широкий спектр культурных выражений, что минимизирует предвзятость.
Для повышения точности понимания культурных нюансов в работу над системой могут даже привлекаться лингвисты и культурные эксперты. Это помогает учитывать такие аспекты, как культурные различия в анализе настроений и семантическом разборе. Дополнительно внедряются механизмы для обработки многоязычных ситуаций, когда пользователи переключаются между языками. Системы распознавания речи также часто учитывают различные акценты и диалекты, что делает взаимодействие с ИИ более точным и инклюзивным.
Так или иначе, наличие у системы возможностей работать в многоязычной и межкультурной среде демонстрирует соблюдение принципов недискриминации, закрепленных в Регламенте ЕС.
Каким образом система обновляется?
Система должна адаптироваться к изменениям в окружающей среде и к новым требованиям пользователей. При этом следует учитывать, что статья 43 Регламента ЕС требует проведения новой оценки соответствия в случае значительных изменений в системе. Это нужно для того, чтобы гарантировать, что система по-прежнему соответствует всем необходимым стандартам и требованиям. Однако на самом деле любые изменения могут привести к новым рискам, которые нужно тщательно оценить и минимизировать.
На вопрос о процедурах обновления вам могут ответить несколькими способами. Во-первых, специалисты могут описать процесс управления изменениями, включая одобрение и документирование модификаций. Также вы можете установить критерии, по которым определяются существенные изменения, требующие новой оценки соответствия. Дополнительно, вам могут предоставить детали процедур тестирования и валидации обновлений перед их внедрением. Механизмы мониторинга влияния обновлений на производительность и безопасность системы также имеют значение. Важно учитывать и наличие процедур откатов и аварийного восстановления, чтобы быстро реагировать на возможные проблемы с обновлениями. Не менее важно установить процесс коммуникации с пользователями о планируемых и внедренных изменениях, а также методы обеспечения непрерывности работы системы во время обновлений.
Как система обрабатывает противоречивые или непоследовательные данные?
Такой вопрос задается для того, чтобы убедиться, что система способна справляться с несовершенными данными. В реальных условиях данные часто бывают неполными или противоречивыми, поэтому система должна быть способна эффективно с ними справляться. Это важно для поддержания её надежности. Если система не умеет правильно обрабатывать некорректные или противоречивые данные, это может привести к неточным результатам и снижению доверия к её работе. Кроме того, такие возможности системы повышают её устойчивость к ошибкам. Статья 15 Регламента напрямую требует, чтобы системы ИИ высокого риска могли работать в условиях, когда данные неполные или содержат ошибки.
Возможные подходы к решению этой задачи могут включать проверку согласованности данных на этапе их ввода, чтобы убедиться, что данные правильного формата и в допустимых пределах. Также система может использовать алгоритмы для автоматического выявления аномалий, которые сигнализируют о проблемах с данными. Некоторые системы могут применять методы машинного обучения для автоматического исправления или дополнения данных, когда обнаруживаются несоответствия. Для разрешения конфликтов между данными из разных источников могут быть разработаны системы приоритетов.
Для соответствия требованиям важно, чтобы система имела комплексный подход к обработке таких данных. Это демонстрирует, что она отвечает требованиям статьи 15 и способна поддерживать высокий уровень точности и надежности. Продвинутые алгоритмы для обработки данных показывает серьёзный подход к их качеству. Наличие в системе адаптивных механизмов обратной связи и постоянное улучшение обработки данных говорит о её высокой устойчивости. Документирование всех процессов по обработке конфликтных данных также помогает продемонстрировать соответствие требованиям регуляторов.
Заключение
Для юристов важно глубоко понимать технические детали работы систем ИИ, чтобы эффективно оценивать соответствие регуляторным требованиям о недискриминации, безопасности и прозрачности. Вовремя заданные правильные вопросы позволяют не только минимизировать правовые риски, но и способствуют более тесному сотрудничеству между юридическими и техническими командами.
Больше о приватности в системах искусственного интеллекта — на курсе Artificial Intelligence Compliance Professional for Europe.
