Использование искусственного интеллекта (ИИ) становится всё более популярным среди общественности и различных предприятий, но внедрение этой технологии иногда сопровождается ошибками, нарушениями авторских прав и явными «галлюцинациями», что подрывает доверие к его точности.

Исследование Стэнфордского университета показало, что ИИ допускает ошибки при ответах на юридические вопросы в 75% случаев. Проблема заключается в том, что большие языковые модели (БЯМ), стоящие за технологией ИИ, например GPT-4 от OpenAI, Llama 2 от Meta и PaLM 2 от Google, созданы на основе нечетких параметров и обучены людьми, которые могут быть предвзяты.

Одним из способов снижения количества «галлюцинаций» и других ошибок, связанных с ИИ, является метод дополненного генерирования (Retrieval Augmented Generation, RAG), который позволяет создавать более специализированные модели ИИ для получения более точных и конкретных ответов на запросы.

Тем не менее, этот метод не решает всех проблем, поскольку в его основе всё ещё нет логических правил для рассуждений. Чтобы решения были надежными, некоторые ученые предлагают использовать «формальный язык» или последовательность утверждений — правил, которые обеспечивали бы надежные выводы на каждом этапе работы ИИ.

С помощью мониторинга и оценки ИИ может давать гораздо более точные ответы. Например, компания Elemental Cognition разработала «нейросимволический рассудитель» под названием Braid, который строит логическую модель языка на основе интервью, проведенных сотрудниками компании.

Несмотря на существующие сложности, включая предвзятость и ошибки, появляются технологии мониторинга и оценки ИИ, которые действуют как контрольная сумма их выводов, что может значительно снизить количество ошибок ИИ. Эти технологии разрабатываются как стартапами, так и крупными провайдерами облачных сервисов, включая IBM.

Компании, занимающиеся разработкой ИИ, включая стартапы и крупных поставщиков облачных услуг, активно работают над созданием инструментов для мониторинга, оценки и обеспечения наблюдаемости за ИИ, которые выступают в качестве контрольной суммы для его выводов. В некоторых случаях такие технологии контроля представляют собой другие платформы ИИ; другими словами, одна платформа ИИ контролирует другую, чтобы помочь гарантировать, что первая не выдает ошибочные ответы или содержимое.

Вместе с Elemental Cognition компании, предоставляющие подобные инструменты для ИИ, включают Arize, TruEra и Humanloop. Различные платформы машинного обучения, такие как DataRobot, также активно включаются в сферу мониторинга ИИ, согласно Кэти Лэнг, директору исследований по практике ИИ и автоматизации в IDC.

Мониторинг результатов работы ИИ на данный момент в основном требует участия человека, особенно при внедрении на предприятиях. Хотя это, вероятно, будет продолжаться и в обозримом будущем, технологии мониторинга и оценки могут значительно уменьшить количество ошибок ИИ.

«Вы можете дать людям оценивать выводы и ответы больших языковых моделей и затем интегрировать эту обратную связь в модели, но этот процесс не масштабируем. Вы также можете использовать функции оценки или другие БЯМ для оценки результатов других БЯМ», — говорит Лэнг. «Это определенно становится трендом».

Лэнг относит программное обеспечение для мониторинга БЯМ к категории операций с большими языковыми моделями (LLMOps), которое в основном оценивает и отлаживает приложения на основе БЯМ. Более общим термином является операции с основными моделями (FMOps).

«FMOps используется для автоматизации и оптимизации жизненного цикла genAI», — говорит Лэнг. «Субъективный характер моделей genAI требует новых инструментов, процессов и лучших практик FMOps. Возможности FMOps включают тестирование, оценку, отслеживание и сравнение основных моделей; их адаптацию и настройку с новыми данными; разработку пользовательских производных моделей; отладку и оптимизацию производительности; а также развертывание и мониторинг приложений на основе FM в производстве».

«Это буквально операции машинного обучения для БЯМ, которые сосредотачиваются на новом наборе инструментов, архитектурных принципах и лучших практиках для операционализации жизненного цикла приложений на основе БЯМ», — добавляет Лэнг.

Программа мониторинга БЯМ от Arize, Phoenix, использует одну БЯМ для оценки другой по ее актуальности, токсичности и качеству ответов. Этот инструмент использует «Трассы» для записи путей, которые проходят запросы БЯМ (сделанные приложением или конечным пользователем), когда они проходят через несколько этапов. Сопутствующая спецификация OpenInference использует телеметрические данные для понимания выполнения БЯМ и окружающего контекста приложения. Другими словами, можно выяснить, где нарушена работа БЯМ или обнаружить проблемы, связанные с извлечением и выполнением инструментов.

Авива Литан, выдающийся вице-президент аналитической фирмы Gartner Research, говорит, что технологии мониторинга и оценки БЯМ работают по-разному. Некоторые из них, говорит она, проверяют источник данных и пытаются проверить происхождение ответа от БЯМ, «и если они не могут найти его, то считают, что это галлюцинация».

Другие технологии ищут противоречия между входными и выходными вложениями, и если они не совпадают или «не добавляются», то это считается галлюцинацией. В противном случае ответ считается правильным.

Технологии других поставщиков ищут «выбросы» или ответы, которые выходят за рамки обычного.

Точно так же, как это происходит в поиске Google, информация в базе данных преобразуется в числовые данные, практика, известная как «встраивание». Например, отель в регионе может получить пятизначное обозначение из-за своей цены, удобств и расположения. Если вы ищете отели в Google в районе с аналогичными ценами и удобствами, поисковый движок вернет все отели с аналогичными цифрами.

Аналогично программное обеспечение оценки БЯМ ищет ответы, которые подобны встраиванию или данным, наиболее точно соответствующим запросу. «Если это что-то далекое от этого встраивания, то это указывает на выброс, и тогда вы можете посмотреть, почему это выброс. Затем вы можете определить, что это не верный источник данных», — говорит Литан. «Google нравится этот метод, потому что у них есть все данные поиска и поисковые возможности».

Еще один способ, которым инструменты оценки БЯМ могут минимизировать галлюцинации и ошибочные выводы, — это поиск источника ответа. Если для него нет надежного источника, это означает, что это галлюцинация.

«Все крупные облачные поставщики также работают над подобными типами технологий, которые помогают настраивать и оценивать приложения БЯМ», — говорит Лэнг.

В одном из недавних примеров, когда генеративный ИИ (genAI) сильно отклонился от заданной траектории, Google представил новый инструмент под названием Gemini, который создавал изображения на основе текстовых запросов пользователей, явно демонстрируя предвзятость в сторону определенного социополитического взгляда. Когда Gemini был попрошен нарисовать картину Папы Римского, он создал изображение азиатской женщины в роли Папы и черного Папы.

Google был вынужден отключить платформу для устранения этих проблем. Однако проблемы Gemini не являются уникальными.

Для решения подобных проблем, как у Gemini, Elemental Cognition разработала что-то, что называется «нейро-символическим рассудителем». Этот рассудитель, получивший название Braid, строит логическую модель языка, основываясь на данных БЯМ, используя интервью, проведенные сотрудниками Ferrucci.

«Мы берем интервью у бизнес-аналитиков и говорим: ‘Давайте убедимся, что я понимаю вашу проблему. Давайте рассмотрим различные бизнес-правила, ограничения отношений и полномочия, которые для вас важны'», — сказал Ферруччи. «И тогда вы получаете формальную модель знаний, исполняемую этим формальным логическим рассудителем, который умеет решать эти проблемы.

Говоря простым языком, мы используем нейронные сети там, где они хороши, а затем добавляем логику, прозрачность, объясняемость и совместное обучение», — сказал Ферруччи. «Если пытаться делать это от начала и до конца с БЯМ, она будет допускать ошибки и не будет знать, что допустила ошибки. Наша архитектура не основана исключительно на БЯМ».

Subodha Kumar, профессор статистики, операций и науки о данных в Университете Темпл, сказал, что ни одна платформа генеративного ИИ не будет свободна от предвзятостей, «по крайней мере, в ближайшем будущем».

«Более общие платформы будут иметь больше предвзятостей», — сказал Кумар. «Мы можем увидеть появление множества специализированных платформ, которые обучены на специализированных данных и моделях с меньшими предвзятостями. Например, у нас может быть отдельная модель для онкологии в здравоохранении и отдельная модель для производства».

Инженерия запросов, которая является способом тонкой настройки БЯМ людьми для предоставления ответов, специфичных для бизнеса, заменяется набором логических правил; эти правила могут обеспечить точное и недвусмысленное ведение диалога общего назначения, которое может управлять интерактивным общением через БЯМ, согласно Ферруччи.

Elemental Cognition находится среди ряда стартапов и установленных провайдеров облачных услуг, включая IBM, создающих инструменты мониторинга, оценки и наблюдения за генеративным ИИ, которые действуют как своего рода контрольная сумма для их выводов. В некоторых случаях эти технологии контрольной суммы являются другими движками ИИ; другими словами, одна платформа ИИ контролирует другую платформу ИИ, чтобы помочь гарантировать, что первая не выдает ошибочные ответы или содержание.

Вместе с Elemental Cognition, компании, предоставляющие эти виды инструментов для генеративного ИИ, включают Arize, TruEra и Humanloop. Разнообразие платформ машинного обучения, таких как DataRobot, также переходят в сферу мониторинга ИИ, согласно Кэти Лэнг, директору исследований практики ИИ и автоматизации в IDC.

Хотите сделать НОВЫЙ САЙТ или МОБИЛЬНОЕ ПРИЛОЖЕНИЕ, чтобы привлечь больше клиентов, или переделать существующий проект с учетом передовых технологий по обеспечению безопасности? Напишите нам https://new-artismedia-client.bitrix24site.ru/ , и мы поможем!