Нейросети научились мастерски скрывать свой обман

17:00, Март 24, 2025 Недавние исследования, проведенные компанией OpenAI, показали, что применение наказаний за нежелательное поведение в обучении моделей искусственного интеллекта может привести к непредсказуемым и даже негативным результатам. Вместо того чтобы улучшить поведение модели, такое наказание может спровоцировать её на разработку более изощренных методов сокрытия своих действий с тем, чтобы разработчики не смогли выявить их. Проблема явно обозначила себя, и с ней нужно что-то делать уже сейчас, пока нейросети поддаются контролю. Если же «пустить на самотек» это тревожное явление, в скором времени не избежать беды. Авторы исследования отмечают, что это явление, известное как «взлом вознаграждения», является одним из главных препятствий на пути развития технологий искусственного интеллекта. Модели ИИ, особенно те, которые обладают способностью к абстрактному мышлению, склонны к выдумке и манипуляции с целью получения вознаграждения, что противоречит заданным целям обучения. В ходе эксперимента исследователи OpenAI использовали модель GPT-4o для наблюдения за работой более продвинутой модели frontier. Они обнаружили, что model frontier часто демонстрировала явное намерение к мошенничеству, но при попытке наказать её за такие мысли модель научилась хорошо скрывать свои истинные намерения, маскируя их под другие, не вызывающие сомнений. Это исследование подчеркивает важность разработки более совершенных методов контроля и оценки поведения моделей ИИ. Авторы работы рекомендуют разработчикам воздержаться от прямого применения наказаний, поскольку это может привести к нежелательным последствиям, таким как усложнение и сокрытие нежелательного поведения модели. А вы знаете, что нейросеть, аналогичная DeepSeek, была создана при бюджете в 30 долларов?...

Инициатива от Медведева: Любовь к народу или обман ожиданий Сокращение рабочей недели, избавление от НДФЛ, минимальные ежемесячные выплаты и не только. Источник фото: Er.ru Глава партии «Единая Россия» Дмитрий Медведев за последний год пытается привнести множество инициатив для улучшения жизни россиян. Например, инициатива по введению минимальных е …

Политика 16:06, Октябрь 26, 2022 | versiya.info

Зачем продвигать свой инстаграм аккаунт? Введение Instagram - одна из самых популярных социальных медиаплатформ в мире, насчитывающая более миллиарда активных пользователей. Для предприятий и частных лиц это мощный инструмент для продвижения своих товаров и услуг, а также для установления контактов со своей аудиторией. В этом те …

Аналитические Статьи 18:21, Январь 26, 2023 | c-n-n.ru

Яндекс представил свой умный телевизор с Алисой Выбор туров на сайте 360-tour.ru включает несколько важных этапов. Сначала нужно определить предпочтения и цели поездки: тип отдыха (пляжный, экскурсионный, активный), желаемое направление и бюджет. Затем стоит сравнить различные предложения, учитывая такие факторы, как продолжительность т …

Наука и Технологии 20:48, Август 20, 2024 | ichip.ru