Нейросети научились мастерски скрывать свой обман

Нейросети научились мастерски скрывать свой обман
17:00, Март 24, 2025 Недавние исследования, проведенные компанией OpenAI, показали, что применение наказаний за нежелательное поведение в обучении моделей искусственного интеллекта может привести к непредсказуемым и даже негативным результатам. Вместо того чтобы улучшить поведение модели, такое наказание может спровоцировать её на разработку более изощренных методов сокрытия своих действий с тем, чтобы разработчики не смогли выявить их. Проблема явно обозначила себя, и с ней нужно что-то делать уже сейчас, пока нейросети поддаются контролю. Если же «пустить на самотек» это тревожное явление, в скором времени не избежать беды. Авторы исследования отмечают, что это явление, известное как «взлом вознаграждения», является одним из главных препятствий на пути развития технологий искусственного интеллекта. Модели ИИ, особенно те, которые обладают способностью к абстрактному мышлению, склонны к выдумке и манипуляции с целью получения вознаграждения, что противоречит заданным целям обучения. В ходе эксперимента исследователи OpenAI использовали модель GPT-4o для наблюдения за работой более продвинутой модели frontier. Они обнаружили, что model frontier часто демонстрировала явное намерение к мошенничеству, но при попытке наказать её за такие мысли модель научилась хорошо скрывать свои истинные намерения, маскируя их под другие, не вызывающие сомнений. Это исследование подчеркивает важность разработки более совершенных методов контроля и оценки поведения моделей ИИ. Авторы работы рекомендуют разработчикам воздержаться от прямого применения наказаний, поскольку это может привести к нежелательным последствиям, таким как усложнение и сокрытие нежелательного поведения модели. А вы знаете, что нейросеть, аналогичная DeepSeek, была создана при бюджете в 30 долларов?...
Читать полный текст на api.follow.it  

Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Новые нейросети OpenAI бредят больше предшественников

Новые нейросети OpenAI «бредят» больше предшественников Недавно выпущенные модели искусственного интеллекта OpenAI o3 и o4-mini, хотя во многих отношениях являются передовыми, галлюцинируют и выдумывают чаще, чем некоторые из предыдущих моделей. Внутреннее тестирование OpenAI показало, что o3 галлюцинирует в ответ на 33% вопросов из PersonQA — …

Гаджеты 16:00, Апрель 21, 2025 | mobidevices.com
Инициатива от Медведева: Любовь к народу или обман ожиданий

Инициатива от Медведева: Любовь к народу или обман ожиданий Сокращение рабочей недели, избавление от НДФЛ, минимальные ежемесячные выплаты и не только. Источник фото: Er.ru Глава партии «Единая Россия» Дмитрий Медведев за последний год пытается привнести множество инициатив для улучшения жизни россиян. Например, инициатива по введению минимальных е …

Политика 16:06, Октябрь 26, 2022 | versiya.info
Махинации, обман и некомпетентность: Темную правду о работе Росгосстраха раскрыл блогер

Махинации, обман и некомпетентность: Темную правду о работе Росгосстраха раскрыл блогер Главная страховая компания России обманывает клиентов и не ценит сотрудников. На проблемы Росгосстраха, крупнейшей страховой компании России, обратил внимание популярный блогер Олег Assa, который рассказывает о внутренней кухне российских компаний. Его обзор на работу Росгосстраха показал, …

Политика 23:20, Апрель 5, 2025 | versiya.info
Зачем продвигать свой инстаграм аккаунт

Зачем продвигать свой инстаграм аккаунт? Введение Instagram - одна из самых популярных социальных медиаплатформ в мире, насчитывающая более миллиарда активных пользователей. Для предприятий и частных лиц это мощный инструмент для продвижения своих товаров и услуг, а также для установления контактов со своей аудиторией. В этом те …

Аналитические Статьи 18:21, Январь 26, 2023 | c-n-n.ru
Эффективная борьба с крысами: как защитить свой дом

Эффективная борьба с крысами: как защитить свой дом Крысы представляют серьезную проблему для жителей городов и пригородов, проникая в дома, склады и подвалы. Эти грызуны не только портят имущество, но и разносят опасные инфекции, такие как сальмонеллез или чума. Самостоятельные методы борьбы, вроде ловушек или ядов из магазина, часто дают …

Аналитические Статьи 17:13, Май 12, 2025 | c-n-n.ru
Как защитить свой сад от животных и непрошенных гостей

Как защитить свой сад от животных и непрошенных гостей Владение загородным участком — это не только возможность наслаждаться природой и свежим воздухом, но и необходимость заботиться о его защите в любое время года. Дикие и домашние животные могут причинить серьезный ущерб вашему саду: вытоптать газон, повредить посадки, сломать молодые деревь …

Наука и Технологии 19:00, Апрель 20, 2025 | astera.ru
Яндекс представил свой умный телевизор с Алисой

Яндекс представил свой умный телевизор с Алисой Выбор туров на сайте 360-tour.ru включает несколько важных этапов. Сначала нужно определить предпочтения и цели поездки: тип отдыха (пляжный, экскурсионный, активный), желаемое направление и бюджет. Затем стоит сравнить различные предложения, учитывая такие факторы, как продолжительность т …

Наука и Технологии 20:48, Август 20, 2024 | ichip.ru
Михаил Иванов прокомментировал свой уход из Брянскфармации

Михаил Иванов прокомментировал свой уход из «Брянскфармации» Брянский депутат и общественный деятель Михаил Иванов в своих соц. сетях подтвердил уход с поста руководителя госпредприятия «Брянскфармации». В ролике он коротко рассказал об успехах, достижениях и сложностях работы за эти годы, а так же выделил ряд проектов, в том числе производство линз …

Новости 10:00, Май 17, 2025 | bo32.ru
Маленький, мягкий робот демонстрирует свой потенциал спасателя

Маленький, мягкий робот демонстрирует свой потенциал спасателя Маленький, мягкий и гибкий робот, способный ползать по завалам после землетрясения в поисках застрявших жертв или проникать внутрь человеческого тела, чтобы доставить лекарства, может показаться научной фантастикой, но международная группа под руководством исследователей из Университета шт …

Hardware 05:00, Апрель 11, 2025 | android-robot.com
Певица Слава добавила перца в свой брак с помощью флирта с молодым дизайнером

Певица Слава добавила «перца» в свой брак с помощью флирта с молодым дизайнером 68-летний муж артистки явно ревнует жену к 39-летнему Александру Арутюнову. У певицы 40-летней певицы Славы есть свой любовник, на год младше ее самой; изображение versia.info Уже больше 20 лет прошло с тех пор, как певица Слава увела Анатолия Данилицкого от его жены. Хоть бизнесмен не рас …

Звёзды 23:18, Апрель 8, 2025 | versiya.info
Заряди весну выгодой в билайне: соберите свой весенний комплект со смартфоном, аксессуаром и оплаченной связью

Заряди весну выгодой в билайне: соберите свой весенний комплект со смартфоном, аксессуаром и оплаченной связью Мобильный оператор билайн запускает акцию «Весенний заряд выгод». В ней участвуют современные устройства и новинки популярных брендов HONOR, TECNO, Samsung, realme, Xiaomi. Достаточно выбрать смартфон и получить выгодный комплект, равный стоимости телефона. Весна — время обновлений, прогул …

Наука и Технологии 21:02, Апрель 3, 2025 | iguides.ru
Я не читаю комментарии в соцсетях. Натали Портман снялась для обложки Vogue Australia и рассказала о реакции на свой развод

"Я не читаю комментарии в соцсетях". Натали Портман снялась для обложки Vogue Australia и рассказала о реакции на свой развод 43-летняя Натали Портман снялась для обложки Vogue Australia, а также появилась на его страницах в смелых образах: в кружевном боди и полупрозрачном топе. Актриса, которая недавно пережила скандальный развод, также дала интервью изданию, где рассказала о новом этапе жизни и отношении к сво …

Звёзды 15:00, Май 5, 2025 | spletnik.ru
Экипаж первой в истории полярной миссии Fram2 показал свой стартовый комплекс с орбиты  последние кадры перед посадкой

Экипаж первой в истории полярной миссии Fram2 показал свой стартовый комплекс с орбиты — последние кадры перед посадкой Четыре участника частной космической миссии SpaceX Fram2 продолжают делиться захватывающими кадрами из своего путешествия, ставшего первым в истории полётом с полярной орбитой вокруг Земли. На третий день пребывания на борту корабля Crew Dragon Resilience астронавты опубликовали новые виде …

Наука и Технологии 21:57, Апрель 4, 2025 | ixbt.com