Угрозы ИИ при разработке программного обеспечения выявлены в новом исследовании

05:00, Апрель 12, 2025 Исследователи UTSA недавно завершили одно из самых всеобъемлющих исследований на сегодняшний день, посвященных рискам использования моделей ИИ для разработки программного обеспечения. В новой статье они демонстрируют, как определенный тип ошибки может представлять серьезную угрозу для программистов, использующих ИИ для написания кода. Джо Спраклен, докторант UTSA по информатике, возглавил исследование того, как большие языковые модели (LLM) часто генерируют небезопасный код. Статья его команды, опубликованная на сервере препринтов arXiv, также была принята к публикации на USENIX Security Symposium 2025 — конференции по кибербезопасности и конфиденциальности. В многоинституциональном сотрудничестве приняли участие еще три исследователя из UTSA: докторант AHM Назмус Сакиб, научный сотрудник-постдокторант Равин Виджевикрама и доцент д-р Муртуза Джадливала, директор SPriTELab (Исследовательская лаборатория безопасности, конфиденциальности, доверия и этики в области вычислений). Дополнительными соавторами были Аниндья Майта из Университета Оклахомы (бывший научный сотрудник UTSA) и Бимал Вишванат из Политехнического университета Вирджинии. Галлюцинации в LLM возникают, когда модель производит контент, который фактически неверен, бессмыслен или совершенно не связан с задачей ввода. Большинство текущих исследований до сих пор были сосредоточены в основном на галлюцинациях в классических задачах генерации и прогнозирования естественного языка, таких как машинный перевод, реферирование и разговорный ИИ. Исследовательская группа сосредоточилась на феномене пакетной галлюцинации, который возникает, когда магистр права создает или рекомендует использовать стороннюю программную библиотеку, которая на самом деле не существует. Упаковочные галлюцинации становятся интересной областью исследований потому, что нечто столь простое — одна повседневная команда — может привести к серьезным рискам безопасности. «Для этого не требуется запутанного стечения обстоятельств или какой-то непонятной вещи», — сказал Спраклен. «Просто набрать одну команду, которую большинство людей, работающих с этими языками программирования, набирают каждый день. Это все, что нужно. Это очень прямолинейно и очень просто». «Он также вездесущ», — добавил он. «Вы можете сделать очень мало с вашим базовым языком программирования Python. Вам потребовалось бы много времени, чтобы написать код самостоятельно, поэтому универсально полагаться на программное обеспечение с открытым исходным кодом , чтобы расширить возможности вашего языка программирования для выполнения конкретных задач». Степень магистра права становится все более популярной среди разработчиков, которые используют модели искусственного интеллекта для помощи в сборке программ. По данным исследования, до 97% разработчиков программного обеспечения включают генеративный ИИ в свой рабочий процесс, а 30% кода, написанного сегодня, генерируется с помощью ИИ. Кроме того, многие популярные языки программирования, такие как PyPI для Python и npm для JavaScript, полагаются на использование централизованного репозитория пакетов. Поскольку репозитории часто имеют открытый исходный код, злоумышленники могут загружать вредоносный код, замаскированный под легитимные пакеты. В течение многих лет злоумышленники использовали различные уловки, чтобы заставить пользователей установить их вредоносное ПО. Пакетные галлюцинации — это последняя тактика. «Итак, допустим, я прошу ChatGPT помочь написать для меня какой-то код, и он его пишет. Теперь, допустим, в сгенерированном коде он включает ссылку на какой-то пакет, и я доверяю ему и запускаю код, но пакет не существует, это какой-то галлюцинированный пакет. Проницательный злоумышленник/хакер может увидеть это поведение (LLM) и понять, что LLM говорит людям использовать этот несуществующий пакет, этот галлюцинированный пакет», — объяснил Джадливала. «Затем злоумышленник может просто тривиально создать новый пакет с тем же именем, что и у галлюциногенного пакета (что рекомендовано LLM), и внедрить в него какой-нибудь вредоносный код. «Теперь, когда в следующий раз LLM порекомендует тот же пакет в сгенерированном коде, и ничего не подозревающий пользователь выполнит код, этот вредоносный пакет будет загружен и выполнен на компьютере пользователя». Исследователи UTSA оценили частоту возникновения пакетных галлюцинаций при разных языках программирования, настройках и параметрах, изучая вероятность ошибочных рекомендаций по пакетам и выявляя основные причины. В 30 различных тестах, проведенных исследователями UTSA, 440 445 из 2,23 миллиона образцов кода, которые они сгенерировали на Python и JavaScript с использованием моделей LLM, ссылались на галлюцинаторные пакеты. Из протестированных исследователями LLM «модели серии GPT оказались в четыре раза менее склонны генерировать галлюцинаторные пакеты по сравнению с моделями с открытым исходным кодом, с частотой галлюцинаций 5,2% по сравнению с 21,7%», — говорится в исследовании. Исследователи обнаружили, что код Python менее подвержен галлюцинациям, чем JavaScript. Эти атаки часто включают в себя присвоение вредоносному пакету имени, имитирующего легитимный, тактика, известная как атака с путаницей пакетов. При атаке с галлюцинацией пакетов ничего не подозревающему пользователю LLM будет рекомендован пакет в его сгенерированном коде, и, доверяя LLM, он загрузит созданный злоумышленником вредоносный пакет, что приведет к компрометации. Коварным элементом этой уязвимости является то, что она эксплуатирует растущее доверие к LLM. По мере того, как они продолжают становиться более опытными в задачах кодирования, пользователи будут более склонны слепо доверять их выходным данным и потенциально станут жертвами этой атаки. «Если вы много кодируете, несложно понять, как это происходит. Мы поговорили со многими людьми, и почти все сказали, что замечали, как во время кодирования у них случались галлюцинации, связанные с пакетами, но они никогда не задумывались о том, как это можно использовать во зло», — объяснил Спраклен. «Вы оказываете большую неявную уверенность издателю пакета в том, что предоставленный им код является законным и не вредоносным. Но каждый раз, когда вы загружаете пакет, вы загружаете потенциально вредоносный код и предоставляете ему полный доступ к вашему компьютеру». Хотя перекрестные ссылки на сгенерированные пакеты с основным списком могут помочь смягчить галлюцинации, исследователи UTSA заявили, что лучшим решением будет обратиться к основе LLM во время собственной разработки. Команда раскрыла свои выводы поставщикам моделей, включая OpenAI, DeepSeek и Mistral AI....

Советы по устранению неполадок программного обеспечения Устранение неполадок программного обеспечения Прежде чем звонить в службу технической поддержки, ознакомьтесь с нашим пошаговым руководством по устранению неполадок программного обеспечения. Вы или ваша организация полагаетесь на программное обеспечение для выполнения своей работы, и необъ …

Наука и Технологии 14:54, Октябрь 26, 2022 | gearmix.ru

Земля почти вне зоны поражения, Луна — под вопросом: уточнённые данные телескопа «Джеймс Уэбб» изменили картину угрозы от астероида 2024 YR4 В конце января 2025 года мир столкнулся с угрозой из космоса — астероид 2024 YR4, обнаруженный всего месяцем ранее, получил уровень опасности 3 по шкале Торино. Это означало, что объект диаметром до 90 метров с вероятностью 3% мог столкнуться с Землёй в декабре 2032 года. Ситуация из …

Наука и Технологии 23:52, Апрель 2, 2025 | ixbt.com

Народный фронт доложил Президенту о проблемах обеспечения доступности занятий физкультурой для жителей России Руководитель Исполкома Народного фронта Михаил Кузнецов на совещании с членами Правительства РФ рассказал о том, что затрудняет реализацию действующих мер поддержки массовой физкультуры и о новых предложениях по улучшению ситуации. Народный фронт по поручению Президента осуществляет монито …

Новости 09:00, Апрель 19, 2025 | брянский-рабочий.рф

В Новом театре поставят спектакль, посвященный СВО 20, 23, 25 и 26 марта на сцене Нового Театра под руководством Эдуарда Боякова состоится знаковая премьера — спектакль "Хорошие фото" по пьесе Ольги Погодиной-Кузминой, ставшей в этом году лауреатом Международного драматургического конкурса "Действующие лица". Пьеса создана в рамках програм …

Культура и Искусство 23:50, Апрель 2, 2025 | pravda.ru

Майки Мэдисон снялась в новом кампейне Tiffany & Co. Звезда "Аноры" Майки Мэдисон стала лицом новой рекламной кампании Tiffany & Co. На фотографиях, сделанных Харли Вейр и Марилу Добэ, 26-летняя оскароносная актриса позирует в облегающем чёрном платье в пол, дополненном украшениями бренда. В рамках проекта Майки также размышляет о стойкости …

Звёзды 21:02, Апрель 3, 2025 | spletnik.ru

Анна Пересильд снялась в новом кампейне Гоши Рубчинского 15-летняя Анна Пересильд стала лицом нового рекламного кампейна Гоши Рубчинского. На чёрно-белом снимке, стилизованном под полароидную карточку, звезда "Слова пацана" позирует в объёмном бомбере, скрестив руки на груди. Фотография была опубликована в соцсетях актрисы и самого дизайнера.Анн …

Звёзды 01:00, Март 15, 2025 | spletnik.ru

Кантемир Балагов опубликовал фото с Барри Кеоганом, подтвердив участие актёра в своём новом фильме 33-летний режиссёр Кантемир Балагов, снявший "Дылду" и "Тесноту", подтвердил участие звезды "Солтберна" Барри Кеогана в своём новом фильме Butterfly Jam ("Варенье из бабочек"). Обладатель двух наград Каннского кинофестиваля опубликовал селфи с Кеоганом, а также несколько кадров со съёмочно …

Мода, женское, сплетни 01:00, Апрель 14, 2025 | spletnik.ru

Сельское хозяйство на новом уровне: Почему интернет-магазин 'Аврора Агро' - выбор номер один для сельхозтехники В современном мире сельское хозяйство уже не является традиционным и трудоемким занятием. Развитие технологий и техники превратило сельское хозяйство в более эффективную и производительную отрасль. Для тех, кто занят в сельском хозяйстве, доступ к высококачественной сельскохозяйственной те …

Авто / Мото 14:44, Октябрь 26, 2023 | c-n-n.ru

"Прочитав очередные новости о моём новом выдуманном романе, в этот раз я даже удивилась". Анна Седокова опровергла слухи о романе с Анатолием Тимощуком Анна Седокова опровергла слухи о романе с футболистом Анатолием Тимощуком, которые начали распространяться после смерти её бывшего мужа Яниса Тиммы. Певица заявила, что у спортсмена уже есть возлюбленная, и это одна из её ближайших подруг.Недавно Седокова посетила Санкт-Петербург и стала г …

Красота 23:47, Апрель 2, 2025 | spletnik.ru