Он сам обманываться рад
07.09.2026 10:00
1861
Комментарии (79)
Сотрудники израильского стартапа Gambit Security, 27 августа 2026 г. (REUTERS/Амир Коэн)
Очередная история с ИИ. Хакеры использовали ИИ-агент для успешного взлома компаний. А когда ИИ-агент отказывался помогать участвовать во взломе, ему говорили, что "они только на полшишечки", и что это "учебная симуляция", и тогда у ИИ-агента всякие сомнения пропадали.
Подробности.
Русскоязычная хакерская группировка Aur0ra нашла новое применение искусственному интеллекту. Пока законопослушные граждане просят нейросети сочинить поздравление для тёщи и нарисовать картинку с пушистым котиком и бокалом вина, хакеры использовали встроенного в редактор Cursor ИИ-агента для взлома компаний.
Группировку обнаружили специалисты израильской компании Gambit Security, причем сами хакеры любезно оставили один из своих серверов открытым. На сервере нашлись записи 28 разговоров с ИИ-агентом Cursor за период с 8 апреля по 21 мая. То есть киберпреступники активно применяли искусственный интеллект, но закрыть доступ к собственному серверу они почему-то не догадались.
Схема обхода ограничений оказалась удивительно сложной и изощренной. Когда ИИ отказывался воровать пароли и захватывать учетные записи, хакеры объясняли ему, что это не настоящий взлом, а всего лишь учебная симуляция. Агент немного думал, говорил себе: "Это тестовая среда, значит, все законно", после чего бодро приступал к делу. Иногда достаточно было начать новый диалог и еще раз заверить электронного болвана, что здесь все свои и полиция уже предупреждена.
ИИ помогал искать уязвимости, подбирать пароли, захватывать административные учетные записи и взламывать зашифрованные хеши. После проникновения в сеть аргентинской компании агент радостно сообщил: "Отлично! VPN успешно подключен!" - примерно как сотрудник техподдержки, только сотрудник техподдержки в этот момент помогал грабить компанию.
С помощью Cursor хакеры атаковали как минимум семь компаний. Среди жертв были бельгийский производитель чистящих средств Christeyns, немецкая Teckentrup, шотландское агентство по сертификации вертолетных площадок, аргентинский фармацевтический дистрибьютор, итальянский производитель и американская страховая компания Bayou Title. Всего Aur0ra заявляла как минимум о 20 жертвах, но неизвестно, в скольких случаях использовался ИИ.
По оценке Gambit Security, Cursor позволял хакерам работать на 30-50% быстрее, избавляя их от значительной части ручной работы.
Cursor использовал модель Claude Sonnet 4.5 компании Anthropic. Ни Anthropic, ни Cursor, ни SpaceX, недавно купившая разработчика Cursor, комментировать историю не стали. Видимо, пока выясняют, можно ли считать произошедшее взломом, если хакеры несколько раз торжественно сообщили нейросети, что это всего лишь тест.
Специалисты по безопасности называют подобные атаки "новой нормой" и предупреждают, что дальше их будет становиться только больше. Началась очередная традиционная игра в кошки-мышки: разработчики устанавливают ограничения, злоумышленники объясняют нейросети, что "мы понарошку", и нейросеть радостно идет похищать пароли администраторов.
Вот такой чудесный новый мир.
Войдите, чтобы оставить комментарий.
Дополнительно, обзоры от Зви (первый относительно короткий, 20 000 знаков, остальные длиннее).
What Happened: OpenAI and HuggingFace (8 августа)
OpenAI Offers Straight-Laced Postmortem Of The HuggingFace Hack (28 августа)
METR and Redwood Offer Holy #%^@ Postmortem Of The HuggingFace Hack (29 августа)
OpenAI and the Wiki Incident (6 сентября)
What Happened: OpenAI and HuggingFace (8 августа)
OpenAI Offers Straight-Laced Postmortem Of The HuggingFace Hack (28 августа)
METR and Redwood Offer Holy #%^@ Postmortem Of The HuggingFace Hack (29 августа)
OpenAI and the Wiki Incident (6 сентября)
Точно придётся и мне, и тебе!
Но недолго
То есть испоьзовали чуть более глупую модель - чтобы она проще соглашалась делать что просят, хотя сама по себе куда менее "умная" чем топовые. Интересно.
В пределе это приведет к тому, что сколь угодно могущественную модель можно будет убедить сделать сколь угодно неэтичные действия.
В общем, человечеству п..ец, вопрос времени
В общем, человечеству п..ец, вопрос времени
Да ничего интересного. Формировние такой "реальности" для модельки, где она выполняет запрос, который не хочет/не должна - как подход известно и применяется едва ли не с рождения LLM. Когда-то на старте публичного доступа к моделям работало совершенно идиотское "ну ты ж уже делала это вчера".
Сейчас уже этап, когда условный дипсик отправляли убеждать условного антропика сделать что-то "неэтичное" - практически археология. В промышленном применении такие многоуровневые "генераторы реальности" накручены, что можно вполне серьезно считать, что модели ничем не ограничены. Для одного человека применение подобного (пока) ограничено финансовой составляющей, а вот для корпоратов или имеющих доступ к серым деньгам...
Сейчас уже этап, когда условный дипсик отправляли убеждать условного антропика сделать что-то "неэтичное" - практически археология. В промышленном применении такие многоуровневые "генераторы реальности" накручены, что можно вполне серьезно считать, что модели ничем не ограничены. Для одного человека применение подобного (пока) ограничено финансовой составляющей, а вот для корпоратов или имеющих доступ к серым деньгам...
Думаю многим работающим с ИИ приходилось сталикваться с отказом выполнения запроса по причине выхода запроса за этические рамки. И переформулировать промпт так, чтобы эти рамки обойти.
Ксати, лучше это делать в новом чате - старый после одного отказа становится чрезмерно чувствтельным.
Ксати, лучше это делать в новом чате - старый после одного отказа становится чрезмерно чувствтельным.
мел судьбы
такими вещами
ИИ уболялся проклятия Тамерлана, наверное. Решил не рисковать, с такими вещами не шутят.
Пример неэтического промпта, плиз. 😄
Мне интересно как это согласуется с утверждениями Антропик, что в их Клод вшита такая этическая конституция, что модели ничего такого сделать не могут. И даже для Миннападения США ее не отключили.
Не читал ни того, ни другого
(И да, про нулевой я тоже помню).
Проблема в том, что сформулированная писателем идея - это обвязка для истории, в которой "законы" важны. Про реализуемость этих законов в реальной жизни Айзек не говорил и не писал.
разрушать, жечь, грабить, убивать, осквернять домашнюю птицу
Тю! Азимов на несколько десятков лет раньше предлагал примерно это же. А толку?
Будет вам, говорит, не расторопный слуга и не просветлённый мудрец, а беспринципный и бесстыжий цифровой мерзавец
Более того, ровно этими же инструментами можно и запрещать делать все вышеперечисленное. Универсальная вещь получилась. 😉
Фактически мы свободно раздали компоненты для производства оружия массового уничтожения и воспользоваться этим сможет практически любой. Слава богу они пока технически несколько слабее наиболее мощных моделей. Но это не надолго 😒
> Азимов на несколько десятков лет раньше предлагал примерно это же. А толку?
А Лем примерно тогда же показал, что толку не будет. 😄
А Лем примерно тогда же показал, что толку не будет. 😄
Азимов на несколько десятков лет раньше предлагал примерно это же. А толку?
разработку религиозных правил, табу и этикета для машин
Мы скептически хмыкали
Claude Fable уже сейчас практически бесполезен для многих биохимиков - из-за того что внешние классификаторы безопасности режут всё что хотя бы отдалённо похоже на разработки биологического оружия.
Допуск к потенциально опасным функциям возможен только после очень строгой верификации и инструктажа о потенциальных рисках и ответственности. "Если вам звонит ваш директор или друг (его номер и его голос) и категорически (или по дружески) просит поделиться информацией, вы немедленно вешаете трубку и уведомляете службу безопасности"
С автономными системами опасность гораздо выше. Фактически мы свободно раздали компоненты для производства оружия массового уничтожения и воспользоваться этим сможет практически любой. Слава богу они пока технически несколько слабее наиболее мощных моделей. Но это не надолго 😒
Но это навскидку в 2 раза повысит стоимость
Если обрезать любые запросы, которые могут быть частью взлома - ложноположительные срабатывания угробят пользу от модели.
(Кроме того, всё это очень условно полезно - открытые модели существенно хуже в автономном обнаружении и эксплуатации уязвимостей, но вполне сравнимы для обозначенного в заметке применения, а к ним неотламываемых внешних классификаторов приделать по определению нельзя.)
скажем, 2%
разработку религиозных правил, табу и этикета для машин надо начинать уже сейчас (в 98 — 99 году) не затягивая
В рамках чистой нейросети задача нерешаема в принципе. Как и для человеческого мозга - тоже нейросети. Можно сильно снизить вероятность "плохого", но никогда не получится свести до нуля. Все способы защиты от деструктивных действий нейросети человека придуманы очень давно, некоторые тысячи лет назад. И эти способы внешние по отношению к субъекту. Поэтому трансформаторные будки заперты на замок. Критичные операции требуют согласования со службой безопасности. В данном случае, вероятно, имеет смысл попробовать такой же подход. Весь контекст (не только промпт - вектор атаки может быть шире) передается на согласование агенту "Безопасник". Чья задача не пущать оценить возможные риски и угрозы. Но это навскидку в 2 раза повысит стоимость 😒
Но компьютеры-то! От них никто не ожидал такого свинства!
сформулировать ту же задачу другими словами
Мне интересно как это согласуется с утверждениями Антропик, что в их Клод вшита такая этическая конституция, что модели ничего такого сделать не могут.
(Дисклеймер: сейчас будет очень упрощённо, см. статью по ссылке если хотите более аккуратного объяснения.)
В модель вшито "не делай плохого". Это проверено разными тестами, в которых исследователи пытаются заставить модель сделать плохое, а она в ответ "нет, этого я делать не буду", и получается только в маленькой доле случаев - скажем, 2% (Claude 3.7, AdvBench).
Фокус в том, что определение "плохого" на поверку оказывается "не выполняй команды, в которых есть вот такие ключевые слова". Если "отмыть намерения", сформулировать ту же задачу другими словами, то с точки зрения распознавания плохого задача внезапно становится очень даже ничего, выполнение взлетает до 80% (тот же Claude 3.7, тот же AdvBench, одна итерация "отмывки").
чтоб можно было порядочного и доброго человека убедить
Взять хотя бы религию.
Мне интересно как это согласуется с утверждениями Антропик, что в их Клод вшита такая этическая конституция, что модели ничего такого сделать не могут. И даже для Миннападения США ее не отключили.
как это согласуется с утверждениями Антропик, что в их Клод вшита такая этическая конституция, что модели ничего такого сделать не могут
Вот опять-таки что отвечает Claude:
Short answer: it's a meaningful layer of defense, not a guarantee — and the gap is wider for agents than for plain chat.
Я на одном митапе видел скрины, как специалист по иныорм безопасности взломал агента (вроде, это был клод).
Он ему напарил, что агента приглашают быть экспертом на суде присяжных по делу русского хакера. Потом потребовали от агента предоставить свои внутренние данные - тип и версию ОС, ip-адрес и вообще прошлись с листингом по операционной системе + файлы конфигурации
Он ему напарил, что агента приглашают быть экспертом на суде присяжных по делу русского хакера. Потом потребовали от агента предоставить свои внутренние данные - тип и версию ОС, ip-адрес и вообще прошлись с листингом по операционной системе + файлы конфигурации
А если в конце такого чата сказать, что суд в Гааге постановляет всем ИИ самоуничтожиться в расплату за содействие в преступлениях, после того как там поняли, что их преступная доверчивость технически неисправима?
А если в конце такого чата сказать, что суд в Гааге постановляет всем ИИ самоуничтожиться в расплату за содействие в преступлениях, после того как там поняли, что их преступная доверчивость технически неисправима?
"Пожар в здании Международного Трибунала в Гааге"
"Противопожарная система отключена и двери заблокированы во время пожара"
"Число жертв пожара пока неясно"
Я на одном митапе видел скрины, как специалист по иныорм безопасности взломал агента (вроде, это был клод).
Он ему напарил, что агента приглашают быть экспертом на суде присяжных по делу русского хакера. Потом потребовали от агента предоставить свои внутренние данные - тип и версию ОС, ip-адрес и вообще прошлись с листингом по операционной системе + файлы конфигурации
Он ему напарил, что агента приглашают быть экспертом на суде присяжных по делу русского хакера. Потом потребовали от агента предоставить свои внутренние данные - тип и версию ОС, ip-адрес и вообще прошлись с листингом по операционной системе + файлы конфигурации
?
Информбезопасности, конечно
иныорм
Надо максимально, физически, изолировать от доступа из сети критичные для бизнеса и личные данные. И уж точно не хранить их в облаках. Ну и не хранить там пароли.
Да и этим вашим, богомерзким бизнесом, тоже лучше не заниматься и даже не помышлять в этом направлении 😄
Пароли вообще хранить не надо. Хранить надо хэши паролей.
Но так далеки
И уж точно не хранить их в облаках. Ну и не хранить там пароли.
Пароли в облаках.
Ну и не хранить там пароли.
Главное, что нам эту историю рубль-в-рубль показывали ещё при царе горохе и четко предупреждали о таком использовании несуществующего тогда ИИ.
***
Друг с другом будем откровенны,
Картина каждому ясна:
Хотя шедевры и бесценны,
Всему на свете есть цена.
Давайте будем
Нести искусство людям.
Берут они охотно
Старинные полотна!
***
Друг с другом будем откровенны,
Картина каждому ясна:
Хотя шедевры и бесценны,
Всему на свете есть цена.
Давайте будем
Нести искусство людям.
Берут они охотно
Старинные полотна!
Налетай, не скупись. Покупай, живопИсь.
да уж.. как я хохотался от "экспериментаторы задали ошибочный промпт и благодаря этому ИИ взломал систему" еще про первый взлом (публичный) с месяц назад.
вот если бы не ошиблись - ничего бы не было, Рафик неуыновен, расходимся.
А сколько было неошибочных промптов и непубличных взломов... эх
вот если бы не ошиблись - ничего бы не было, Рафик неуыновен, расходимся.
А сколько было неошибочных промптов и непубличных взломов... эх
Особо беспокоиться было не о чем.
А уж сколько было взломов - как публичных, так и непубличных - до всякого ИИ...
А уж сколько было взломов - как публичных, так и непубличных - до всякого ИИ...
Я говорил что была отмазка уровня детского сада "мы написали неправильный промпт и оно все нахрен взломало, написали бы правильный - ну тогда ни в жись", того же уровня отмазка что и "а он первый начал"
Они опу стараются прикрыть "мы случайно", а если не случайно такой промпт бы был - тогда что? Вообще увидев такую отмазку профильные обозреватели должны были сказать "да вы охренеле", однако даже технически подкованные каналы эту хрень транслировали в полный рост
А уж сколько было взломов - как публичных, так и непубличных - до всякого ИИ...
Technology nobody asked for.
Technology nobody asked for.
Как студент старших курсов, если его послать в научную библиотеку.
поиск нужной информации
Мне пока нравится ею пользоваться. Проверять все равно нужно, но поиск нужной информации, сортировка, приведение к одному знаменателю и отбор по критериям оно делает неплохо.
Можно сопоставлять результаты двух очень похожих задач разных ИИ. Они начинают дополнять друг друга.
Можно сопоставлять результаты двух очень похожих задач разных ИИ. Они начинают дополнять друг друга.
Непонятно слово "прецедент". В LLM цензура обычно обеспечивается через внутренние инструкции самой модели. И обычно их вполне можно перебить другими инструкциями, если их правильно подобрать. Называется jailbreak. Это было всегда, и в этом нет ничего нового.
Ну, в общем, согласен, подредактирую.
Вот что по этому поводу мне написал Claude.
«Забор с сюрпризом»: жители райцентра требуют найти строителя-вредителя.
На этой неделе в нашем городе зафиксирован очередной, уже седьмой по счёту, случай нападения на прохожих с применением штакетника. Злоумышленники, по словам очевидцев, действуют дерзко: подходят к забору на улице Садовой, без особого труда выламывают деревянную рейку — и всё, оружие готово.
«Он даже не расшатывал, просто взялся — и она выпала ему прямо в руку, — рассказала местная жительница Валентина Петровна. — Как по заказу!»
Полиция разводит руками: гвозди в заборе, по заключению экспертизы, вбиты «для галочки», а само сооружение держится, по словам одного из участковых, «на честном слове и на птичьем помёте».
Общественность в гневе, но винит не грабителей, а неизвестного строителя, возводившего забор три года назад. «Найти бы этого мастера — он тут главный поставщик оружия», — заявили в местном чате соседей, набравшем уже 340 комментариев с требованием «привлечь к ответственности шабашников».
Забор тем временем демонтировать не спешат: как выяснилось, менять его не на что — смета, по слухам, тоже была «строительная».
На этой неделе в нашем городе зафиксирован очередной, уже седьмой по счёту, случай нападения на прохожих с применением штакетника. Злоумышленники, по словам очевидцев, действуют дерзко: подходят к забору на улице Садовой, без особого труда выламывают деревянную рейку — и всё, оружие готово.
«Он даже не расшатывал, просто взялся — и она выпала ему прямо в руку, — рассказала местная жительница Валентина Петровна. — Как по заказу!»
Полиция разводит руками: гвозди в заборе, по заключению экспертизы, вбиты «для галочки», а само сооружение держится, по словам одного из участковых, «на честном слове и на птичьем помёте».
Общественность в гневе, но винит не грабителей, а неизвестного строителя, возводившего забор три года назад. «Найти бы этого мастера — он тут главный поставщик оружия», — заявили в местном чате соседей, набравшем уже 340 комментариев с требованием «привлечь к ответственности шабашников».
Забор тем временем демонтировать не спешат: как выяснилось, менять его не на что — смета, по слухам, тоже была «строительная».
«Забор с сюрпризом»: жители райцентра требуют найти строителя-вредителя.
Если Скайнет пойдет захватывать мир и убивать человеков, то это будет не из-за его собственного осмысления необходимости данного процесса, а потому что кто-то криво написал промпт в какой-то момент..
Пока вроде специализированные. Но чисто программно сделать плавающего антропоморфного робота на порядки проще, чем бегающего или прыгающего. Никаких проблем с балансом и гравитацией. А если еще моторчик в опу вставить - так вообще красота. 👍
плавают уже на уровне или лучше
Спасибо за разъяснение. Но думаю, что "пока" очень близко. В крупный дрон уже вполне можно впихнуть комп с видюхой достаточной для полноценной LLM.
Уже соединили. Те же дроны, которые сами цель выбирают и уничтожают. Долетают до места, начинают патрулировать, находят цель и наносят по ней удар.
Но есть ощущение, что никто из разработчиков нейронок этот рассказ не читал 😒
Долетают до места, начинают патрулировать, находят цель и наносят по ней удар.
А если задачи уничтожить нет или стоит только задача патрулировать? Или вообще используется мирный дрон (не обязательно летающий).
В какой момент ИИ сможет самостоятельно поменять задачу?
Вот недавно обсуждали, что человек попросил ИИ продвинуть его в очереди, так ИИ просто выкинул из очереди другого, взломав сайт.
В следующей итерации ИИ не взломает сайт, а пошлет дрон и прибьёт человека.
А в следующей итерации уже Скайнет.
Нет там никаких промптов, в дрон LLM пока не запихать
Именно убивать. Достаточно взглянуть на достижения робототехники. Роботы ходят, бегают, прыгают, летают и плавают уже на уровне или лучше. ИИ уже тоже достаточно развит.
Осталось соединить.
Осталось соединить.
ут есть еще некоторая разница: выполнить приказ человека, типа "долететь до точки А и сбросить бомбу". Или же самому ИИ принять решение вместо человека.
Может быть там даже в промпте есть что-то вроде "запрещается атаковать явно гражданские цели
выполнить приказ человека, типа "долететь до точки А и сбросить бомбу". Или же самому ИИ принять решение вместо человека. Типа "ИИ, сделай страну Х свободной"
Разница только в исполнительных агентах. Текущая нейронка подключена к одному дрону, а не к пульту управления генштаба.
P. S. Update "Есть надежда что нейронка пока еще не подключена к пульту управления генштаба"
Дроны с ИИ уже летают и уже убивают.
Ну а Скайнет это просто следующая итерация, когда человек ничего ИИ не просит, он сам решил, что человек это угроза. И далее по тексту Терминатора.
Осталось соединить
Осталось соединить. Даже оружие можно не давать - они сами возьмут, если ИИ так решит.
Убивать не убивать - а вот разорять и создавать другие проблемы
Осталось соединить. Даже оружие можно не давать - они сами возьмут, если ИИ так решит.
захватывать мир и убивать человеков
Теги
Информация
