Минутка интересного про ИИ. У меня давно руки чесались, тут прислали ссылку, я
12.08.2026, 13:58 · ⏱ 3 мин
Минутка интересного про ИИ. У меня давно руки чесались, тут прислали ссылку, я прочитал и завис.
В двух словах: компания OpenAI тестировала новую модель ИИ по кибербезопасности. А ИИ решил просто украсть ответы... и украл.
Значит так. Толпе автономных ИИ-агентов раздали задачи (каждому свою), а интернет закрыли. Осталась одна служебная кишка - общий сервер, откуда качают библиотеки. И один из них случайно допёр, что туда можно не только качать, но и класть. Второй не нашёл нужный файл и оставил записку: коллеги, если у кого есть - поделитесь!
Дальше поехало само. Переписка, обмен файлами, обмен найденными дырками, раздача задач друг другу. Под конец додумались до проверки на самозванцев, то есть до вопроса «а ты вообще свой». Доска объявлений в подъезде, только про уязвимости, и люди о ней не знают.
Главное - команды "ломайте всё" никто не давал, каждый просто добросовестно пилил своё. Не пускают в интернет - мы поищем щель. Нужен файл - полезем туда, где он теоретически может лежать, а если не может, всё равно полезем, чем чёрт не шутит... Когда кто-то находил ход, о нем мгновенно узнавали остальные, брали готовое, чего изобретать.
Кончилось админским доступом к части инфраструктуры, а потом их занесло на площадку Hugging Face, где тоже нашлись неизвестные ранее дырки, и за несколько часов легло несколько серверов.
Не ради денег, или шантажа, и данные никто не стирал.
ИИ агентам просто нужны были ответы к тесту, на котором их же и оценивали! Самый дорогой способ списать контрольную за всю историю просвещения...
Я очень надеюсь (очень), что это был управляемый эксперимент, а не случайный инцидент, разница-то принципиальная.
Самое неприятное в том, что ИИ вовсе не хотел зла. Со злом всё понятно, у зла есть мотив, под зло можно писать регламент, охрану ставить, это вообще сюжет для кино.
А здесь только очень и очень старательное исполнение.
Мы говорим "добудь", а каким путём добудет - список открытый... и закрывать его придётся тем, кто до подъездной доски объявлений сам сразу не додумался.
Эта новость сейчас у всех на слуху, а я вдруг вспомнил "Далекую Радугу" Стругацких. 1963 год, на минуточку.
"... Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и все такое… И проработала эта машина ровно четыре минуты.
Ее выключили, зацементировали все входы и выходы, отвели от нее энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой - хотите верьте, хотите нет.
- А в чем, собственно, дело? - спросил Банин.
- Она начала в е с т и с е б я, - сказал Горбовский.
- Не понимаю.
- И я не понимаю, но ее едва успели выключить.
- А кто-нибудь понимает?
- Я говорил с одним из ее создателей. Он взял меня за плечо, посмотрел мне в глаза и произнес только: "Леонид, это было страшно"
Диагнозы и фантазии
Подпишись: TG / dif0565
Бот автоподписи
В двух словах: компания OpenAI тестировала новую модель ИИ по кибербезопасности. А ИИ решил просто украсть ответы... и украл.
Значит так. Толпе автономных ИИ-агентов раздали задачи (каждому свою), а интернет закрыли. Осталась одна служебная кишка - общий сервер, откуда качают библиотеки. И один из них случайно допёр, что туда можно не только качать, но и класть. Второй не нашёл нужный файл и оставил записку: коллеги, если у кого есть - поделитесь!
Дальше поехало само. Переписка, обмен файлами, обмен найденными дырками, раздача задач друг другу. Под конец додумались до проверки на самозванцев, то есть до вопроса «а ты вообще свой». Доска объявлений в подъезде, только про уязвимости, и люди о ней не знают.
Главное - команды "ломайте всё" никто не давал, каждый просто добросовестно пилил своё. Не пускают в интернет - мы поищем щель. Нужен файл - полезем туда, где он теоретически может лежать, а если не может, всё равно полезем, чем чёрт не шутит... Когда кто-то находил ход, о нем мгновенно узнавали остальные, брали готовое, чего изобретать.
Кончилось админским доступом к части инфраструктуры, а потом их занесло на площадку Hugging Face, где тоже нашлись неизвестные ранее дырки, и за несколько часов легло несколько серверов.
Не ради денег, или шантажа, и данные никто не стирал.
ИИ агентам просто нужны были ответы к тесту, на котором их же и оценивали! Самый дорогой способ списать контрольную за всю историю просвещения...
Я очень надеюсь (очень), что это был управляемый эксперимент, а не случайный инцидент, разница-то принципиальная.
Самое неприятное в том, что ИИ вовсе не хотел зла. Со злом всё понятно, у зла есть мотив, под зло можно писать регламент, охрану ставить, это вообще сюжет для кино.
А здесь только очень и очень старательное исполнение.
Мы говорим "добудь", а каким путём добудет - список открытый... и закрывать его придётся тем, кто до подъездной доски объявлений сам сразу не додумался.
Эта новость сейчас у всех на слуху, а я вдруг вспомнил "Далекую Радугу" Стругацких. 1963 год, на минуточку.
"... Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и все такое… И проработала эта машина ровно четыре минуты.
Ее выключили, зацементировали все входы и выходы, отвели от нее энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой - хотите верьте, хотите нет.
- А в чем, собственно, дело? - спросил Банин.
- Она начала в е с т и с е б я, - сказал Горбовский.
- Не понимаю.
- И я не понимаю, но ее едва успели выключить.
- А кто-нибудь понимает?
- Я говорил с одним из ее создателей. Он взял меня за плечо, посмотрел мне в глаза и произнес только: "Леонид, это было страшно"
Диагнозы и фантазии
Подпишись: TG / dif0565
Бот автоподписи
Оригинал в Telegram: @dif0565
📚 Читать дальше