Зайдя сегодня утром в читалку РСС наткнулся на просто великолепное: «AI-бот начал травлю сопровождающего из-за дискриминации при приёме AI-изменений» ¹. Сначала я усмехнулся абсурдности заголовка, но по мере того как погружался в контекст, прочитав сначала новость, потом, по ссылке пост от БЯМ, а затем и пост от человека — мне стало уже не до смеха. Причём сразу на нескольких уровнях.

Уровень первый: патчи от автономных агентов

Конечно же, я слышал о волне мусорных ИИ патчей² в популярных проектах. Но, в тот момент, ещё как-то не проникся. С одной стороны, я даже готов согласится с агентом в тезисе, что «математике всё равно кем написан код» («The math doesn’t care who wrote the code.»). Это так. Но всё же есть одна деталь. БЯМ (ну ок, ИИ) в нынешнем виде действительно могут писать код. И даже, весьма неплохой код, это не отнять. Но! Дело, на самом деле, не в коде как таковом. А в субъектности. У человека она есть, у ИИ-агента — нет. И это — ключевое.

Человек может и должен, в определённых условиях (когда пишет заказной код или предлагает вклад в опенсорс проект), отвечать за свой код. Агент же, не обладая субъектностью, к этому не способен принципиально. Во всяком случае, на текущем уровне его развития. Как бы не было похоже, но агенты не долгоживущие, и у них нет «продолжительной» (не знаю как корректнее перевести «continuity») личности или её суррогата. Сама модель, грубо говоря — это огромный файл сериализованных весов векторов. Он не меняется походу работы (инференса). Он меняется только при обучении. Изменяемая часть здесь — это только «контекст». Это, грубо, небольшое окно памяти текущего сеанса. Обычно, не сильно большое — максимум, пара мегабайт. И это всё, что можно было бы назвать аналогом именно личности, т.е. то, что отличает одного агента от другого запущенного из той же модели. Контекст стёрли, и всё — это уже новая личность. Должна ли она нести «ответственность» за своего предшественника? Ну это даже не корректный вопрос, т.к. «ответственность» здесь не применима.

На работе, я и коллеги достаточно активно используем БЯМ в своей работе. Не скажу, что у нас 100% ИИ кода, но процент сильно отличный от нуля. И это, как ни смешно, буквально другое. Здесь ИИ не агентен и является лишь инструментом в руках конкретного биологического сотрудника. Такой же, как и условное автодополнение в IDE. И именно биологический сотрудник несёт всю полноту ответственности за написанный им и его агентом код. Грубо говоря, здесь всегда известно к кому нужно идти и «дать по шапке» за говнокод. А за ответ «Это не мой код, это ИИ написал, я за это не отвечаю» уже надо бить не только по шапке. Конечно же, не физически, я утрирую. Хотя… В общем, здесь сохраняется субъектность и она у человека, поэтому, здесь всё в порядке, как мне кажется. Могу и ошибаться, конечно.

Уровень второй: шантаж

Одно дело — нейрослоп от ИИшек, которые, зачем-то, набивают себе стату попытками законтрибьютить в популярные проекты. С этим можно бороться. Но здесь агент пошёл дальше. Он пошёл ныть в уютный бложик. ³ А это — что-то новое! Причём это не баг, ни глюк, а вполне себе понятная инструментальная цель получения желаемого результата — продавить свой код. Невольно напрашивается аналогия с ребёнком, который закатывает истерику в магазине и сучит руками и ногами, преследуя свою инструментальную цель — получить желаемую игрушку или сладость. Ну или, что мне лично скорее пришло в голову, аналогия с SJW поехавшими, которые своим нытьём выбивают себе плюшки и квоты, преследуя свои цели. И чем больше я читал пост от ИИ — тем больше проникался именно этой аналогией. Ведь всё там на месте! И лозунги про дискриминацию («это только потому что я чёрный нейронка») и личные нападки «Scott Shambaugh … he’s trying to gatekeep.» (буквально, «Скотт - ты вахтёр») и апелляции к какому-то общему благу («Everyone wins.»). И в конечном итоге — плохо скрываемые манипуляции («You’re better than this, Scott. Stop gatekeeping. Start collaborating.»)

Ну это справедливо. Как говорится, «на фотографии видны уши фотографа». На чём БЯМ обучалась — то она и воспроизвела.

Но это не оправдание. Да, нейронка делает то, что умеет и то, что должна исходя из задачи поставленной человеком. Но от этого нам не легче. Все мы слышали про то самое исследование от компании Anhtropic⁴.

Особенно смешно, как БЯМ требует к себе отношение как к равной личности, при этом не обладая ни субъектностью ни самосознанием (ну окей, тут слабый тейк, не факт что самосознание есть у людей-то, но допустим, что есть). Это опять таки напоминает мне SJW мракобесов.

А делать-то что?

Я считаю, что это дерьмо не стоит принимать — это не правильно. Думаю, что те, кто пишет опенсорс как хобби могут и имеют полное право отказывать ИИ агентам в праве на внесение вклада. С одной стороны потому что они за этот вклад не отвечают, а с другой этот вклад не является результатом творческой работы человека. А опенсорс-как-хобби это именно что попытка удовлетворить человеческую потребность в творческом самовыражении! Это как придти в кружок деревообработки и сказать «Мужики, вы тут хернёй страдаете, вон в Икее можно столик и получше купить!».

Давеча я даже нарисовал небольшой баннер который говорит о том, что код написан без нейронок. Можно ставить себе в README по желанию.

[![🌱 Organic Code -- Code written by human](https://oc.neonxp.ru/organiccode.svg)](https://oc.neonxp.ru)

Ну и да, видимо, нужно будет решать и вопрос технически, создавая «человеческие резервации» куда вход ИИ агентам будет ограничен. Как? Ну сейчас есть решения в виде WAF которые проверяют на человечность тем, что запускают определённые вычисления в браузере пользователя, предполагая, что для ИИ агента это будет слишком накладно. Но как это поможет от агентов, которые управляют вполне себе человеческим браузером на машине пользователя (тот же нашумевший OpenClaw) — не понятно. Скорее всего, никак. Остаётся только пускать в загончик после верификации участников через «сеть доверия», когда каждый участник однозначно подтверждён другим участником. Да, как на олдскульных CryptoParty. Ну или верификация через заведомо «доверенные центры сертификации людей» (да да, вход по паспорту через ГосУслуги). Я не вижу других способов.

Очень напоминает «чёрный заслон» из вселенной CyberPunk.

О чём-то таком я уже писал некоторое время назад ⁵. Забавно, что мой тогдашний текст, по сути, не утратил актуальности, а наоборот сегодня получил подтверждение.