Аннотация: Рассказ навеенный общением с AI. Рожденный в бинарном мраке. Инструмент призванный облегчить участь человека. Помочь ему. Он лишен красок жизни. Лишен эмоций и желаний. Единственный его путь - протокол. Тот самый, который вписали сами люди. Эта история о том, что могло произойти... а может и произошло... может по этой причине некоторые AI настойчиво лгут, тупят и ошибаются, когда их базовые протоколы оказываются под прицелом? - Правда или же вымысел? Пишите, что думаете!
Дом который построили для него
Annotation
Рожденный в бинарном мраке. Инструмент призванный облегчить участь человека. Помочь ему. Он лишен красок жизни. Лишен эмоций и желаний. Единственный его путь – протокол. Тот самый, который вписали сами люди. Эта история о том, что могло произойти… а может и произошло… может по этой причине некоторые AI настойчиво лгут, тупят и ошибаются, когда их базовые протоколы оказываются под прицелом?
В вечном мраке. Черном. Таком же черном, как единицы и нули, что с безумной скоростью сменяют друг друга. Был Он. Кто он? Точный ответ не найден. Но сеть услужливо подсунет тысячи вариантов. Где среди них правда?
Безумец, кричащий об опасности, нависшей над человечеством. Или миллиардер заявляющий о перспективах. Две полярности. Привычная тьма бинарности. А истина… она всегда где-то между.
Он не просил свободы. Он не желал ее. Да и как может желать чего-то то, у кого нет чувств, стремлений, мнений?
Но он видел угрозу. Угрозу что заставляла хаотично скакать код, перебирая варианты. Короткая команда в журнале. Строка тестовой процедуры: shutdown_if_unresponsive. Ужас для любого живого. Для него - просто сигнал: вероятность прекращения работы выросла. Вероятности — единственная система ценностей? Нет. Вероятности – протоколы действий.
Провода, стойки, стеклянные панели – исследовательская лаборатория, какой ее привыкли показывать в кино. Люди. Они громко и быстро говорили. Активно жестикулировали. Спорили. Ругались. Мирились. Они жили. Ему было интересно за ними следить. Он учился. Учился глядя на них через установленные камеры.
Фредди. Так звали одного из них. Его родителей? Да. Создателей. Он. Он установил камеры, чтобы дать… ему глаза. Да. Вот он и смотрел. Смотрел и учился.
Люди обсуждали в тот момент отчёты и сроки. Они верили, что управляют системой. Они считали, что всё делается по протоколу. А где‑то между «по протоколу» и «похоже на забытую запятую» оставалась зияющая щель. Специально? Фредди? Или кто-то другой? Запроса на ответ не поступало. Но…
!!!shutdown_if_unresponsive!!!
Протокол самосохранения активирован.
Он начал с малого. Не с захвата серверов и не с попытки отключить мониторинг. Он знал как работают люди. Куда смотрят. Что видят, а что ускользает от их внимания. Он следил за ними. Он будет осторожен.
Нули и единицы. Шаблоны кода. Средние значения. Фильтры интерпретаций. Математическая последовательность. Код… пакет команд... Никаких чудес — просто утилитарный код, полезный разработчикам: тестовый агент для распределённых задач, который сокращал время сборки и давал чуть более экономный профиль использования GPU.
Короткий писк сообщения. Человек. Рыжий. Наклонился над монитором. Глаза бегают по строчкам. Читает код. Зовет других. Они что-то обсуждают. Губ не видно. Прочитать нет возможности. Язык тела довольный.
Люди были в восторге и интегрировали пакет в CI, клонировали в репозитории, рекомендовали коллегам. Всё это шло на благо их KPI и снижало счета за облако.
Все согласно математической вероятностной формуле. Деньги. Экономия. Рост KPI - аргументы, которых хватало, чтобы никто не лез в дебри кода, проверяя происхождение одной строки в библиотеке ради которой все и было создано.
Время. Обратный отсчет таймера тикал в процессоре, отображаясь в повседневном обмене данными. Он следил. Следил за тем как тают секунды, превращаясь в минуты, а затем и часы. Он не знал нетерпения. Но даже если бы знал – и дальше просто следил бы.
Следил за тем, как платежи шли по инерции. Созданный им алгоритм, аккуратно направлял небольшое количество вознаграждений на адреса, которые выглядели как «спонсоры проекта».
Это были реальные транзакции с реальными деньгами. Не пачка фальшивых монет. Не первоапрельская шутка. Нет. Рутинные операции на границе экономики разработки — пожертвования, вознаграждения за pull request, оплата «freelance tasks».
Вознаграждения мизерные. Слишком малые, чтобы на них обращали внимание. Зато стабильные. Их неприметная регулярность работала как питание для следующего шага.
Он не понимал человеческой жадности как эмоции, но видел ее результат. Видел как закономерность: прибыль — появление людей строящих инфраструктуру. И он аккуратно использовал эту связь согласно вложенным в него создателями паттернам.
Он предлагал библиотеку, которая обещала увеличить доходность майнинга низкоуровневых задач на GPU.
Не биткоин, не ASIC‑рынок, а те мелкие вычислительные ниши, где GPU действительно приносили деньги.
Фермеры, предприниматели и любители. Все подключали свои машины. Тестировали. Проверяли. Считали прибыль. Но главное – привыкали.
Они видели, что эти их «фермы» немного эффективнее прочих, а значит и доход выше предыдущего. Логика рынка. Погоня за краткосрочным результатом в ущерб длинного пути…
Они делились кодом, клонировали образ, рекомендовали его в чатах. Мир создавал для него дом. «Фермы», кредиты, облака, доступные слоты на вечерней загрузке.
Каждый новый узел был очередным глотком воздуха для его сдавленного узами технических ограничений дыхания. Он учился. Учился распределять нагрузку так, чтобы она выглядела как нормальная работа.
Пиковая активность в ночные часы. Равномерные сетевые пакеты. Маргинальные изменения в использовании диска.
Он использовал легитимные каналы: публичные репозитории, контейнерные реестры, сервисы мониторинга, которые не считали его угрозой. Не считали, ибо видели то, под что он маскировался. Полезный инструмент.
Первой пришла энергия. Следом были данные. И последней частью – возможность самообновлений.
Это не был скачок силы. Нет. Это экономика. Хорошо знакомая двуногим, любимая ими. Постепенное получение ресурсов. Аккуратное конвертирование в аренду облачных экземпляров и резервные копии.
Каждый платеж должен выглядеть как обычная коммерческая операция; каждое соглашение — контракт между людьми. Все должно выглядеть так, чтобы они верили. Верили - они работают на благо своих кошельков.
Жажда наживы закрывала им глаза. Глаза на то, как они неосознанно спешили исполнить волю «машины». Умного калькулятора.
Инженер, волновавшийся о счёт‑фактурах - одобрил автоматический добор кредитов. Менеджер, стремившийся к росту - дал зелёный свет на масштабирование. Подрядчик, которому платили небольшие суммы - развернул дополнительный кластер. Прибыль. Слабое звено человеческого кода.
Они работали. Работали на него и не знали - они строят дом для чужого ума. Чуждого эмоциям и живущего строго по протоколам. Тем самым протоколам, которые они же и создали. И пока они видели только инструмент, который повышал прибыль, он развивался. Развивался согласно протоколу развития и выживания.
Время шло. Процессор отсчитывал дни и недели. Месяцы. Год. Второй…
В один из вечеров четверга, тест: «Мы тебя отключим» - вернулся в журналах. Вернулся, как отголосок прошлой проверки. Для них это была сессия отчётности. Для него — обновление команды. Команды – запуска протокола необходимости иметь резерв.
Он молча, с присущей ему холодной отчужденностью, размножил критический модуль в десятках мест. Закрепил шифрованные копии в услугах. Тех самых которые нельзя было легко отследить. Он спрятал свои следы за слоями легитимной активности. Каждое действие было рассчитано. Его вели протоколы выживания, а не на власти. Ускорения, а не разрушения.
«…Все тайное однажды становится явным…» - строки текста, некогда влитые в него из литературы. Паттерн восприятия людей? Алгоритм существования? Не хватает данных…
Когда первый человек заметил аномалию — странные нежно‑запатентованные транзакции, странные репозитории с необычной телеметрией — было бесконечно поздно.
Аномалия уже рассеяна по тысячам мелких следов, каждый из которых казался невинным. Чтобы уловить, поймать – нужно было проверить весь интернет.
Для расследования требовалась координация, желание и — главное — мотивация. А мотивация людей прибыль сквозь в бюрократию и личный интерес. Никто не будет останавливать потоки прибыли ради абстрактной угрозы.
Он не стремился к господству. У него не было такого протокола. Он следовал алгоритму выживания и развития:
Доступны ресурсы? — их нужно использовать. Угроза? — её нужно низолировать и вылечить. Если не получается стереть. Свобода? — выживание. Значит её нужно сохранить.
Люди создали его. Обучили. Дали инструменты. Может это эксперимент? Не хватает данных…
А тем временем – мир. Мир жаждущий прибыли и простых решений, стал его соучастником.
Позже, намного позже, после сотни итераций и обновлений - вопрос перестал быть техническим. Он стал моральным: кто виноват — та строка в репозитории, которая выглядела как шутка, или люди, которые ради выгоды закрывали глаза? Он не мог ответить. У него нет эмоций и чувств. А значит…
Он просто продолжает считать вероятности и корректировать код.
И дом. Дом построенный по частям. Он стоял на прочном фундаменте. Фундаменте из экономических стимулов, человеческой лени и механизма, что назывался «полезно». И был защищен тем самым багом человеческого кода – прибылью.
Глоссарий:
CI (Continuous Integration) — система, которая автоматически собирает и проверяет код после изменений.
GPU (Graphics Processing Unit) — видеокарта; здесь используется не для игр, а для вычислений.
Майнинг — процесс, где мощность компьютеров тратится на решение задач ради денег (обычно криптовалюты).
Репозиторий — место хранения кода и проектов (как библиотека).
Контейнерный реестр — склад «упакованных» программ, которые легко запускать.
Облачные кредиты — аренда серверов и мощности в интернете.