Статья Код, блокчейн и иллюзии: почему ИИ не заменит мозги

[Blackbiz Bot]

Литература пыталась нас предупредить. Серьезно, мы получаем один и тот же месседж уже лет пятьсот: от глиняного Голема до нейросетей Гибсона. Суть проста: штука, которую ты создал себе в помощь, в итоге переделывает тебя самого. Мы все прочитали, кивнули и благополучно проигнорировали. Сегодня ИИ обещает заменить всех — от джунов до юристов. Но пока индустрия продает нам светлое будущее, реальность подкидывает смертельно опасные советы в чат-ботах.
О том, почему человечеству не стоит возлагать слишком многое на «плечи» ИИ, рассказал Дмитрий Никольский, CPO BitOK.

От Голема до «R.U.R.»: мы всегда хотели Kill Switch​

Многие думают, что страх перед ИИ появился вместе с Терминатором. На самом деле он старше электричества.
Возьмите Пражского Голема XVI века. Раввин Лев создал его для защиты, но в итоге был вынужден «выключить» — создание вышло из-под контроля. Человечество придумало ИИ и сразу же придумало *kill switch.

Рабби Лев оживляет голема. Рисунок М. Алеша. По задумке автора, раввин Лев пишет священное слово «Emet» (истина) на лбу глиняного гиганта Источник: Википедия
*Kill switch — это механизм экстренного принудительного отключения системы. В технике и софте это «тревожная кнопка», которая мгновенно прекращает работу устройства или программы в случае аварии, взлома или выхода ситуации из-под контроля. Его главная задача — минимизировать ущерб, когда штатные способы выключения не работают.
Потом была Мэри Шелли. Ее Франкенштейн — это не монстр, это классический кейс плохого менеджмента. Виктор Франкенштейн — просто инженер, который круто решил техническую задачу, но забил на последствия и ответственность. Каждому разработчику эта ситуация знакома.
А в 1920-м Карел Чапек ввел слово «робот». Там машины не восстают из-за злобы. Люди просто сделали себя лишними, делегировав все подряд.
Главный урок за столетия: создавая себе замену, ты сам не замечаешь, в какой момент становишься не нужен.

Три пророчества, которые мы превратили в баг-репорты​

Фантасты прошлого века предсказали не технологии, а наши провалы.

• Айзек Азимов и его «Три закона». Это была первая попытка alignment — настройки ценностей машины под человека. И каждый его рассказ — это пример того, как безупречная логика ведет к абсурду. Я вижу это в AML-системах каждый день. Разрабы пишут жесткие правила, алгоритм их исполняет: в итоге он блокирует перевод 500 рублей бабушке, но в упор не видит «прачечную» с Виргинских островов. Формально все правильно, по существу — бред.
• Артур Кларк и HAL 9000. Компьютер убивает экипаж не потому, что он злой, а из-за конфликта директив: скрывать информацию и одновременно быть честным. Для инженера это не триллер, а типичный конфликт требований в ТЗ.
• Филип Дик и «Мечтают ли андроиды об электроовцах?». Он задал главный вопрос эпохи дипфейков: если копия неотличима от оригинала, есть ли разница? Его ответ: да. Разница в наличии внутреннего опыта. У машины его нет.

На картинке изображен главный герой фильма «Бегущий по лезвию 2049» перед гигантской голограммой виртуального ассистента, созданного для имитации образа идеальной девушки. Эта сцена напрямую развивает центральную идею романа Филипа Дика «Мечтают ли андроиды об электроовцах?» о том, что в будущем даже самые интимные чувства могут оказаться лишь массовым продуктом, стирая грань между подлинным человеком и безупречной технической имитацией.

Взгляд «из-под капота»: ИИ не думает, он считает​

Давайте без маркетинговой шелухи. Современные языковые модели — это не интеллект. Это гигантская статистическая машина для предсказаний. Она не «понимает» смысл, она вычисляет вероятность.
Когда ChatGPT уверенно цитирует несуществующие законы, он не врет. Он генерирует статистически правдоподобный текст. У него нет категории «истина» — есть категория «вероятность». Для блокчейн-разработчика это звучит дико. Мы строим trustless-системы, потому что не доверяем никому. А теперь нам предлагают верить «черному ящику», который сам не знает, почему выдал такой результат.

Блокчейн учил проверять, ИИ учит верить на слово​

В крипте есть заповедь: Don’t trust, verify (не доверяй, проверяй). Весь смысл в том, что математика заменяет репутацию.
С ИИ все наоборот. Вы не видели обучающую выборку, не знаете весов модели и не понимаете ее логику. Чтобы проверить ответ ИИ, вам самим нужно быть экспертом в теме. А если вы эксперт, зачем вам тогда ИИ для этого вопроса?
В AML это называют «проблемой ложной уверенности». Аналитик видит красивый дашборд и начинает верить цифре больше, чем собственному опыту. ИИ не усиливает мышление. Он замещает его иллюзией проверенности.

Хроника разочарований: когда ИИ идет вразнос​

Это не теория, а конкретные кейсы последних лет, которые доказывают: на ИИ надейся, а сам не плошай.

1. Microsoft заменила редакторов алгоритмом, и тот сразу перепутал фото певиц в новости о расизме. Оставшимся людям пришлось вручную удалять новости о провале собственного алгоритма.
2. Фонд помощи людям с РПП (NEDA) заменил волонтеров чат-ботом. Бот начал советовать людям с анорексией считать калории и худеть. Это буквально смертельный совет. Кто-то нажал кнопку «деплой», не подумав, что генеративка в кризисных ситуациях — это граната в руках обезьяны.
3. Air Canada пришлось через суд отвечать за бред своего чат-ботика. Компания пыталась доказать, что бот — это «отдельная сущность», за которую они не отвечают. Не вышло.

По данным исследований, 55% компаний, которые поспешили заменить сотрудников ИИ, теперь жалеют об этом решении — экономия обернулась оттоком клиентов и репутационным ущербом. Такие исследования стоит почаще считать владельцам бизнеса, которые искренне считают, что «Claude и ко» заменит им всех сотрудников.

Источник: mayhemcode. Визуализация: BeInCrypto

Чего бояться на самом деле​

Забудьте про Скайнет. Восстания не будет. Будет тихая атрофия.
Программист, который годами пишет код с Copilot, теряет способность мыслить архитектурно. Аналитик перестает читать первоисточники. Студент не узнает, каково это — продираться сквозь сложный текст и чувствовать, как в голове складывается понимание.
Никакого восстания. Просто постепенное превращение человека в придаток интерфейса. Филип Дик был ближе всех: настоящая опасность не в том, что машина станет человеком, а в том, что человек станет машиной.

Красная таблетка — это не технология​

Я не призываю игнорировать прогресс. Автоматизация и машинное обучение — это отличные инструменты. Но важно помнить принципы:

• Принцип блокчейна: верификация важнее веры. Если ты не можешь проверить, как система пришла к результату, не принимай этот результат как истину. ИИ — это черный ящик, а не верховный судья.
• Принцип инженера: инструмент, а не замена. Молоток забивает гвоздь, но не решает, где строить дом. Используй ИИ, чтобы ускорить рутину, но никогда не отдавай ему право принимать финальные решения.
• Принцип AML: критический фильтр. Алгоритм всегда будет ошибаться в сложных кейсах, потому что у него нет жизненного опыта. Не давай «цифровому восторгу» заглушить твою интуицию и здравый смысл.

Если вернуться к «Матрице», красная таблетка — это решение видеть вещи такими, какие они есть. Опасность не в том, что мы создадим нечто умнее нас — нечто, что сделает нас глупее, и назовем это прогрессом. Самый опасный баг — это тот, который выглядит как фича.
Хотите получить доступ к экспертным инсайдам? Подписывайтесь на наш телеграм-канал, получайте доступ торговым сигналам и новостям рынка, общайтесь с нашим аналитиком. Будьте на шаг впереди рынка каждый день!
The post Код, блокчейн и иллюзии: почему ИИ не заменит мозги appeared first on BeInCrypto.

Продолжить чтение...