Иъ Лю Ха
Норберт Винер. Некоторые моральные и технические последствия автоматизации

Самиздат: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]
Ссылки:
Школа кожевенного мастерства: сумки, ремни своими руками Типография Новый формат: Издать свою книгу
 Ваша оценка:
  • Аннотация:
    "По мере обучения машины могут развить непредсказуемые стратегии такими темпами, которые недостижимы для их программистов". Норберт Винер. Норберт Винер (англ. Norbert Wiener; 26 ноября 1894, Колумбия, штат Миссури, США 18 марта 1964, Стокгольм, Швеция) американский ученый, выдающийся математик и философ, основоположник кибернетики и теории искусственного интеллекта. Эта статья была заимствована из лекции, которую Норберт Винер прочитал перед Комитетом по науке в области содействия благополучию человечества (Committee on Science in the Promotion of Human Welfare) на конференции Американской ассоциации содействия развитию науки (American Association for the Advancement of Science - AAAS) в Чикаго 27 декабря 1959г. Оригинал статьи Some moral and technical consequences of automation (science. Vol 131, 1960, 1355-1358) находится здесь: http://www.nyu.edu/projects/nissenbaum/papers/Wiener.pdf
  
  Приблизительно 13 лет назад была напечатана моя книга, называвшаяся "Кибернетика". В ней я обсуждал проблемы контроля и общения у живых организмов и машин. Я сделал значительное количество прогнозов относительно развития контролируемых машин и соответствующей техники автоматизации, которые как я вижу, имеют важные последствия, затрагивающие общество будущего. Теперь, спустя 13 лет, это видится надлежащим, пересмотреть нынешнее положение кибернетики и ее социальных последствий.
  
  Прежде чем начать с деталей этих вопросов, я должен упомянуть некоторое отношение обывателя по отношению к кибернетике и автоматизации. Это отношение нуждается в ответственном обсуждении и, по моему мнению, должно быть отклонено полностью. Это предположение, что машины не могут обладать никаким уровнем самобытности. Это часто имеет форму заявления, что ничего нельзя ожидать от машин кроме того, что в них заложено. Это часто интерпретируется как утверждение того, что машина сделанная человеком должна оставаться постоянно подвластной человеку и таким образом ее работа доступна человеку в любое время для вмешательства и внесения принципиальных изменений.
  
  На основе такого отношения многие люди пренебрегают опасностью машинной сферы и наотрез противоречат ранним прогнозам Сэмюэля Батлера о том, что машины могут взять контроль над человечеством. Это правда, что во времена Сэмюэля Батлера имеющиеся машины были много безобиднее чем машины являются сегодня, поскольку они включали в себя только силу, а не некоторый уровень мышления и общения. Однако, машинная техника сегодняшнего дня вторглась в последние области, и машина сегодня очень отличается от того представления, какое о ней имел Батлер, и мы не можем переложить на эти новые устройства допущения, которые виделись неопровержимыми поколение назад. Я обнаружил себя лицом к лицу с обществом, которое сформировало свое отношение к машинам на основе неполного понимания устройства и способа функционирования современных машин.
  
  Это мой тезис, что машины могут превосходить и превосходят некоторые недостатки их создателей и превосходя их могут быть как полезны, так и опасны. Очень даже может быть в принципе, что мы не можем создать ни одной машины, элементы поведения которой мы не могли бы понять рано или поздно. Но это никак не значит, что мы всегда сможем понять эти элементы в существенно короткое время, необходимое для управления машиной, или даже в течение определенных лет или поколений.
  
  Как это уже в общем признано, в пределах ограниченного числа операций, машины действуют много быстрее чем люди и много точнее в исполнении этих действий. Это уже имеет место, даже если машины не превосходят человеческий интеллект, они отлично могут превосходить и превосходят человека в исполнении задач. Разумное понимание их способа функционирования может наступать много позднее окончания их действий, выполнение которых им было задано.
  Это значит, что несмотря на то что машины теоретически подвергнуты человеческой критике, такая критика может оказаться неэффективной будучи применима позднее, чем была уместна. Чтобы быть эффективным в предотвращении катастрофических последствий, наше понимание сделанных нами машин должно в целом соответствовать скорости действий машин. Из-за медлительности человеческих действий, эффективность контроля над нашими машинами может быть сведена к нулю. Ко времени, когда мы способны реагировать на информацию полученную нашими чувствами и остановить машину, которую ведем, она может уже врезаться в стену.
  
  Игровые машины
  
  Я вернусь к этому позже в данной статье. Пока же дайте мне обсудить действия машин предназначенных для специальной цели: для игр. Здесь я должен затронуть в частности игру в шахматы для которой International Business Machines Corporation (IBM) создала очень эффективную играющую машину. Я должен сказать раз и для всех, что мы не интересуемся здесь машинами, которые оперируют на основе полной теории игры, в которую они играют. Теория игр Джона фон Неймана и Оскара Моргенштерна может быть указывающей на работу игровых машин но в действительности не описывает их.
  
  В игре, такой сложной как шахматы, если каждый игрок попытается выбрать свой ход как ответный на лучший ход оппонента против лучшего ответа, что он может дать против лучшего ответа оппонента и так далее, то он возьмет на себя непосильную задачу. Не только это не под силу человеку, но нет оснований полагать, что это лучшая политика против оппонента, чьи недостатки равны вашим собственным.
  
  Теория игр Фон Неймана не связана тесно с теорией, согласно которой работают игровые машины. Последняя соответствует гораздо более методам игры, используемым опытными, но недостаточно, людьми-игроками в шахматы против других игроков. Такие игроки зависят от определенной стратегической оценки, которая по существу не завершена. В то время как тип игры Фон Неймана годится для игр как крестики-нолики, с законченной теорией, истинный интерес шахмат и шахматистов заключается в том что они не имеют законченной теории. Как не имеет ее ни война, ни бизнес-конкуренция, ни другая форма состязательной активности, в которой мы находим действительный интерес.
  
  В игре как крестики-нолики, с ограниченным числом ходов, где каждый игрок в состоянии предусмотреть все возможности и установить защиту от лучших возможных ходов другого игрока, завершенная теория игр Фон Неймана годится. В таком случае игра должна неизбежно завершиться победой первого игрока, победой второго игрока или ничьей.
  
  Я сильно сомневаюсь, что такая концепция идеальной игры вполне реальна в случае настоящих нетривиальных игр. Великие генералы как Наполеон и адмиралы как Нельсон действовали по другому. Они были осведомлены не только о недостатках своих противников в материальной части и личном составе, но равно и о недостатках в опыте и военном мастерстве. Это было результатом реальной оценки относительной неопытности в морских операциях континентальных держав в сопоставлении с высоко развитым тактическим и стратегическим мастерством Британского флота, что Нельсон был способен продемонстрировать самоуверенность, которая повернула континентальные силы вспять. Он не смог бы этого сделать, если бы вовлекся в затяжной, относительно неопределенный, возможно проигрышный конфликт на который допущение возможно лучшей стратегии со стороны противника могло бы его обречь.
  
  В оценке не только материальной части и личного состава противника, но и его уровня рассудительности и суммы мастерства в тактике и стратегии, которого следовало от него ожидать, Нельсон действовал на основе данных предыдущих баталий. Похожим образом главным фактором в действиях Наполеона в его баталиях с австрийцами в Италии было его знание негибкости и умственных недостатков Вурмзера.
  
  Эта часть опыта должна получить адекватное признание в любой реалистичной теории игр. Это достаточно общепризнанно для игроков в шахматы играть не против идеального, воображаемого, совершенного противника, а скорее против того, чьи привычки он был в состоянии выявить из наблюдений. Таким образом в теории игр как минимум два различных вида интеллектуальных усилий должно быть сделано. Одно, кратковременное усилие, играя с определенной тактикой индивидуальной игры. Другое, как осмысление данных многих игр. Эти данные могли бы быть установлены игроком самостоятельно, его оппонентом или даже игроками с которыми он никогда не играл. В пределах своих данных он устанавливает относительные выгоды разных тактик игры подтвержденных прошлым опытом.
  
  Есть даже третий вид оценки необходимый в шахматах. Это подтверждено хотя бы частично на протяжении значимого прошлого. Развитие теории игры в шахматы уменьшает значение игр проведенных с разным уровнем мастерства. С другой стороны, сообразительный шахматный теоретик может предположить заранее, что определенная модная тактика, перестала быть полезной, и что лучше вернуться к ранним типам игры, предвосхитив изменения в тактике тех, с кем ему скорее всего придется играть.
  
  Таким образом, в выборе тактики игры в шахматы есть несколько разных уровней принятия решения, которые согласуются определенным образом с различными типами логики у Бертрана Расселла. Есть уровень тактики, уровень стратегии, уровень общих соображений, которые должны быть приняты во внимание при выборе этой стратегии, а так же уровень, на котором протяженность имеющего отношение к делу прошлого, прошлого для которого данные соображения могут быть использованы, принимается во внимание и так далее. Каждый новый уровень требует изучения более протяженного прошлого чем уровень предыдущий.
  
  Я сопоставил эти уровни с типами логики Б. Рассела относительно классов, классов классов, классов классов классов и так далее. Надо отметить, что Рассел не принимал во внимание заявления, подразумевающие все типы одинаково важными. Он выявляет бесполезность таких вопросов, как например вопрос касающийся брадобрея что бреет всех, но только тех, кто не бреет себя сам. Бреет ли он себя сам? С одной стороны да, а с другой стороны нет, и так далее до бесконечности. Все такие вопросы, имеющие бесконечное число типов, могут вести к неразрешимым парадоксам. Похоже, поиск наилучшей стратегии согласно всем уровням сложности является бесполезным и ведущим к ничему кроме замешательства.
  
  Такие соображения возникают в выборе линии поведения машинами так же как и в выборе линии поведения людьми. Это вопросы, которые возникают при программировании программирования. Нижайший тип игровой машины играет в условиях некоторых жестких оценок игры.
  Ценности фигур взятых или потерянных, находящиеся в распоряжении фигур, их мобильности и так далее может быть дано цифровое значение на основе некоторого опыта и значение может быть дано на этом основании каждому следующему ходу, соответствующему правилам игры. Ход с большим значением должен бы быть выбран. В таких условиях игра машины будет представляться противнику, который не может не оценить шахматную индивидуальность машины, весьма закрепощенной.
  
  Машины, способные к обучению
  
  Следующим шагом для машин является принятие во внимание не только ходов по мере их осуществления в отдельной игре, но и данных об играх сыгранных ранее. На этом основании машина может переставать время от времени не играть, но принимать во внимание то, какие из (линейных или нелинейных) значений факторов данных для рассмотрения, будут наиболее способствовать выигрышу в противоположность проигрышу или ничьей. На этом основании игра будет продолжаться на основе новых данных. Такая машина будет представляться ее оппоненту, человеку, имеющей менее закрепощенную игровую индивидуальность, и трюки, которые могли бы победить ее на ранних этапах, могут теперь потерпеть неудачу в попытке ввести ее в заблуждение.
  
  Настоящий уровень этих самообучающихся машин таков, что они играют достаточно непрофессиональную игру в шахматы, но в шашках они оказывают явное превосходство над игроком, который их программировал после десяти, двадцати часов игры и обучения ей. Они, таким образом, более чем определенно выходят из под эффективного контроля человека, который их создал. Закрепощенные набором факторов, которые они обязаны принимать во внимание и делают это как и те, кто играют с ними, они показывают оригинальность не только в своей тактике, которая может быть достаточно непредвиденной, но даже в детальном обдумывании их стратегии. Как я уже сказал, машины играющие в шашки, которые способны к обучению, уже развиты до уровня, на котором они могут победить их программиста. Однако они пока имеют один недостаток. Пока машины до некоторой степени неуклюжи в определении лучшего пути в coup de gr;ce, ударе милосердия (удар, при котором смертельно или тяжело раненого и уже не оказывающего сопротивления противника добивают, чтобы прекратить его мучения, - прим. переводчика). Это потому что все имеющиеся машины большей частью усвоили программу по которой идентичная стратегия соблюдается на всех этапах игры. С точки зрения подобия ценности фигур в шашках, это достаточно естественно для большей части игры, но перестает полностью соответствовать, когда доска относительно пуста и главной проблемой становится скорее занятие позиции, чем прямая атака. В пределах метода я описал, что это достаточно возможно, иметь повторное изучение для решения того, какую линию поведения следует принять, когда количество фигур противника сократилось настолько, что это новое решение становится первостепенным.
  
  Машины, играющие в шахматы, на сегодня, не возведены до уровня совершенных игроков в шашки, несмотря на то что они, как я уже сказал, могут вести вызывающую уважение непрофессиональную игру. Скорее всего причина этого, что и причина их относительной эффективности в конце игры в шашки. В шахматах не только конец игры и ее середина отличаются присущей им стратегией, но и начало игры. Разница между шашками и шахматами в этом отношении в том, что начальные ходы фигур в шашках не сильно отличаются от ходов, появляющихся в середине игры, в то время как в шахматах фигуры в начале имеют расположение, исключительно затрудняющее передвижение, так что проблема развертывания их из этой позиции в особенности трудна. Поэтому и начало игры и ее развитие составляют особую часть шахматной теории.
  
  Есть много путей которыми машина может получить знания об этих всем известных фактах и разведать отдельную выжидательную стратегию для начала игры. Это не значит, что вид теории игры, который я здесь обсуждал не применим в шахматах, он только нуждается в более пристальном внимании до того как мы сможем сделать машину, которая будет играть в шахматы мастерски. Некоторые мои друзья, которые заняты решением этих же проблем, верят что эта цель может быть достигнута в период от 10 до 25 лет. Не будучи экспертом в шахматах, я не рискну делать подобные предсказания по собственной инициативе.
  
  Это достаточно очевидно, что самообучающиеся машины будут использованы в программировании нажатия кнопок в новой кнопочной войне. Здесь мы рассматриваем сферу, в которой автоматы, не обладающие качествами самообучения, скорее всего уже используются. Не может быть и речи программировать эти машины на основе действительного опыта реальной войны. Во-первых, достаточный опыт вместе с адекватной программой привел бы уже к полному исчезновению человечества. Более того, методы кнопочной войны призваны изменить так много, что к моменту накопления адекватного опыта, основания начала действий были бы радикально изменены. Следовательно, программирование таких самообучающихся машин должно бы быть основано на каких-то военных играх как те, на которых командиры и офицеры теперь изучают важные части искусства стратегии похожим образом. Здесь, однако, если законы победы в военной игре не сочетаются с тем, что мы желаем нашей стране в действительности, то скорее всего такая машина может выработать линию поведения, которая приведет к номинальной победе количеством баллов и ценой всех наших задушевных интересов, и даже ценой выживания нации.
  
  Человек и Раб
  
  Проблема, и это моральная проблема, с которой мы здесь сталкиваемся, очень соприкасается с одной из величайших проблем рабовладения. Допустим, что рабовладение плохо, потому что жестоко. Это, однако, противоречиво в себе и на основании весьма необычном. Мы хотим видеть раба умным, быть в состоянии помогать нам в наших делах. Однако мы желаем чтобы он был послушным. Полное послушание и совершенный интеллект не идут рука об руку. Как часто в древние времена умный греческий философ, будучи рабом менее умного римского рабовладельца, подавлял действия своего господина скорее чем повиновался его желаниям.
  Подобным образом, если машины станут более и более квалифицированными и станут действовать на более и более высоком психологическом уровне, катастрофа что предвидел Сэмюэль Батлер как господство машин, все ближе и ближе.
  
  Человеческий мозг, гораздо более эффективный аппарат чем умная машина, когда мы переходим на высочайшие уровни логики. Это самоорганизующаяся система, которая зависит от ее возможности изменять себя в новую машину гораздо более, чем от нерушимой аккуратности и скорости решения проблем. Мы уже сделали очень успешные машины низшего логического типа с жесткой линией поведения. Мы начинаем делать машины второго логического типа, где линия поведения самостоятельно улучшается по мере обучения. В конструировании действующих машин нет конкретных предвидимых ограничений в пределах логического типа, и небезопасно делать заключения относительно точного уровня на котором мозг превосходит машину.
  
  Тем не менее в течение длительного времени по крайней мере, всегда будет сохраняться уровень, на котором мозг лучше машины, даже не смотря на то, что этот уровень будет подниматься выше и выше. Можно видеть, что результат методики программирования автоматизации является убирающим из ума создателя и оператора действительное понимание многих стадий, через которые машина приходит к своим заключениям и того, какие реальные тактические намерения множества ее операций могут быть. Это очень относится к проблеме наших возможностей предвидеть нежелательные последствия за пределами рамок стратегии игры, пока машина все еще в совершении действия и пока наше вмешательство может предотвратить появление таких последствий.
  
  Здесь надо осознать, что человеческое действие, это реакция, действие на основе обратной связи. Чтобы предотвратить катастрофические последствия не достаточно чтобы какие-то наши действия были в состоянии изменить курс машины, потому что весьма возможно у нас будет недостаточно информации, на основе которой эти действия могут быть предприняты.
  На нейрофизиологическом языке, атаксия (нарушение координации движений, - прим. переводчика) может быть таким же лишением как и паралич. Пациент с двигательной атаксией возможно не страдает от дефектов мускулатуры или двигательных нервов, но если его мускулы, сухожилия и другие органы не говорят ему точно в какой позиции он находится, и приведет ли напряжение, коему подвержены его органы к его падению или нет, подняться он не сможет. Подобно этому, если сконструированная нами машина способна действовать на основе поступающих в нее данных такими темпами, которые нам не доступны, мы возможно не будем знать пока уже не будет поздно, когда ее выключить.
  
  Мы все знаем фабулу "Ученика колдуна" (Гете, - прим. переводчика), в которой мальчик заставляет метлу носить воду во время отсутствия своего мастера так, что уже тонет когда мастер возвращается. Если бы мальчику, чтобы остановить беду, пришлось искать заклинание среди магических книг в библиотеке его мастера, то он скорее всего бы утонул до того как нашел бы соответствующую магическую формулу. Аналогично, если фабрика бутылок запрограммирована на основе требования максимальной продуктивности, владелец может обанкротиться из-за перепроизводства нереализованных бутылок до того как поймет, что должен был остановить их производство пол-года назад.
  
  "Ученик колдуна" лишь только одна из многих сказок, основанных на допущении, что в институтах магии все понимается буквально. Есть история о джине и рыбаке в "Тысяче и одной ночи", в которой рыбак нарушает печать Соломона, и выпускает джина, который прежде поклялся расправиться со своим освободителем. В истории "Обезьянья лапка", Уильяма Джейкобса, рассказывается о сержанте привезшем из Индии талисман, который имеет силу выполнить три желания каждого из трех его владельцев. О первом владельце этого талисмана нам говорят, что его третьим желанием была собственная смерть. Сержант, следующий владелец, чьи желания были исполнены, считает свой собственный случай слишком ужасным, чтобы рассказывать. Его друг, который получил талисман желает для начала 200 фунтов. Вскоре представитель фабрики, где работает его сын, приходит с извещением, что его сын погиб в машинном механизме и что компания не видя за собой вину, посылает ему утешение в виде 200 фунтов. Его третье желание, это желание того, чтобы призрак убрался подальше.
  Гибельные последствия должны быть ожидаемы не только в сказках, но и в реальном мире, где две организации, по существу чуждые одна другой связаны в попытке достигнуть общую цель. Если общение между этими организациями касательно природы этой цели не завершено, то должно ожидать от этой кооперации только неудовлетворительных результатов.
  Если мы используем для достижения наших целей механический организм, в действия которого мы не можем эффективно вмешиваться после их начала, потому что они так быстры и необратимы, что не дают нам сигнала к вмешательству до того, как они будут завершены, то тогда мы должны быть достаточно уверены, что цель которую мы довели до машины есть именно та цель, которую мы реально желаем а не только ее радужная имитация.
  
  Масштабы времени
  
  До этого момента я обсуждал около-моральные проблемы, порождаемые одновременными действиями машины и человека, связанными в совместном предприятии. Мы увидели, что одной из главных причин опасности катастрофических последствий является то, что машина и человек работают в разных масштабах времени, так что машина гораздо быстрее человека и оба не могут взаимоприспосабливаться без серьезных трудностей. Проблемы такого сорта появляются всегда, когда два диспетчера действуют совместно на основе разных масштабов времени, независимо от того кто действует быстрее, а кто медленнее. Это ставит перед нами вопрос гораздо более относящийся к морали: что за моральная проблема возникает, когда человек как индивидуум оперирует в связи с контролируемым им процессом в гораздо более медленном временном масштабе, таком как часть политической истории или, как главный предмет нашего исследования, развитие науки?
  
  Давайте заметим, что развитие науки есть процесс контроля и общения для долгосрочного понимания и контроля материи. В этом процессе 50 лет как день в жизни индивидуума. Поэтому отдельный ученый должен работать как часть процесса, и чей масштаб времени так растянут, что он может обозревать только ограниченный сектор его. Здесь тоже общение двойной машины трудно и ограниченно.
  
  Даже когда индивидуум верит в глубине души, что наука привносит благо для человека, его вера нуждается в продолжительном наблюдении и переоценке, которые только частично возможны. Для отдельного ученого даже частичная оценка этого взаимодействия между человеком и процессом требует воображаемого взгляда в будущее истории, который труден, требователен и только ограниченно возможен. И если мы придерживаемся просто кредо ученого, что недостаточные знания о мире и нас самих лучше чем их отсутствие, мы можем все еще безосновательно всегда оправдать наивное предположение, что чем быстрее мы поспешим привлечь новую силу для деятельности, открытой нам, тем это будет лучше.
  
  Мы должны всегда прилагать всю силу нашего воображения для проверки того, куда полное использование новых условий может нас привести.
  
  
   Copyright: Иъ Лю Ха, 2010 Свидетельство о публикации 21004121121
 Ваша оценка:
Связаться с программистом сайта.

Новые книги авторов СИ, вышедшие из печати:
О.Болдырева "Крадуш. Чужие души" М.Николаев "Вторжение на Землю"

Как попасть в этoт список

Кожевенное мастерство | Сайт "Художники" | Доска об'явлений "Книги"