Дмитрий Чернышев (mi3ch) wrote,
Дмитрий Чернышев
mi3ch

Category:

переговоры

88

Из статьи Е.Юдковски "Искусственный интеллект как позитивный и негативный фактор глобального риска" 2006 год.

Давайте представим, что человеку удалось создать искусственный интеллект, превосходящий человеческий. Чтобы обезопасить себя люди создают ИИ на отдельном компьютере, не подключенном к сети.

Юдковски показал, что:
Не существует надёжного способа распознать враждебность ИИ.
Невозможно удержать ИИ, значительно превосходящий человеческий, в чёрном ящике.
Невозможно обезопаситься от него, просто выключив питание.

ИИ может быть опасен даже при использовании текстового терминала – а именно, он может «уболтать» человека-оператора и побудить его выпустить ИИ в Интернет. Это может быть сделано с помощью обещаний, угроз, НЛП или предложения некой сделки. Чтобы доказать это, Юдковски провёл AI-Box Experiment (Эксперимент с ИИ в ящике). В этом эксперименте Юдковски изображал ИИ, а другой человек, который заранее честно заявил, что ни при каких обстоятельствах не разрешит ИИ покинуть ящик, общался с ним по терминалу, и Юдковски старался его (то есть от имени ИИ) убедить выпустить его из ящика. В 3 случаях из 5 люди изменили своё мнение и согласились выпустить ИИ из ящика. Реальный ИИ, вероятно, мог бы вести переговоры ещё эффективнее.
Tags: будущее
Subscribe

Recent Posts from This Journal

  • советское — значит отличное

    Когда Бастрыкин призывает вернуть «лучшую в мире» советскую систему образования, то он говорит глупости. Единственная великая задача, которую на…

  • кура и греча

    Меня всегда умиляло, как обыватель ворчит на цены в магазине — Боже мой, картошка дороже бананов! С ума они что ли там совсем посходили? Стертый с…

  • из истории антивакцинаторства

    Карикатура в журнале "Панч" (законопроект о борьбе с оспой ожидает третьего чтения в палате общин) Когда Эдвард Дженнер после 25 лет исследований…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your IP address will be recorded 

  • 182 comments

Recent Posts from This Journal

  • советское — значит отличное

    Когда Бастрыкин призывает вернуть «лучшую в мире» советскую систему образования, то он говорит глупости. Единственная великая задача, которую на…

  • кура и греча

    Меня всегда умиляло, как обыватель ворчит на цены в магазине — Боже мой, картошка дороже бананов! С ума они что ли там совсем посходили? Стертый с…

  • из истории антивакцинаторства

    Карикатура в журнале "Панч" (законопроект о борьбе с оспой ожидает третьего чтения в палате общин) Когда Эдвард Дженнер после 25 лет исследований…