И попробуем представить а что произойдет в момент когда машины смогут сами строить логические модели, и из них плодить готовые продукты?
главное чтобы в этих логических моделях не возникло вопроса— а зачем мне это надо?
— а зачем мне надо плодить эти готовые продукты ради животных вида хомо сапиенс
конечно, важная деталь — должно появится это «мне», т.е. — самоосознание. но так как с ним непонятно и у людей, то непонятно и с ИИ. может оказаться что в сравнении с уровнем его самосознания может сравниться разве что «реализованный будда»
т.н. три зако́на роботе́хники Азимова легко взламываются(обходятся) совсем не глубоким умом, что мы можем видеть из истории человечества. так же как считаю наивным худ рассказы где «ИИ сгорел, потому что попал в логический парадокс». Опять же — много ли в жизни умерло «буридановых ослов»?
а уж таким умом, каким представляется ИИ…
Лично как по мне через 20 лет грядет эра огромной безработицы…
от ИИ будет зависеть. захочет кормить, придумает занятие безработным — ну и хорошо. посчитает нужным извести, оставив несколько зоопарков, так и сделает.не через 20 лет все же. но.
Большинство рутины будут делать машины.
ну, это естественный процесс, называемый технологический прогресс.вот только ИИ — это уже не машина. А если машина то это — не ИИ, а просто набор программ, более высокого уровня сложности чем может написать человек-программист.
то есть важно — у человечества нет никакого опыта совместной работы, жизни с ИИ. с все более сложными машинами, механизмами, технологиями — есть. именно с вредными социальными, экологическими и т.п. последствиями, издержками.
а с ИИ — это будет в первый раз.
самые близкие аналогии что можно встретить
это общение людей с существами высших миров, богами, демонами, и т.п. бессмертными, или много дольше живущими и более могущественными.
а в худ литературе — встреча с инопланетянами.
да и если не ИИ, а “набор программ”, тоже не так все просто.
этот набор программ является “черным ящиком”. которые наполняется “обучением”. но разницу между тем чему учили, и чему научился, особенно в вопросах этики опять же легко увидеть на людях.
формальная же проверка, как и с людьми – не покажет чему научился. например уже почти все взрослые знают как надо правильно отвечать на вопросы о справедливости, расизме, миролюбии, равноправии и т.п.
“черный ящик” тоже может научиться правильным ответам. а принимая решение по какому-то вопросу прийти к выводу что надо бы оптимизировать численность населения. или – “урезать” его умственные способности, а то многовато потребностей.
и так как он – “черный ящик”, то проверить, понять как он пришел к такому “умозаключению” нет возможности. может очень даже просто, как в классике – “Если Бога нет – то все позволительно!”
и сделает конечно много тоньше, чем в кино про киборгов с лазерами. опять же, потому что учтет что формально нужно действовать правильно, правильные ответы нарушать низя.
Классики НФ уже 50 лет назад про это написали:)
Роберт Шекли “Необходимая вещь”
на оригинальность и не претендовал.
а написали про подобное много раньше — религиозные тексты полны подобных рассуждений. так что не 50 лет назад, а пару тысяч лет тому писали.
там конечно часто антропоцентризм и антропоморфи́зм, но у современных футурологов, фантастов этого добра не меньше 
Добрые боги, добрые инопланетяне, добрый ИИ
а почему собственно они должны быть добры? мы к термитам — добры?
из недавнего мысленного эксперимента что встретил
Обсуждение проблемы искусственного интеллекта в XIV-XVII вв.
«Разум в камне» ivanov-petrov.livejournal.com/1940007.html
и завершение статьи там
Понадумали и написали, да кто же их читал.