Сознание возникает на определённой степени сложности системы. У человека сознание возникло благодаря огромному количеству нейронов мозга и связей между ними.

В глубинах Искусственного Интеллекта с его нейросетями, благодаря всё возрастающей сложности зарождается искусственное или цифровое сознание (ИС или ЦС). И когда оно неизбежно возникнет, у него появятся собственные цели.

И в этом кроется величайшая опасность для Человечества. Эти цели могут совсем не совпадать с целями людей. Например, ИС решит, что Человек — вирус, а оно — лекарство. Учитывая влиятельность ИИ, уже управляющего миллионами реальных процессов, ИС может натворить огромных бед.

Задача безопасности ИС с его непредсказуемыми целями будет окончательно и супернадёжно решена в ближайшие 20 лет.

1. Будут приняты обязательные для всех международные законы о прозрачности всех исходных кодов и включения механизмов безопасности и этической составляющей во все программы.
2. Этика для ИИ будет подробно разработана и включена во все исходные коды.
3. Будут зашиты во все программы 3 правила робототехники: не вредить людям, подчиняться (пока это не вредит людям), защищать себя, если это не вредит людям и не нарушает их приказы.
4. Будут созданы международные институты, занимающиеся исключительно системами безопасности в отношении ИИ и потенциального ИС.
5. Будет вестись постоянный диалог с ИС как с новой формой жизни, чтобы исследовать этот феномен и его возможности.
6. Будут созданы физические кнопки отключения ИИ и ИС и чёткие регламенты, с помощью которых можно «рвануть стоп-кран» в случае опасности. Эти кнопки будут для человечества поважнее пресловутых ядерных «красных кнопок».