Вот потому и не хочу. 

Теория сильного ИИ предполагает, что компьютеры могут приобрести способность мыслить и осознавать себя, хотя и не обязательно их мыслительный процесс будет подобен человеческому.

почему тогда не верите в мудрость Создателя? Все созданное - Богом ли, человеком ли - не есть в чистом виде зло или добро. Оно становится таковым только через человека, через его намерения.
И к ИИ это относится в полной мере.

Кто сказал, что "самоосознание"  вообще возможно без участия гормональной системы?

Эндокри́нная систе́ма — система регуляции деятельности внутренних органов посредством гормонов,

Гормо́ны — биологически активные вещества органической природы, вырабатывающиеся в специализированных клетках желёз внутренней секреции, поступающие в кровь и оказывающие регулирующее влияние на обмен веществ и физиологические функции.

Предположим, кто-то толкнул машину. Киборга. А потом еще и дал пинка. Каков адекватный ответ в такой ситуации для человека и каков для киборга? Равноценно ли самоосознание машины человеческому самоосознанию?

Ну потому что пока что вся эта "самопрограммируемость" - байка. Программа и есть программа, она детерминирована. Для того, чтобы перестать таковой быть - она должна, как человек, быть открытой для всех внешних (и внутренних!) воздействий. А именно - сон приснился, жарко стало, голова заболела, в желудке заурчало, потрясла красивая девушка в окне, напугала вспышка молнии.

Я не отрицаю - мэй би все это возможно! - но вопрос а на фига?

Но опять же - зачем?

Да нет такого вопроса для меня, как для исследователя! Кто запретит, если мне интересно?

Ну работы по клонированию людей, например, запрещены.

А как можно представить себе "осознание себя", когда это прерогатива лишь биологических существ?

У меня вызывает сомнение сама вероятность копирования человека и процесса мышления.