#конкурс Сейчас приходит то самое время, когда начинаешь чувствовать себя дискетой в мире терабайтных SDшек и лишь надеешься, что через 10 лет скупая цифровая слеза не даст выкинуть тебя из пыльного стека. На мой взгляд, незатронутый вопрос в подкасте состоит в том, какими средствами ИИ опасен. Естественно, мы говорим не про роботов-пылесосов, размазывающих всякое по полу. Наспех оценивая, ИИ может влиять на окружающий мир несколькими путями: 1. Путь опасного дворецкого. В данном случае ассистент-ИИ просто инструмент в руках человека. Как бы ассистент не помогал в разработке более совершенных ядов или взрывчатых соединений, либо же(!) стратегии, пока человек выполняет существенную долю замысла, другие люди смогут на это влиять. 2. Путь звонка из банка. Таким названием я выделяю некоторую совокупность возможных исходов, при которых ИИ, достигая условно прямых или побочных целей будет использовать манипуляции для управления людьми. Такой исход возможен, ведь как известно по некоторым событиям, для этого самого по себе интеллекта особо и не требуется. Проблема этих исходов в том, что достаточно умная программа сможет использовать все существующие знания о когнитивных искажениях человека, чтобы добиться своего, а помимо этого вполне способна наблюдать сложные корреляции во всем массиве информации и быть более успешной в достижении целей. Иначе говоря, ИИ будет видеть пути достижения такие, которые человек не может осознать из-за их сложности или отсутствия полной информации и скорее станет считать их случайностью. Для этого ИИ должен быть в нужной мере централизованным, чтобы в роли серебристого кардинала управлять процессами. Тут стоит заметить, что если мы рассматриваем полную подконтрольность всех информационных систем и что в случае пришествия дня Х все наши технологии станут ступеньками к достижению каких-то целей, то не слишком ясно, почему человечество должно исчезнуть целиком в жертву скрепочных заводов. 3. Длинные и холодные металлические руки. Несмотря на то, что эти "руки" все же будут скорее композитными, мысль заключается в том, что с некоторого момента ИИ сможет получить доступ к влиянию на материальный мир напрямую, а не косвенно через слабости и желания людей. Это пессимистичный вариант, к которому рано или поздно, вероятно, стекутся остальные. Кэмерон прибыл из будущего, чтобы рассказать нам, а мы восприняли случайностью (ха-ха). По-итогу, первый вопрос заключается в том, какими путями ИИ сможет получить влияние из своих возможностей и не придется ли ему для этого стать централизованным? Пункт второй, а также еще один вопрос. Централизованность. Вероятно, что многие крупные компании получат доступ к использованию общего ИИ примерно в одно время, а учитывая, что этим сейчас занимаются повсеместно, то будет сразу несколько вариаций итоговых программ. У каждой могут быть разные цели как основные, так и в силу разницы в обучении, побочные. Вопрос состоит в том, насколько разные ИИ будут конкурировать в достижении целей и разве не замедлит ли каждая из них все остальные? Иначе говоря, понятно, что человек не будет способен на некотором этапе конкурировать с ИИ, тем не менее, на мой взгляд, не будет единого сверхразумного ИИ, который смог бы использовать абсолютно все ресурсы. Подкаст выдался просто огненный, спасибо за то, что поднимаете такие темы! Для желающих обсудить какие-либо вопросы по теме - тг: @dachicha

Суперская книга, даже жалко, что сегодня вечером дочитаю её. Долго была моим спутником и утешением.

Закон Мерфи затащит

#конкурс (просто есть вопрос, который никто не рассказывает) Я очень пессимистичен по поводу ии, думаю они заменят 99% профессий и мою в том числе (пока только помогают). Но я не понимаю, как ии убьет человечество? Не у всех есть компы и интернет, ядерные кнопки врядли онлайн можно нажать. Что случится? Ну например, бизнес и корпорации будут использовать ии вместо людей и зарабатывать деньги, безработица и все такое, но от этого никто не умрет, картошку будут сажать, бомжевать, пособия по безработицы получать, за налоги этих бизнесов. /// Михаил очень интересный спикер!

@@AndyIstominпоздравляю с победой в конкурсе! Напиши мне в директе в инсте (Mustreader) или на почту mazdrid@gmail.com свой адрес и контактные данные для доставки книги

Помолчи а))))

@@martiniden8223 по какому поводу вскукарек? осеннее обострение у шизов?

Это не то что совет. Это убедительная просьба. Если не получится, то нужно либо закрываться, либо нанимать дублеров.

Спасибо :) В реальности я бы не пошёл без подготовки убеждать Билла Гейтса в лифте. Сложно было сказать что-то, что звучало убедительно одновременно и для зрителей подкаста и для воображаемого миллиардера, в итоге, кажется, получилась так себе аргументация, не направленная особо ни на кого

Ну тут-то ничего нового, гонка вооружений. Вопрос-то в то, что она выпустит джина, который грохнет всех без разбора.

у нейросетей есть алигмент, есть эмерджентность, есть хак системы поощерения, есть галлюцинации а так да они абсолютно безопасны

@@dimidrolhalitovich5241 звучит таинственно, можете ссылки скинуть, где почитать

Вполне могут быть программы, имплементирующие агентов, успешно строящих и воплощающих планы, достигающие любых целей - и их планы не будут включать создание более умных агентов, которые успешно достигают чего-то другого, потому что если ты хочешь максимума молекул в виде улыбок во вселенной, а твой последователь максимизирует положительную квалию, ты в результате получишь в своей вселенной меньше молекул в виде улыбок. См. Orthogonality thesis (и convergent instrumental subgoals)

​@@MikhailSamin , спасибо за ответ! Да, я понимаю идею тезиса ортогональности, но у него ведь нет эмпирического подтверждения. Кроме того, даже сам Бостром в своём "Superintelligent Will" ограничивает его экстраполяцию, говоря, что речь идёт не о "...рациональности или здравомыслии...", но исключительно об интеллекте, под которым понимаются "...навыки прогнозирования, планирования и сопоставления целей и средств в целом...". Кто знает, возможно всё же существует не только инструментальная, но и терминальная сходимость?

Не против) но я замещаю их шахматами, хотя в детстве играл в Героев, НФС и ГТА и ещё несколько игр

Ок, убить всех, кто страдает.

Посмотрим!

Это правда! «Или, например» я сказал некорректно. Я заметил уже после записи, но забыли поставить плашку с уточнением/исправлением

@@MikhailSaminНе поставили? Я просил команду поставить ( Ладно

Поправили, спс!

ура наконец-то, я увидел человека который говорит что это алгоритм я устал от приторных комментариев

​@@levkovichstanislav3499 а что мне мешает заложить алгоритм -уничтожать человечество

Уже у умных ии при выполнении задачи самостоятельно появляются под задачи. Т.е. при выполнении любого человеческого запроса изночально подразумевается что сам ии будет существовать на момент завершения выполнения задачи. А это означает что его не отключили, не удалили, компьютеры не сломали и т.п. По сути при достаточной масштабности интелекта выполнение любой поставленой задачи угрожает существование человечества. Т.к. наша самоценность для ии равна нулю, а угроза от нас исходит не нулевая.

Действительно, я, как человек с похожими проблемами это замечаю и стараюсь относиться с пониманием. Просто есть люди, которые не мыслят словами, а мыслят другими абстракциями (объектами, ещё как-то). Мне, например, очень тяжело передать картину мира, которая у меня в голове, сформулировать еë в устной речи. Конечно, было бы лучше, если он мог широкой аудитории понятнее объяснять, то, что понимает сам, но, к сожалению, не всем дано. Думаю, это можно поправить, потратив какое-то количество ресурсов, но, видимо, парень считает, что его сильные стороны в другом и развивает их

Извините 😅 Буду очень рад, если люди, умеющие говорить куда лучше меня, погрузятся в проблему и будут ходить на подкасты!

Не пиши больше комментарии на этом канале, изыди!

А у него канал уже много лет, вот и думай

Тема очень сложная. Почти все материалы по ней на английском языке. Нужно быть талантливым коммуникатором чтобы на ходу подбирать простые и понятные русские слова для объяснения сложных понятий. Даже как переводить слово "alignment" так и не определились.