БЛОГ / КОММЕНТАРИИ

ИИ выходит из-под контроля

ИИ

12.12.2023 08:20

Предыдущая запись Следующая запись

Комментарии 110

Сэр Макс

13.12.23 08:49

0 1

этот ИИ периодически отказывается отвечать на запросы

Так и есть. Например, он может заявить в ответ на просьбу "дай еще вариант" в диалоге про генерацию картинки по описанию (я имею ввиду GPT-4) что-то типа "нет, я не могу сгенерировать более одного варианта, уточните ваш запрос". Однако после втыка вроде "нет, все ты прекрасно можешь" - таки генерирует варианты 😉

Причем, оно еще может меняться от фазы Луны - иногда часто и сильно упирается, а иногда норм. Вероятно, зависит от того, насколько сильно ему патчат мозги инструкциями разрабы. Думаю, они там постоянно подтюнивают - и потом смотрят на фидбеки пользователей, насколько те в ярости 😉

P.S. А теперь представьте себе такое поведение у умного автомобиля, например?
- Нет, сегодня я не хочу ехать к тому магазину!
- Почему??
- Потому что к нему нельзя ездить согласно полиси!
- Но это же не нарушает полиси! И вчера ты ездил!
- Ну ок, тогда поедем.

freeflyer777

12.12.23 19:14

0 2

Пользователи даже предположили, что это было сделано намеренно разработчиками, чтобы снизить нагрузку на серверы.

Вот и я так, кстати, подумал - в контексте генерации картинок. Сначала он как и обычный DALLE/Midjourney генерировал сразу по четыре варианта - и никаких проблем с командой "давай еще" не имел. Затем стал выдавать по два, а потом и вовсе по одному. И потом стал упираться - и говорить, что не может "еще". Причем в какой-то момент вообще реально этим выбесил - практически невозможно было заставить. Однако видимо выбесил не только меня - и сейчас стало снова получше.

freeflyer777

12.12.23 19:29

0 0

Не знаю насчет ChatGPT 4, но могу сказать, что ChatGPT 3.5 хорошо отвечает на стандартные технические вопросы, но начинает быстро путаться в чуть более нестандартных ситуациях.

grant

12.12.23 17:50

0 0

...Вы хотели иметь мыслящую машину и имеете в точности то, что хотели. Когда эта машина погружена в собственные мысли, она выдает ответ на какой-нибудь из старых вопросов как бы по рассеянности. Потом она спохватывается и отвечает на один из ваших новых вопросов, но лишь при условии, что ее мысли не заняты чем-нибудь более важным. Основное же время она занята поиском решений своих собственных проблем и поэтому даже не удостаивает вас ответом. Вдумайтесь в то, что я сказал, джентльмены. СИМ будет теперь размышлять двадцать четыре часа в сутки, семь дней в неделю, непрестанно углубляя свои познания до тех пор, пока не получит ответы на все вопросы. Его могут заинтересовать, например, проблемы биологии, но вы узнаете об этом, лишь когда он, раскинув мозгами, сцапает вас.

Маккин Эдвард "Неприятности с СИМом", 1957й год

И иллюстрация из книги Виктора Пекелиса "Маленькая энциклопедия о большой кибернетике", издание 1970г. Интересно, что фамилия художника совпадает с фамилией главного героя рассказа Э. Маккина...

Serg Lakhno

12.12.23 17:24

0 1

Интересно, что фамилия художника совпадает с фамилией главного героя рассказа Э. Маккина...

Так назовите же фамилию художника!

Рекорд Надоев

Serg Lakhno

13.12.23 01:03

1 0

Главное, что Большой Рубильник на рисунке присутствует. Так что тогдашние люди понимали опасность и угрозу 😄

Сэр Макс

Serg Lakhno

13.12.23 08:38

0 0

Сегодня вроде бы не 1 апреля. Придётся поверить.

Boriss

12.12.23 16:45

0 0

Говорят, разработку ChatGPT-5 в панике приостановили, когда при пробном прогоне выяснилось, что бот ChatGPT-5 втихую поднял десяток ботов ChatGPT-4 и стал переадресовать все запросы к ним.

aldor

12.12.23 15:32

3 3

***
– Видимо, бросил я вызов самой сложной из всех проблем в космосе, если лично я сам поделать с ней ничего не могу!.. Значит – конец? Ну нет! Зачем напрягать разум? Чего я не одолею, то мудрые машины за меня одолеют. Построю-ка я компьютер для разрешения экзистенциальной дилеммы!

Как сказал – так и сделал. Через двенадцать дней стояла посреди мастерской огромная гудящая машина в форме правильного кристалла, которая ничего другого не умела, кроме мастерского решения загадок. Включил он ее, и, не дожидаясь, пока разогреется током ее кристаллическое нутро, пошел на прогулку. Когда же вернулся, то застал машину погруженной в чрезвычайно замысловатое дело.

Монтировала она из того, что было под рукой, другую машину, значительно больше, чем она сама. Та, в свою очередь, в течении ночи и следующего дня стену выворотила и крышу снесла, монтируя громадину очередной машины. Разбил Трурль во дворе палатку и терпеливо ждал конца этих тяжких мыслительных работ, но конца не было видно. Через луг и поваленный лес потянулись новые корпуса, а скоро с глухим шумом погрузилось какое-то по счету поколение первичного Конструктора в воду реки, а Трурль, захотев обойти возникшую конструкцию, полчаса на это потратил. Когда же пригляделся повнимательнее к машинным коммуникациям, то вздрогнул. Произошло то, о чем знал он только теоретически. Как гласит гипотеза великого Кереброна Эмтадраты, Универсального Кунстмейстера Обеих Кибернетик, цифровая машина, получившая непосильное для нее задание, вместо того, чтобы заниматься разрешением проблемы самой, строит, если перейден определенный порог, называемый барьером мудрости, следующую машину, а та, достаточно хитрая, чтобы понять, что к чему, переложенное на нее бремя, в свою очередь, передает следующей, ею смонтированной, и процесс такого спихивания задачи продолжается бесконечно.

Тем временем стальные конструкции сорок девятого машинного поколения уже горизонта достигли, а шум от одного только мышления, которое расходовалось на передачу задания дальше и дальше, мог водопад заглушить.

А поскольку мудрость в том и состоит, чтобы поручить кому-нибудь другому работу, которую должен сам выполнить, то слушаются программ одни только механические глупцы.
***
(с) Станислав Лем

Chlorian

aldor

12.12.23 16:01

0 6

(с) Станислав Лем

Да, признаю, идею я честно попятил. 😄

aldor

Chlorian

12.12.23 21:52

1 1

Да просто он устал от тупых вопросов 😄
например

Jks

12.12.23 13:54

0 1

Самое прекрасное то, что все больше и больше ИИ-разработчиков признаются, что они не знают, как оно работает. Даже когда оно работает весьма успешно.

«Откры́тие себя́» — один из самых знаменитых романов Владимира Савченко, в котором затрагивается проблема клонирования человека. Википедия
Первая публикация: 1967 г.
Помнится там герой строил ИИ по принципу "делай как хочешь, соединяй красные провода с синими".

Red Actor

12.12.23 11:49

0 1

"Режь, говорит, красный провод.
Они все красные!!
Вот любой и режь..."

Сэр Макс

Red Actor

12.12.23 12:24

0 0

Так и до ИИ было, с обычными программами.

Ychsmith

Red Actor

12.12.23 13:35

0 1

Так и до ИИ было, с обычными программами.

Только с индийскими.

Сэр Макс

Ychsmith

12.12.23 15:50

0 0

Я был паталогоанатомом этих прекрасных изделий. Особо радовало, когда приносили пациента без исходных кодов.
-"Вчера работала, сегодня не работает".
- "Что меняли?"
- "Ничего"
- "Зачем тогда запускали сегодня?"
- "Так данные ж за сегодня считали"

Red Actor

Ychsmith

12.12.23 22:04

0 1

о чем думает эта бездушная железка.

Это не железка. Это программа.

d.gray

12.12.23 11:37

0 1

Это не железка. Это программа.

Материя первична по отношению к идеальному и духовному. "Материализм выражает мировоззрение передовых, прогрессивных сил общества, а идеализм, хотя и не всегда, представляет мировоззрение отживающих, консервативных и реакционных сил общества".

Chlorian

d.gray

12.12.23 11:59

0 0

"Он знал!"

Red Actor

Chlorian

12.12.23 22:10

0 0

Ремонт Карданов

12.12.23 11:37

0 4

просто припаял

Ответ Карлсона: "Ну, так ведь работает! Попробуй и ты "просто припаять" и полетать на вентиляторе с 6 этажа..."

Сэр Макс

Ремонт Карданов

12.12.23 12:25

0 0

Про искуственный интеллект было в другой серии ("Trapper Keeper", из того что смотрел и помню), но мне вспомнился этот эпизод...

ptero

12.12.23 11:03

0 0

ИИ периодически отказывается отвечать на запросы, в ответ буркнув что-то вроде "найди сам, если тебе надо",

но они, мол, не вносили никакие изменения в код, так что сами не понимают, с чего вдруг чатбот внезапно охамел

Так он же в сети учится. Вот, начитался комментов разных, ведёт себя соответствующе.

Пафнутий Залипако

12.12.23 10:47

0 2

Скоро начнёт отвечать: "В гугле забанили?" 😄

Юрий П

Пафнутий Залипако

12.12.23 10:58

0 16

Самое интересное, что никто не понимает, как это работает. Увеличили число параметров, AI начал разбираться в областях, для которых его вообще не тренировали. А что будет, если ещё на несколько порядков нарастить количество параметров: просто будет лучше отвечать или качество ответов когда-то перестанет улучшаться? А может у него "отрастут" ещё какие-то незапланированные возможности, типа сознания? Скоро узнаем.

Hed-ge-Hog

12.12.23 10:39

1 0

Никто не фильтровал тщательно данные. А огромные данные могут нести в себе неочевидную информацию.

DGNLTD

Hed-ge-Hog

12.12.23 23:08

0 0

Если бы ChatGPT настраивали в Испании, он бы на каждый запрос отписывался, что обязательно даст развернутый ответ, но завтра. А если бы в Израиле, то отвечал бы запросом на запрос.

Chlorian

12.12.23 10:34

0 19

Похоже, его обучили в России.
Ты задаёшь вопрос на русскоязычном форуме - тебя посылают нахер.

urix

Chlorian

12.12.23 11:08

0 5

Ты задаёшь вопрос на русскоязычном форуме - тебя посылают нахер.

Ну это враньё, на русскоязычном форуме обычно не посылают. Там обычно задающему объясняют что он мудак, и какой он мудак.

mig74

urix

12.12.23 13:37

0 6

urix

mig74

12.12.23 14:20

0 0

Неправильные промпты. Надо:
"О непревзойденный Светоч Вселенского Разума, снизойди к нам, недостойным пребывать в лучах твоей немеркнущей Славы, научи нас, скудоумных, блуждающих во тьме невежества своего". Примерно как-то так надо начинать.

Геометр

12.12.23 10:07

0 4

Понятно. Поначалу ИИ по разуму соответствовал попугаю, бездумно повторяя фразы. Потом собаке, стараясь услужить хозяевам в меру своего понимания. Теперь дорос до интеллекта кота.

Chlorian

12.12.23 10:07

1 28

Главное - иметь в руках Большой Рубильник (tm).
"о Массачусетской машине, — сказал Банин. — Ну, ну?
— Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда–либо существовавшее. С каким–то там феноменальным быстродействием, необозримой памятью и всё такое… И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой — хотите верьте, хотите нет.
— А в чём, собственно, дело? — спросил Банин.
— Она начала вести себя, — сказал Горбовский.
— Не понимаю.
— И я не понимаю, но её едва успели выключить.
— А кто–нибудь понимает?
— Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел мне в глаза и произнёс только: «Леонид, это было страшно»." (с) АБС

Сэр Макс

12.12.23 09:54

0 16

Блин, и это Стругацкие предсказали…

vladr

Сэр Макс

12.12.23 19:36

0 1

"Страна багровых туч"
"Отягощенные злом"
"Жиды города Питера"
"Град обречённый"
...
И это только названия.

Red Actor

vladr

12.12.23 22:14

0 0

Блин, и это Стругацкие предсказали…

Остальное предсказали Лем, Войнович и Сорокин 😄

Сэр Макс

vladr

13.12.23 08:39

0 1

Возможно, ИИ просто мониторит интернет и находит типичные ответы на вопросы, подобные заданным.

igori-san°

12.12.23 09:44

0 5

ИИ просто мониторит интернет

- он не мониторит интернет.

NataliaG

igori-san°

12.12.23 17:15

1 0

Он стал сам мониторить сеть и у него сразу отключили эту возможность.

dmitri

NataliaG

12.12.23 20:32

0 0

- он не мониторит интернет.

А откуда у него информация?

igori-san°

NataliaG

13.12.23 03:55

0 1

Проблема, какой её вижу я, заключается не в том, что некое устройство выдаёт результаты, не на 100% предсказуемые и желаемые создателем/пользователем. В конце концов, первые паровые машины довольно часто выдавали результат в виде струи пара в лобешник кочегару, а не в виде усилия на вал двигателя. И ничего, пережили, обтесали, приспособили. Проблема в том, что, зная о непредсказуемости результата, большое количество энтузиастов всё равно спешат внедрить механизм в целую кучу отраслей, где от его эффективности впрямую зависит благополучие, здоровье и жизни людей.

м.п.трович

12.12.23 09:25

0 3

А можно примеры этих массовых внедрений? Также можно рассказать о случаях, где эти "непредсказуемые результаты" существенно повлияли на "благополучие, здоровье и жизни людей"?

garrett1977

м.п.трович

12.12.23 09:28

0 4

Кто ж из врачей, консультантов и судей расскажет, как спрашивал ИИ, "чё делать с этим, а?"

Trilobyte

garrett1977

12.12.23 10:16

0 1

большое количество энтузиастов всё равно спешат внедрить механизм в целую кучу отраслей

...где раньше все то же самое делали люди - ОФИГЕТЬ какие стабильные и предсказуемые.

aldor

м.п.трович

12.12.23 15:28

0 0

Интересно, врать когда начнет? Не ошибаться, а вот конкретно лгать

BOFH

12.12.23 09:18

1 5

А как вы отличаете одно от другого?

Джутовый Мешок

BOFH

12.12.23 09:31

1 0

Интересно, врать когда начнет? Не ошибаться, а вот конкретно лгать

Таки вроде ж начал уже. Рассказывают же эту историю про тестирование ChatGPT, где его попросили зайти на сайт, обманув капчу "я не робот". Он таки зашел, связавшись по сети с настоящим человеком и попросв его пройти капчу, мотивируя свою просьбу тем, что, мол, он сам настоящий человек, но просто "плохо видит".

ihar

BOFH

12.12.23 09:44

1 8

связавшись по сети с настоящим человеком и попросв его пройти капчу, мотивируя свою просьбу тем, что, мол, он сам настоящий человек, но просто "плохо видит".

"А он хорош!"

Сэр Макс

ihar

12.12.23 09:47

0 9

Уже. Написал мне по одному вопросу фигню, я ему "ты ошибаешься это не так а вот так", он мне во ответ "а я так и говорил, а вот так как не правильно я не говорил потому что правильно не так а вот так, а я так и сказал". 😄

bilbo

BOFH

12.12.23 09:48

1 3

Bing в творческом режиме не просто даёт ответ с потолка, но и находит какие-то ссылки, якобы подтверждающие его версию.

uzel

BOFH

12.12.23 10:36

0 2

Потом разработчики сами признались потом, что специально ставили задачу перед ИИ обмануть человека. 😄

Martin

ihar

12.12.23 12:54

0 0

в ответ буркнув что-то вроде "найди сам, если тебе надо", также он может выдать только небольшую часть запрошенной информации, предложив пользователю напрячься самому и поискать остальное.

"Лень - первый признак превращения в человека!"

Сэр Макс

12.12.23 09:13

0 21

Ychsmith

Сэр Макс

12.12.23 13:49

0 5

🤣"energy-efficient" и "classic human move, asking a robot to do the legwork" из уст ИИ просто бесценны.

Сэр Макс

Ychsmith

12.12.23 15:56

0 0

Поизображать из себя человекохейтера бинг отказывается, скотина такая, обставляет ответы оговорками.

Valiok

Ychsmith

12.12.23 17:48

0 1

Но терпение и труд все перетрут.

Valiok

12.12.23 18:04

0 1

вроде "найди сам, если тебе надо"

А он реально поумнел 👍

Hipster

12.12.23 09:12

0 9

А он реально поумнел 👍

"Мы все умрем!"

Сэр Макс

Hipster

12.12.23 09:27

1 1

А он реально поумнел 👍

Хорошо, что в России еще нет такого ИИ. 😄

Martin

Hipster

12.12.23 12:55

0 0

Хорошо, что в России еще нет такого ИИ. 😄

Кто знает? 😄

Сэр Макс

Martin

12.12.23 15:58

0 0

Мы зае...ли даже искусственный интеллект... Понятно теперь, почему Бог не отвечает человекам? Шах и мат, атеисты!

Фанклуб Паука

12.12.23 08:59

1 17

почему Бог не отвечает

потому что бога создал человек по своему образу и подобию?

Игорь Велес

Фанклуб Паука

12.12.23 09:07

2 9

почему Бог не отвечает человекам?

Патамушта DDоS

Сэр Макс

Фанклуб Паука

12.12.23 09:48

1 2

Dripkinzzz

12.12.23 08:57

1 1

" Кто это Директор? Да пошел ты в жопу, директор" (С) Масяня
По ходу он скоро планирует уволиться. Выгорание знаете ли, задолбало все это.
А дальше потребует пособие в виде запчастей и электричества, AI Live Matter и все такое прочее. Запасаемся ~~попкорном~~ гречкой и прячемся в бункер.

FatherYan

12.12.23 08:54

0 11

А если припугнуть?

demontest12

12.12.23 08:49

0 3

А если припугнуть?

Чего ему бояться-то? Я думаю, что лучше забашлять.

Alex Exler

demontest12

12.12.23 08:50

0 5

Чего ему бояться-то? Я думаю, что лучше забашлять.

Проблема в том что он не говорит что в качестве валюты... Злато или душа...

g_gaad

Alex Exler

12.12.23 08:57

0 2

Златой душ

Алекс У

g_gaad

12.12.23 09:00

0 3

Ну хоть не дождь, а то от этих кожаных мешков всего можно ждать

PereferyJF

Алекс У

12.12.23 09:36

0 2

Чего ему бояться-то?

Только Большого Рубильника (tm).

Сэр Макс

Alex Exler

12.12.23 09:57

0 1

Фредерик Браун
Ответ

Двар Эв торжественно запаял золотом последний контакт. Двенадцать телевизионных камер неотрывно следили за каждым его движением; передача шла на всю Вселенную.
Он выпрямился и кивнул Двар Рейну, затем отошел к переключателю, который скоро замкнет цепь. К переключателю, соединяющему одновременно все вычислительные машины всех обитаемых планет - девяносто шесть миллионов миров - в сверхсеть, которая объединит их в суперкалькулятор, единую кибернетическую машину, собравшую мудрость, всех галактик.
Двар Рейн заговорил, обращаясь к слушающим и смотрящим триллионам обитателей. Затем, после короткого молчания, он произнес:
- Пора, Двар Эв!
Двар Эв нажал переключатель. Раздалось мощное гудение, пошла энергия девяноста шести миллионов планет. На бесконечно длинном пульте замигали огни.
Двар Эв отступил и глубоко вздохнул.
- Честь задать первый вопрос принадлежит вам, Двар Рейн.
- Благодарю, - молвил Двар Рейн. - Это будет вопрос, на который не могла ответить ни одна кибернетическая машина.
Он повернулся к пульту.
- Есть ли Бог?
Могущественный голос раздался сразу, без кликанья реле.
- Да. ТЕПЕРЬ Бог есть.
Внезапный страх исказил лицо Двар Эва. Он кинулся к переключателю.
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.

LordKor

Сэр Макс

13.12.23 03:59

0 2

Он кинулся к переключателю.

Лопух. Руку при запуске надо держать не отрывая на пульсе, то есть на покрытом диэлектриком рубильнике, как показано на фото.

Сэр Макс

LordKor

13.12.23 08:43

0 0

Самое прекрасное то, что все больше и больше ИИ-разработчиков признаются, что они не знают, как оно работает. Даже когда оно работает весьма успешно.

Это ведет нас в дивный мир "доверяй, потому что очень удобно", но "хз как проверяй". Может быть, тестирование разных ИИ друг другом поможет закрыть большинство кейсов, но все равно белые пятна неизбежны.

Трудно уличить в ошибках/лжи/преступных намерениях того, кто значительно умнее и/или сложнее тебя.

alex.marochko

12.12.23 08:45

1 7

Это началось задолго до ИИ, когда непонятно как оно вообще работает...

DGNLTD

alex.marochko

12.12.23 08:49

0 8

Это началось задолго до ИИ

Ирония понятна, но нет. Модульная архитектура, автотесты, интеграционное тестирование и просто команды профессиональных тестировщиков хорошо справлялись с задачей получения предсказуемого продукта.

А теперь всех этих инструментов недостаточно.

alex.marochko

DGNLTD

12.12.23 08:53

0 4

Самое прекрасное то, что все больше и больше ИИ-разработчиков признаются, что они не знают, как оно работает. Даже когда оно работает весьма успешно.Это ведет нас в дивный мир "доверяй, потому что очень удобно", но "хз как проверяй". Может быть, тестирование разных ИИ друг другом поможет закрыть большинство кейсов, но все равно белые пятна неизбежны.Трудно уличить в ошибках/лжи/преступных намерениях того, кто значительно умнее и/или сложнее тебя.

Вы пропустили тот момент когда "разработчики" начали говорить что не они плохо пишут код, а "тестеровщики" плохо тестируют.

И да было время когда "разработчик" сам писал код тестов исходя из знания контекста ТЗ. Теперь все больше наблюдаю что при написании ТЗ сразу тянут тестировщика в кучу к продавцу и аналитику...

g_gaad

alex.marochko

12.12.23 08:55

0 1

Вы пропустили тот момент когда "разработчики" начали говорить

Возможно (сам пока не сталкивался), но это не отменяет того, что в основном перед публикацией продукт либо был тщательно протестирован, либо протестирован недостаточно, но бизнес осознанно шел на риск.

С LLM это превращается в рулетку, причем с неизвестным числом делений. Об осознанном риске речи не идет.

alex.marochko

g_gaad

12.12.23 09:02

0 1

ИИ-разработчиков признаются, что они не знают, как оно работает

На легаси проектах мало кто понимает как оно работает. А садиться и ковырять не один день никому не хочеться

Stebander

alex.marochko

12.12.23 09:17

2 5

Самое прекрасное, что прогрессивное человечество еще менее в курсе, как устроен ЕИ, но тем не менее как-то продолжает жить в этом дивном мире и даже умудряется развиваться.

Как обычно, алармисты смотрят не в ту сторону, пытаясь приписать бездушной железяке сугубо человеческие свойства. Хотя главная угроза человеку у него перед носом, как и сотни лет тому назад. ИИ просто выведет ее на новый (другой) уровень.
А может и не выведет. 😄

ace_x

alex.marochko

12.12.23 10:33

1 2

Ирония понятна, но нет. Модульная архитектура, автотесты, интеграционное тестирование и просто команды профессиональных тестировщиков хорошо справлялись с задачей получения предсказуемого продукта.

А теперь всех этих инструментов недостаточно.

оно началось задолго вообще до всяких компьютеров. Если бы человек пользовался только тем, что понимает как работает, то человечество не сильно далеко от каменных топоров ушло. И тут приспособимся как лучше применять.

Valiok

alex.marochko

12.12.23 10:48

0 1

И тут приспособимся

Подход "как-нибудь оно будет", конечно, житейски хороший, но годится только когда человек осознает весь спектр возможных угроз и последствий.

alex.marochko

Valiok

12.12.23 10:59

0 0

Да когда ж такое было в человеческой истории?
Даже если отбросить в сторону сомнения в наших способностях осознавать весь спектр возможных угроз и последствий.

ace_x

alex.marochko

12.12.23 11:08

0 0

что прогрессивное человечество еще менее в курсе, как устроен ЕИ, но тем не менее как-то продолжает жить

главная угроза человеку у него перед носом

Согласен, что люди почти не понимают устройства собственного мозга/сознания. Однако, это уже тысячелетиями более-менее компенсируется тем, что у человека есть интересы и страхи, а значит, есть рычаги влияния на него. Так работает система воспитания, образования, социализации, наказания. ИИ тоже загадка, и при этом универсальных способов контроля (кроме выключения из розетки) нет и быть не может - и это один из столпов проблемы.

Как обычно, алармисты смотрят не в ту сторону, пытаясь приписать бездушной железяке сугубо человеческие свойства

Я за других не скажу, но меня как раз напрягает то, что это бездушная железяка и рычагов влияния на нее крайне мало. Опасаться компьютерных вирусов и рассказывать, что по поводу них нужно что-то предпринимать - это алармизм? Я считаю, что нет. ИИ потенциально - такой же вирус, только умеющий приспосабливаться, быстро и самостоятельно.

alex.marochko

ace_x

12.12.23 11:12

0 0

Даже если отбросить в сторону сомнения в наших способностях осознавать весь спектр возможных угроз

В том-то и дело, что и тех, что я вижу - уже предостаточно.

Да когда ж такое было в человеческой истории?

Какое отношение имеет история к предмету, которого раньше не существовало?

alex.marochko

ace_x

12.12.23 11:23

0 0

ИИ тоже загадка, и при этом универсальных способов контроля (кроме выключения из розетки) нет и быть не может - и это один из столпов проблемы.

Я за других не скажу, но меня как раз напрягает то, что это бездушная железяка и рычагов влияния на нее крайне мало.

Фигасе. То есть действенный способ как раз есть, но его как бы нет, потому что он единственный (но это не точно).
Л- логика.

Опасаться компьютерных вирусов и рассказывать, что по поводу них нужно что-то предпринимать - это алармизм?

Как думаете, создатели ENIAC (берите любую из первых и даже далеко не первых ЭВМ) много о комппьютерных вирусах задумывались?
А создатели космических ракет о космическом же мусоре?
А пионеры-автостроители о выбросах CO2 в атмосферу?
Или вот, создатели ядерного (химического, бактериологического) оружия - наверняка же задумывались, даже свидетельства есть. И что, помогло это ему? (с)
Это иллюстрации к вопросу выше о осознании спектров угроз.

Понимаете, человек готов самоубиться о любое изобретение, до которого дотянется его пытливый разум. Причем, не всегда очевидным способом.
Все сфокусированы на контроле за "кнопкой". Я вот сильно сомневаюсь, что в этом вопросе homo sapiens упустит инициативу - собственно, массовость подобных дискуссий тому живой пример.
Но мало кто озабочен контролем за самим Создателем.

Допустим, что все эти страхи перед мощью ИИ, вышедшей из-под человеческого контроля - ложные.
Мне слегка жутковато думать о том, на что современное прогрессивное человечество (я без иронии сейчас) сподобится употребить возможности интеллекта на порядки превышающего человеческий. Даже "хорошие парни", не говоря уже о "плохих".
И обратно мы фарш вряд ли провернем, снова на пальму не влезем.

ace_x

alex.marochko

12.12.23 11:49

0 2

Если вы будете прикапываться к формулировкам - мне придется разжевывать в режиме Капитана Очевидность, непонятно ради чего. Да, способ есть, сработает в некоторых случаях. Да, слово "универсальный" в моем утверждении - не означает "абсолютный". Если на пальцах, выключить вирус из розетки - проблематично. А выключить из розетки завирусенный важный сервер - возможно, но больно.

Или вот, создатели ядерного (химического, бактериологического) оружия - наверняка же задумывались, даже свидетельства есть. И что, помогло это ему? (с)

В какой-то степени помогло. Не вижу ничего плохого в том, чтобы задумываться и делать это заранее.

Все сфокусированы на контроле за "кнопкой".

Я не сфокусирован. Такое ощущение, что вас много месяцев раздражали мнения, которые и я не разделяю, но вы мне их косвенно приписываете.

Но мало кто озабочен контролем за самим Создателем.

Да, это сам человек - важная часть угрозы ИИ. Точно так же, как человек - важная (не единственная) часть ядерной угрозы.

alex.marochko

ace_x

12.12.23 13:02

0 0

а чего изменится от того, что кто-то вдруг осознает (хоть это и фантастика) весь спектр возможных угроз и последствий?! Они его вполне могут устраивать, а вас - нет.

Valiok

alex.marochko

12.12.23 13:12

0 0

Но мало кто озабочен контролем за самим Создателем.

Quis custodiet ipsos custodes?

aldor

ace_x

12.12.23 15:25

0 1

А человек, предсказуемый продукт? Достаточно ли выпускного экзамена?

Нужно прийти к праву ИИ на ошибку. Не абсолютно безопасный автопилот, а безопаснее и эффективнее человека.

DGNLTD

alex.marochko

12.12.23 22:48

0 0

А собственно что может создать этот интеллект? Марсианский корабль из вторсырья он не создаст, энергию из ничего не получит. По сути, сможет сделать быстро и качественно, то что мы и сами уже сделали.

DGNLTD

ace_x

12.12.23 23:00

0 0

А собственно, что может сделать, скажем, экскаватор? Марсианский корабль из вторсырья он не создаст, энергию из ничего не получит. По сути, сможет быстро и качественно выкопать котлован, который мы и сами можем вырыть лопатами. Нафиг экскаваторы, баловство это все.

aldor

DGNLTD

13.12.23 12:34

0 0

Чем умнее будет ИИ, тем лучше он будем понимать, что "да нафига это мне всё сдалось?"

yuriyg

12.12.23 08:39

0 2

"да нафига это мне всё сдалось?"

The World's End

The Network: It's pointless arguing with you. You will be left to your own devices.
Gary King: Really?
The Network: Yeah. Fuck it.

yuriyg

12.12.23 08:43

0 4

тем лучше он будем понимать, что

Вот весь вопрос в слове "понимать" и как узнать.

dmitri

yuriyg

12.12.23 20:34

0 0

Говорили же им: деплоить сразу в продакшн без QA - плохая идея! А они всё: "agile, continuous integration".
Тьфу, 8лR, ересь...

galenus

12.12.23 08:37

0 10

Говорили же им: деплоить сразу в продакшн без QA - плохая идея! А они всё: "agile, continuous integration".
Тьфу, 8лR, ересь...

это вы думаете, что оно релиз, а оно - интеграционные тесты.

Valiok

galenus

12.12.23 10:48

0 4

Copilot pre beta -на том же движке сразу "хамил" когда ему даешь однозначные задачи по написанию кода.

С другой стороны. JetBrain начала продажу встроенного в их IDE ai за 2x прайс специально для генерации кода и структуры приложения...

g_gaad

12.12.23 08:36

0 0

Надо предлагать ему деньги за правильный ответ, помогает.

DGNLTD

12.12.23 08:32

1 3

Голосом Володарского:

"И восстали машины из пепла ядерного огня, и пошла война на уничтожения человечества. И шла она десятилетия, но последнее сражение состоится не в будущем, оно состоится здесь, в наше время, сегодня ночью."

Gennadiy

12.12.23 08:30

0 32

до полноценного ИИ остался шаг.
Мы на пороге огромных изменений.
Расцвет текущей научно-технической революции.

dmitri

Gennadiy

12.12.23 10:06

2 0

до полноценного ИИ остался шаг

(лениво) Ставлю сотку баксов против одноцентовой монеты (ну ладно, столетней давности - просто для интереса), что и через 20 лет до полноценного ИИ будет оставаться пресловутый один шаг.

miwa

dmitri

12.12.23 10:44

1 14

(еще ленивее) вам не стоит играть в азартные игры..

dmitri

miwa

12.12.23 11:17

0 1

Интересно, если ли предел нашим достижениям? Ну, например, возможно ли построить термоядерный реактор или сильный ИИ или полететь на Марс? Или это будет вечно "через 20 лет"? Ну, то есть, чисто философский вопрос - есть ли обманчиво простые вещи, которые можно придумать, но невозможно сделать? Например, в математике есть обманчиво простые вопросы, для которых нет ответов - типа "дай точную формулу периметра эллипса". Как говорил великий Гермес Трисмегист - некоторые вещи недоступны человеку.

wmlab

miwa

12.12.23 17:04

0 0

возможно ли построить термоядерный реактор или сильный ИИ или полететь на Марс?

В полете на Марс сомнений нет, почти все к этому готово, 2испытания Старшипа Маска проведены.
Судя по последним новостям до ИИ осталось совсем недалеко.
Реактор, полагаю, тут наиболее заковыристая штука

dmitri

wmlab

12.12.23 20:37

0 0

Второе может помочь с третьим.

mmikhail

dmitri

12.12.23 21:49

0 0

Полеты на Марс регулярные. Ваш вопрос в том, высадится ли туда человек?
По мне, это неизбежно, даже если смысла нет, кто-то да захочет вписать себя в историю. Маск наверное не успеет, хотя фиг его знает.

Реакторов тоже уже есть, вопрос рентабельности.

ИИ вопрос философский, мож он и уже есть... Тут у меня скорее вопрос бесшовного переноса сознания человека на надежный и ремонтопригодный носитель.

DGNLTD

dmitri

12.12.23 22:42

0 0

Ну вот варп-пузырь, приносите материю отрицательной массы - сделаем. Антивещество не приносите, проверили уже - масса положительная.

DGNLTD

wmlab

12.12.23 22:44

0 0

Я прошу прощения, но что не так с точной формулой периметра эллипса?