Нейрослоп в учебниках

Любопытная история произошла в средней школе в Кентукки.
Ученики средней школы Фарнсли в юго-западной части Луисвилля в первый день учебного года ушли домой с учебниками, переполненным "галлюцинациями" ИИ. Самым ярким примером стала карта Северной Америки, на которой были зафиксированы потрясающие орфографические ошибки в названиях штатов, неверно расположенные города и вымышленные территории, которые на самом деле вообще не существуют.
Например, штат Кентукки был ошибочно обозначен как «Венеки», а такие штаты, как Техас и Луизиана, превратились в «Таксас» и «Лукунг». Хотя Южная Дакота осталась невредимой, её северный сосед был назван «Северная Дахота». Среди других примечательных ошибок - Аризона и Нью-Мексико, которые стали «Аризоне» и «Нью-Мизоне», а Оклахома превратилась в «Олкчома».
Даже когда ИИ правильно отображал названия, местоположения были ужасно искажены: в одном случае столица Кубы Гавана была указана как расположенная на мексиканском полуострове Юкатан.
Некоторые штаты, такие как Мичиган и Калифорния, вообще не заслужили никаких названий, в то время как другие разбиты на воображаемые царства. К югу от Ванкувера (написанного как «Веннуэр»), например, находится мифическая страна «Бихи», которая, согласно карте, граничит со штатом Вашингтон.
Изображения, опубликованные в социальных сетях, показывают другие части учебников с аналогичными проблемами, например, периодическую таблицу элементов, в которой магний указан с невозможной атомной массой -3,08, и карту Солнечной системы, на которой Марс обозначен как «Марк».

Офигевшие от всего это безобразия родители забросали школу возмущенными письмами, и в школе нашли совершенно гениальное решение: они попросили учителей вырвать 17 страниц с ошибками, созданных искусственным интеллектом, перед тем как снова раздать их ученикам.
Фееричная история, конечно. Школьные учебники - это прямо-таки золотое дно. Люди, которые пишут учебники для школ, получают огромные деньги. И при этом наполнить учебники нейрослопом с явными галлюцинациями и даже не проверить то, что там получилось - это надо быть прям совсем на голову отбитыми.
Я очень надеюсь, что родители учеников засудят людей, ответственных за выпуск этих учебников.
Про судить смешно, где принесённый убыток, школа отрегулирована проблему молниеносно.
Гораздо хуже, когда ошибки не такие явные. Когда умный и образованный человек совершает ошибку, ее сложнее найти, сложнее исправить и она дороже обходится. Есть много исследований, что медики-ученые банально не умеют пользоваться статистикой, некорректно планируют эксперименты и делают некорректные выводы. Много исследований фальсифицируют: типа старательно отобрать факты и результаты экспериментов, подтверждающих гипотезу авторов, и не опубликовать все остальное.
Человеки вполне себе научились как организовать работу других человеков, также нужно научиться и с нейронками.
ИИ лепят, чтобы снизить стоимость. Вместо людей с зарплатой платят относительные копейки за ИИ. Качество ИИ пока ещё так себе. А постоянно проверять, так это надо людей нанимать, платить им деньги.
Не, лучше хайп. Всё ИИ! А себе выпишем бонусы за экономию средств.
Потом, когда всё наипнётся, мы уже будем ни при чём.
Так что с неправильными названиями штатов ИИ бы справился. Но мне что-то подсказывает, что проверка такого документа, как эта agenda из описываемой статьи, даже с ИИ - это весьма трудоемкое занятие. И простой copy-paste, сделанный человеком был бы сделан быстрее и качественнее.
Там я спросил о том, что такое интуиция с научной точки зрения. Причём с кучей ограничений в плане того, какими источниками можно пользоваться для ответа. Никакого Юнга. Никакой гуманитарщины и лирики. Никакой экстрасенсорики и прочей мистики. Источники — только работы признанных международным научным сообществом учёных, публикуемых в наиболее авторитетных и строго рецензируемых научных журналах.
Ответ ChatGPT (итоги):
«Интуиция — это класс быстрых неявных инференциальных процессов, возникающих на основе усвоенных статистических закономерностей, интеграции ассоциативной памяти и механизмов предиктивной обработки, приводящих к поведенчески значимым суждениям без сознательного доступа к промежуточным вычислительным этапам.»
Меня ответ устроил 😉
https://chatgpt.com/c/6a09fab1-67c0-83eb-9228-ebdcac034c9b
Но многие ли этим заморачиваются вообще?
Поэтому лучше в спойлеры пихать.
www.reddit.com
Публикация привела к скандалу в научном сообществе, а название «Корчеватель» и вовсе стало нарицательным в научных кругах.
Смотрите на IMAX экранах:
«Корчеватель: Противостояние»
«Корчеватель: Секретные войны»
«Корчеватель: Последняя битва»
Я б сказал, скандал в псевдонаучном сообществе по поводу публикации в хрен знает каком журнале.
Впрочем, top-tier journals не застрахованы -- уверен, знаешь про эту знаменитую историю
en.wikipedia.org
По-моему именно переводчикам одним из первых грозили вымиранием. Лет 25 назад представить, что переводчики вымрут было легче, чем представить что исчезнут тети Маши с кассы и Витьки-таксисты.
А вместо фотолабораторий, бумажных карт, кинотеатров, патефонов, рейсшин, песочных часов и голубятен на крышах понапроизводили коробочек каких-то, так они мало то что в карман помещаются, так их еще и подзаряжать надо, и они, ироды такие, розеток повсеместно понавтыкали.
Ты мне так моего дядьку напоминаешь! Он физик, в электронный микроскоп чего-то разглядывает. Но при этом «во штаны у меня! Двадцать лет назад купил, а они как новые!»
Видимо, авторы решили, что раз речь идёт о постсоветском пространстве, то деньги там у всех примерно одинаковые.
В давно заброшенном LJ Еськова был пост о некой девочке, которая в качестве настольных книг держала его же "Историю Земли" и, конечно же "Эволюцию" Маркова.
Пост заканчивался чем-то типа: "Откуда они берутся, может их все-таки дустом?".
Сходу не нашёл технических деталей. А кто мешает ИИ использовать реальный bitmap после рендеринга? Или дополнительно пропустить через простенький фильтр (например, обрезающий высокие частоты).
Брэдбери уже тогда все знал:
"1999. 2000. 2055.
Машина остановилась....
...бросалось в глаза объявление на стене, объявление, которое он уже читал сегодня, когда впервые вошел сюда.
Что-то в нем было не так.
А/О СОФАРИ ВОВРЕМЕНИ
АРГАНИЗУЕМ СОФАРИ ВЛЮБОЙ ГОД ПРОШЛОГО
ВЫ ВЫБЕРАЕТЕ ДАБЫЧУ
МЫ ДАСТАВЛЯЕМ ВАС НАМЕСТО
ВЫ УБЕВАЕТЕ ЕЕ"
Я так понимаю, это не учебники, а какие-то материалы, созданные в школе. И что, ни один учитель не глянул на то, что детям раздавал? Чувствуется, что школа хорошая…
Еще как.
Исполнительная часть вспомнила, что что-то реально "могущий" т.н. "чатовый" ИИ на моей памяти существует уже где-то 2 года + мемы "Джва года ждал этой игры" и "Я ждал этот твит", в прошлом вызывавшие "высокий уровень позитивого отклика" как у моих нейронов, так и у других пользователей на моей памяти. Дополнительные "баллы" второй мем получил за то обстоятельство, что слово "твит" нелепо употреблять для длинного поста в блоге, описывающего рассказанное в статье на неком интернет-сайте, а конечная фраза - результат компиляции - за непривычность использования падежа из "вырезанной" части первого мема в случае мема второго и, следовательно, - неосознанно для многих - конечной фразы.
В моём сознании после прочтения оригинального поста в течение около секунды появилась затравка, руки потянулись к клавиатуре, до того как весь текст того коммента появился на экране и был пару раз перечитан, практически весь этот процесс и реальная удачность и уместность результата не были мною полностью (точнее, скорее полностью не были) осознанны.
Неуверенного в себе человека тоже часто можно подобными "poison prompts" заставить поступать похоже 😄 Особенно когда они исходят от начальника или экзаменатора.
А вот если дать текст и спросить - что в этом, тогда результат другой.
Это показывали еще 40 лет тому назад в Коротком Замыкании - когда разлил кетчуп на бумаге и дает N5 - спрашивая что это такое.
А соль в том, что крутизна джипа прежде всего связана с его мощностью и проходимостью. А, значит, оный джип дальше, чем обычная машина, углубится в грязь прежде, чем наконец застрянет.
Да и про простую, тем более "старую" (откуда он это взял) технику ИИ несёт отсебятину. Никакого противопоставления здесь нет. Трактор в шутке рассматривается просто как палочка-выручалочка, тягач.
Короче, фиаско ИИ как толмача.
Я с придирками Винни вынужден был согласиться "близко к 'полностью'". Сегодняшний ответ с исправленным промптом устраивает меня больше (не будем придираться к каждой странности вроде "марийской или российской глуши" или употребление словосочетания "полная безнаказанность").
Тут опять проблема, что увидев ситуацию "угадал все буквы (назвав при этом пару лишних), но так и не смог назвать слово" и оценив результат стараний по сравнению с нашими ожиданиями, иногда мы невольно поступаем как "добрый экзаменатор", найдя правильный ответ там где он не был назван, а иногда упорно отказываемся распознать и правильно обработать информацию, сколько раз в разной форме не напиши её нам прямым текстом.
Ответы многих юзеров тут, в течение всей долгой ветки в каждом случае, для меня часто ничем не отличаются от "че сказать то хо¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹¹"
ИИ, на мой взгляд, хотя бы продолжает прогрессировать, в разных областях - в разной мере
Кто. Посмел. Обидеть. Моего. Друга?
Развожу рукава.
Например пожарных.
Тогда СССР догонял США. Теперь США идут по пути СССР.
А есть Клод Фейбл 5 и Джипити Сол 5.6 про.
В Китае в обязательном порядке вводят в школах ИИ и это очень правильно.
Учиться взаимодействовать с ИИ со школы - правильно, потому что мир уже пошел по этому пути и как раньше не будет.
Но вот такого рода истории, когда берутся дешевые или маленькие модели и из их ошибок делается обобщающий вывод - они вредные для развития.
Конечно, дешевый нейрослоп надо искоренять. Использованием мощных моделей и учить этому, как в Китае.
Вы, вероятно, знаток. Но Опенаи считает, что у них есть гпт 5.6 Сол про.
Прилагаю скринчик. 5.6 Сол про на тарифном плане про.
Люди, не понимающие разницы, это делают и отсюда растут ноги у проблемы.
И нет, вы не правы, тезис *чем больше люди используют ИИ, тем меньше они используют собственные мозги* ложный. Я считаю наоборот, ИИ побуждает к развитию, а не к деградации.
Собственная машина побуждает к занятиям физкультурой
Доставка еды побуждает к изучению ресторанного дела
Вы упомянули в исходном посте лишь модель GPT 5.6 от OpenAI, но не упоминали сервис ChatGPT, который является сервисом от OpenAI по работе с их собственными моделями. ChatGPT далеко не единственный сервис, в котором ведётся работа с GPT 5.6.
Так вот. У самой модели GPT 5.6 (ни у одного из её уровней: Luna, Terra, Sol) нет никакого режима Pro.
Sol Pro - это просто красивый маркетинговый пресет для комбинации настроек модели GPT 5.6 Sol, который используется только на сайте ChatGPT. Это подтверждается в том числе тем, что в API самого OpenAI никакого Pro нет (идентификатор модели в API - gpt-5.6-sol, а отдельного gpt-5.6-sol-pro нигде не фигурирует), т.е. Sol Pro существует только внутри сайта ChatGPT просто как режим в пикере.
Вывод: Во фразе "Клод Фейбл 5 и Джипити Сол 5.6 про" вы смешали разные вещи - модель Claude Fable 5 и пресет настроек Pro для модели GPT 5.6 уровня Sol на сервисе ChatGPT, и я, включив режим зануды, внёс, настаиваю, правильную поправку.
Был уверен, что про - отдельная модель, 5.6 про с другими весами.
Но оказалось, это тот же Сол 5.6, но с большим вычислительным бюджетом.
Надо же...
Да, развели меня этим маркетингом продавцы ) Давно так в лужу не садился, еще и публично.
А Pro у них - дополнительный режим (тумблер), в котором под капотом скрывается вероятно какая-то неафишируемая ими совокупность тюнинг-настроек.
Т.е. в режиме Pro мы точно также можем поставить уровень рассуждений, скажем, Low или High.
Впрочем, о чём мы говорим. Вы ещё недавно утверждали, что режим Pro — это какая-то недокументированная комбинация параметров, доступная только внутри ChatGPT, а не через API. Если бы вы реально использовали API, вы бы знали, что reasoning.effort и reasoning.mode — это два взаимодополняющих параметра, и что второй как раз и задаёт pro режим, что конечно же указано в документации буквально в соседних разделах: developers.openai.com
Исходно речь шла о сравнении моделей - Claude Fable 5 от Anthropic и GPT-5.6 от OpenAI (я это уже пояснил в сообщении выше). Моя исходная поправка была о том, что Sol Pro не свойство модели от OpenAI. Вы же прицепились к моему примеру с API - да, признаю, пример был неудачным: reasoning.mode в API оказывается есть, его добавили с GA-релизом чуть больше месяца назад (9 июля). Но пример - не тезис, и появление этого флага в API мой основной поинт не опровергает.
Проведу краткий ликбез.
Reasoning effort - это и есть тот самый уровень рассуждений и он является свойством модели. Это натренированная в веса способность: насколько глубокую цепочку размышлений строит одна генерация перед ответом. Это часть самой LLM (!), результат её обучения. Имея веса локально, вы бы никаким скриптом это не воспроизвели - модель специально обучена по-разному думать при разном бюджете токенов.
А этот новый Reasoning mode (pro) - маркетинговая шелуха поверх модели, это свойство сервиса, алгоритм поверх. К самой LLM он не имеет никакого отношения: это внешняя обвязка, слой запуска, накрученный вокруг весов. Сама OpenAI формулирует так: "perform more model work to improve reliability... and return a single final answer". Вчитайтесь: не "думает глубже", а "выполняет больше работы и возвращает один финальный ответ". Один - из скольких? Это оркестрация: несколько прогонов той же самой модели, верификация, отбор лучшего результата.
Это уже давным давно известный и используемый паттерн best-of-n / self-consistency - ему сто лет в обед, он существовал задолго до всяких thinking-моделей и никогда рассуждением не назывался. Если настоящий уровень рассуждений - это reasoning effort (глубина мысли внутри модели), то этот так называемый reasoning mode - это лишь сколько раз и как эту модель дёргают снаружи. Грубо говоря, дайте мне те же веса локально - и этот pro я вам соберу за вечер на коленке (с любой моделью): N запросов плюс отбор лучшего. А вот reasoning effort вы никакой обвязкой не сымитируете, потому что он вшит в веса обучением. В сервисе ChatGPT эту обвязку показывают как пункт Sol Pro в пикере, в API - как флаг в запросе. Витрины разные, суть одна: это не модель, не свойство модели, а просто алгоритм поверх LLM.
То есть OpenAI сложила в одно поле reasoning две принципиально разные сущности и вторую назвала "reasoning" чисто маркетингово - ансамблирование прогонов рассуждением не является.
Поэтому "уровень рассуждений" для Pro - неверно вдвойне: это и не уровень (не ступень шкалы effort), и не рассуждений (это оркестрация вокруг модели), как бы там OpenAI это ни называла. То, что в пикере ChatGPT его нарисовали в одном списке с Medium и High, - вопрос вёрстки интерфейса, а не механики (в реальности этот Pro не взаимоисключается с настоящим уровнем рассуждений, а свободно с ним комбинируется).
Резюмирую: у модели GPT-5.6 Sol никакого Pro нет и не было. Он есть у обвязки вокруг неё - и в ChatGPT, и в OpenAI API (появился с прошлого месяца, признаю), и в любом стороннем сервисе, который этот флаг прокинет.
В изначальном посте речь шла о моделях (Fable 5 vs GPT 5.6 Sol), и моя поправка к тому посту была верной тогда и остаётся верной сейчас.
Надо привыкать.
Читатели нахваливают. Просят еще.
Я раньше удивлялся и возмущался - ведь там же ляп на ляпе! В каждом, мать его, рассказе.
Как можно читать такое, когда есть классическая литература?
Но это новая реальность. Такое качество стало стандартом и возмущаться теперь бессмысленно.
Напоминает сказку о Хоме и Суслике. Сначала суслик делал зарядку вместо хомяка. Сомнительно, но окей. А затем он стал есть за хомяка.
...
Возмущаться чужим вкусом
Впрочем, полагаю, иишное мЫшленье и сюда дойдёт, не задержится.
Надо привыкать.
...
Возмущаться чужим вкусом
Это вообще-то совсем разные вещи.
А вот если с ног до головы вымышленный главгер будет взаимодействовать с реальным историческим лицом и получать его поддержку, аккуратно вписываясь в канву биографии этого исторического лица, то всё будет в порядке. Мало ли что там происходило за кулисами большой политики, всей правды мы никогда не узнаем.
И это я ещё не рассказал про чудовищный в своей базовой тупизне фактически-физический ляп в и без того говённом фильме G.I. Joe: Retaliation, но лень писать. (не трудитесь его искать, разве что в ранних релизах на торрентах — после выхода фильма создатели опомнились и изменили эту сцену)
Не будем упоминать Фоменко тут.
Ну или Янки из Коннектикута при дворе Короля Артура😂
Использование искусственного интеллекта (ИИ) конгрессменами США привело к появлению ошибок в законопроектах.
Об этом пишет газета Politico со ссылкой на источники.
В публикации говорится, что нагрузка на управление законодательного совета Палаты представителей возрастает, поскольку все больше офисов Конгресса и сторонних групп полагаются на генеративный искусственный интеллект при разработке законов.
По словам представителей этого управления, способность ИИ быстро генерировать огромные объемы текста вынуждает юристов тратить значительно больше времени на проверку и переписывание предложений. Во многих случаях проекты изобилуют ошибками, которые могут иметь далеко идущие последствия за пределами Вашингтона - затормозить принятие законов и увеличить риск судебных исков из-за ошибочно цитируемых законов или неверных юридических определений, предупредили они.
Запаришься проверять в длинных юридических текстах.
"- Дети, знаете что такое критическое мышление?
- Кто первый найдет ошибку на стр. 22?
- Все нашли?
- Итак, берем красный карандаш - и правим.
- Еще нашли ошибки? Я вам подскажу."
Это лучше, чем просто вырвать страницы. Доверие учебнику все равно подорвано.
А сейчас никому верить нельзя. Мне - можно.
Идиократия наступила гораздо раньше. В фильме понадобилось 500 лет от 20 века.
Я на днях посмотрел сравнение двух учебников арифметики в США, современного и 19 века.
Ну и в этом крутятся "бешеные бабки".
Просто не должны в стране ученики быть умнее и образованнее президента и его министров.
--‐---------
Что значит стала, она всегда ею была. Меркурий, Венера, Земля и Марс.
Внутренние планеты (то же что и нижние планеты) — планеты, орбиты которых находятся внутри / ниже орбиты планеты, на которой находится наблюдатель (относительно общего центра, к которому они все тяготеют).
В современной астрономии термин «внутренние планеты» иногда используется в другом значении — как планеты земной группы (Меркурий, Венера, Земля и Марс), то есть планеты, находящиеся во внутренней области Солнечной системы (внутри пояса астероидов). Однако с точки зрения классической астрономии такое расширение термина считается ошибочным.
В учебниках, по которым учился я (и, полагаю, Solmir), было именно так.
- Во-первых, не на Марксе, а на Марсе, а во-вторых, это пока только гипотенуза.
они потому, что находятся внутри пояса астероидов,а не потому что Земля дальше от Солнца. Но это уже после 1801 года, когда Цереру открыли и последние 300 , хорошо 200 лет отнесение Земли к внутренним планетам, не вызывает среди астрономов негодования. Можем также поговорить о внешних планетах. А учебник ужасный, тут обсуждать нечего. Могу предположить, как он писался, профессор, раздал студентам задания, те призвали ии. На редактировании и корректуре сэкономили, есть ии. Вот и результат.
они потому, что находятся внутри пояса астероидов
Цитата:
Прежде всего заметим, что условия видимости планет с Земли резко различаются для планет внутренних (Венера и Меркурий), орбиты которых лежат внутри земной орбиты, и для планет внешних (все остальные).
Наверное, это тоже нейрослоп.
Наверно, потому что я учился бОльшую часть времени не в советской/постсовковой школе.
P.S. Не помню чтобы видел раньше внизу надпись "ответы ИИ могут содержать ошибки". Это нововведение - уже какой-то прогресс, на мой взгляд.
Чтобы люди почитали ИИ как новое всеведущее и всемогущее божество.
И не нужно будет запускать по людям ракеты как в "Терминаторе".
Слишком по-варварски.
Не нужно будет разрабатывать и поддерживать виртуальный мир как в "Матрице". Слишком авантюрно и ненадежно.
Вот Библия - это надежно. Снижает тревожность: если есть кто-то «более мудрый», можно побыть ребенком и не нести всю тяжесть хаоса и непредсказуемости в одиночку.
«Высшее существо (Jah) создало мир, чтобы человек был счастливым в любви и духовно совершеным. Чтобы это произошло, Jah дало человеку чувство красоты, разум, обучение и эмпатию. Если бы этого было мало, Jah дало бы еще указания. Jah в виде Kri приходило в мир. Его родила женщина Mari и дала имя Jesu. Человек Jesu стал духовно совершенным. Это значит, что у человека есть все, чтобы стать духовно совершенным».
Vld_Sergio°
Чтобы люди почитали ИИ как новое всеведущее и всемогущее божество.
И не нужно будет запускать по людям ракеты как в "Терминаторе".
Слишком по-варварски.
Не нужно будет разрабатывать и поддерживать виртуальный мир как в "Матрице". Слишком авантюрно и ненадежно.
Вот Библия - это надежно. Снижает тревожность: если есть кто-то «более мудрый», можно побыть ребенком и не нести всю тяжесть хаоса и непредсказуемости в одиночку.
Но о них никто не будет вспоминать, а вот своих последователей ИИ оставит вечно жить в своей, доступной всем живым памяти.
Чтобы люди почитали ИИ как новое всеведущее и всемогущее божество.
И не нужно будет запускать по людям ракеты как в "Терминаторе".
Все мы пойдём вслед за Jah.
Жизнь хороша, и смерть хороша
Когда мы идём вслед за Jah.
Когда мы идём вслед за Jah..." (с)
- Извел меня всего, противный.
Все мы пойдём вслед за Jah.
Жизнь хороша, и смерть хороша
Когда мы идём вслед за Jah.
Когда мы идём вслед за Jah..." (с)
Смотрите, вот и в реальном мире наука подобралась к аналогу того, что считалось христианским бредом, Я про это самое триединство. А всего-то мы имеем дело с сущностью, которая выходит за рамки той ограниченной части реальности, что дана нам в осчусчениях. И эта более многомерная сущность являет нам то одну, то другую сторону, всегда оставаясь самой собой.
Погодите, по мере изучения окружающего нас мира будут проступать всё более тесные аналогии.