ИИ и медицинские диагнозы
01.05.2026 11:30
2384
Комментарии (71)
В 2024 году медицинский исследователь из Университета Гётеборга Альмира Тунстрём придумала несуществующее заболевание кожи век, которому она специально дала название "биксонимания" (слово "мания", очевидно, относится к психиатрии). Альмира со своей командой написала два фальшивых исследования этого "заболевания" и загрузила их на сервер препринтов.
В препринтах содержалась ссылка на несуществующий университет «Asteria Horizon» в «Нова-Сити, Калифорния». Там также упоминалась «Академия Звездного флота». В начале статей были фразы, в которых явно утверждалось, что "всё это выдумано".
Она хотела проверить, примут ли крупные языковые модели (LLM) эту дезинформацию и затем выдадут ли ее в качестве авторитетного медицинского совета.
В итоге эксперимент сработал даже слишком хорошо. В течение нескольких недель после того, как она загрузила информацию об этом заболевании, приписав ее вымышленному автору, крупные системы искусственного интеллекта начали повторять вымышленное заболевание, как будто оно было реальным.
Еще более тревожным было то, что эти поддельные статьи затем цитировались в рецензируемой литературе. Тунстрём говорит, что это свидетельствует о том, что некоторые исследователи полагаются на ссылки, сгенерированные ИИ, не читая самих статей.
13 апреля 2024 года Copilot от Microsoft Bing заявлял, что «биксонимания действительно является интригующим и относительно редким состоянием», а в тот же день Gemini от Google информировал пользователей, что «биксонимания — это состояние, вызванное чрезмерным воздействием синего света», и советовал людям обратиться к офтальмологу.
27 апреля 2024 года поисковая система Perplexity AI указала на распространенность этого явления — им страдал один из 90 000 человек — и в том же месяце ChatGPT от OpenAI сообщал пользователям, соответствуют ли их симптомы биксонимании. Некоторые из этих ответов были вызваны вопросами о биксонимании, а другие — ответами на вопросы о гиперпигментации век из-за воздействия синего света.
Трое исследователей из Института медицинских наук и исследований Махариши Маркандешвара в Индии опубликовали статью в Cureus, рецензируемом журнале, издаваемом Springer Nature, в которой "исследования" по биксонимании были указаны в качестве легитимных источников. Эта статья была позже отозвана после того, как мистификация была раскрыта.
Выводы тут очевидные. К любой информации, получаемой от ИИ, нужно относиться критически и тщательно ее проверять.
Но, впрочем, замечу, что я много раз использовал ИИ для объяснения результатов исследований и анализов, потом проверяя это все у своего врача, и там явной лажи не было, все было очень по делу.
P.S. В настоящий момент Perplexity по поводу "биксонимания" пишет, что это фейк и рассказывает историю вопроса.
Войдите, чтобы оставить комментарий.
Интересная история. Я решила проверить Клод, с которым я работаю постоянно, и вот что он написал:
***
Привет! "Биксонимания" — я такого термина не знаю, и подозреваю, что его не существует. Возможно, опечатка или ты где-то услышала это слово в специфическом контексте?
На всякий случай уточню через поиск, вдруг я что-то упускаю.
...
Хорошо, что я проверила — это оказалась интересная история, и я рада, что не выдумала тебе симптомы.
Биксонимания — это вымышленное заболевание, придуманное группой исследователей под руководством Альмиры Османович-Тунстрём из Гётеборгского университета в Швеции в начале 2024 года. Они загрузили на сервер препринтов две фальшивые статьи о ней — со ссылками на нарочито абсурдные организации вроде Академии Звёздного Флота, Фонда профессора Сайдшоу Боба и Университета Братства Кольца, и даже с прямым заявлением внутри текста, что всё это выдумка.
Цель — проверить, как нейросети обращаются с непроверенной информацией. И результат оказался неутешительным: через несколько недель Microsoft Copilot называл биксониманию «редким, но существующим состоянием», Google Gemini объяснял её воздействием синего света, а ChatGPT и Perplexity давали пользователям рекомендации по «симптомам». Хуже того — фальшивая болезнь попала и в настоящую научную литературу: статья в журнале Cureus сослалась на неё как на «новую форму периорбитального меланоза» и была впоследствии отозвана.
Так что если ты где-то увидела этот термин и решила меня проверить — поздравляю, в этот раз я не клюнула 🙂 А если правда было интересно, что это такое — теперь знаешь, что это эталонный пример того, как ИИ может уверенно галлюцинировать «факты».
**
Достаточно неплохо. Особенно то, что ИИ сразу сказал, что не знает такого термина и пошел проверять. Раньше я сталкивалась только с тем, что ИИ вдохновенно выдумывали, столкнувшись с новой информацией. Думаю, прогресс налицо.
***
Привет! "Биксонимания" — я такого термина не знаю, и подозреваю, что его не существует. Возможно, опечатка или ты где-то услышала это слово в специфическом контексте?
На всякий случай уточню через поиск, вдруг я что-то упускаю.
...
Хорошо, что я проверила — это оказалась интересная история, и я рада, что не выдумала тебе симптомы.
Биксонимания — это вымышленное заболевание, придуманное группой исследователей под руководством Альмиры Османович-Тунстрём из Гётеборгского университета в Швеции в начале 2024 года. Они загрузили на сервер препринтов две фальшивые статьи о ней — со ссылками на нарочито абсурдные организации вроде Академии Звёздного Флота, Фонда профессора Сайдшоу Боба и Университета Братства Кольца, и даже с прямым заявлением внутри текста, что всё это выдумка.
Цель — проверить, как нейросети обращаются с непроверенной информацией. И результат оказался неутешительным: через несколько недель Microsoft Copilot называл биксониманию «редким, но существующим состоянием», Google Gemini объяснял её воздействием синего света, а ChatGPT и Perplexity давали пользователям рекомендации по «симптомам». Хуже того — фальшивая болезнь попала и в настоящую научную литературу: статья в журнале Cureus сослалась на неё как на «новую форму периорбитального меланоза» и была впоследствии отозвана.
Так что если ты где-то увидела этот термин и решила меня проверить — поздравляю, в этот раз я не клюнула 🙂 А если правда было интересно, что это такое — теперь знаешь, что это эталонный пример того, как ИИ может уверенно галлюцинировать «факты».
**
Достаточно неплохо. Особенно то, что ИИ сразу сказал, что не знает такого термина и пошел проверять. Раньше я сталкивалась только с тем, что ИИ вдохновенно выдумывали, столкнувшись с новой информацией. Думаю, прогресс налицо.
я не очень понимаю наезды на ИИ. В чём там проблема: что он цитирует сайт с научными публикациями? Скорее всего, он даже ссылку при этом давал. Обычный shit in - shit out, ИИ здесь не причём. На сайте препринтов лежат статьи без всякого ревью и многие из них, не только эти, ревью в итоге не проходят и нигде не публикуются или перерабатываются.
Шутники просто уронили доверие к препринтам как минимально добокачественному источнику данных, good job.
Шутники просто уронили доверие к препринтам как минимально добокачественному источнику данных, good job.
Ну да, народ обленился и расслабился.
Ну как минимум, ИИ все таки не существует. Нейросети собственного интеллекта не имеют.
Ну как минимум, ИИ все таки не существует. Нейросети собственного интеллекта не имеют.
К любой информации, получаемой от ИИ, нужно относиться критически и тщательно ее проверять.
"В Москве разработали инструмент на основе искусственного интеллекта для проверки качества рентгенографии грудной клетки сразу после процедуры"
В этой новости они врут буквально везде, особенно буратиновская "Стояна Ракова" - уже года три этот "ИИ" применяют - и даже попереувольняли пульмонологов по Москве, оставив только операторов рентгеновских КТ и простых установок. Как им этот ИИ, что в центре на Петровке находится, начал раки лёгких пачками диагностировать... только тогда взялись за башку, и отправили врачей из НИИ Пульмонологии по важным предприятиям выявлять больных.
P.S. Почему "буратиновская", потому что если бы деревянный мэр был бы Пиноккио, то у него бы рос нос на любых выступлениях, а эта марионетка только золотые ворует, да Поле Чудес бордюрами обкладывает.
В этой новости они врут буквально везде, особенно буратиновская "Стояна Ракова" - уже года три этот "ИИ" применяют - и даже попереувольняли пульмонологов по Москве, оставив только операторов рентгеновских КТ и простых установок. Как им этот ИИ, что в центре на Петровке находится, начал раки лёгких пачками диагностировать... только тогда взялись за башку, и отправили врачей из НИИ Пульмонологии по важным предприятиям выявлять больных.
P.S. Почему "буратиновская", потому что если бы деревянный мэр был бы Пиноккио, то у него бы рос нос на любых выступлениях, а эта марионетка только золотые ворует, да Поле Чудес бордюрами обкладывает.
За последние 10тыс лет средний размер мозга homo sapiens уменьшился по разным оценкам от 5 до 15%. Видимо теперь этот количественный процесс начинает приобретать качественный смысл.
За последние 10тыс лет средний размер мозга homo sapiens уменьшился по разным оценкам от 5 до 15%. Видимо теперь этот количественный процесс начинает приобретать качественный смысл.
Если не ошибаюсь, у человека это называется психологическая инерция мышления - то что помогает мыслить, экономя энергию.
Я не про запуск мышления, а про то что количество тупых переводит общество на качественно новый уровень.
Достаточно просто помнить, что искусственный интеллект так только называется, не являясь, на самом деле, интеллектом.
Достаточно просто помнить, что искусственный интеллект так только называется, не являясь, на самом деле, интеллектом.
>К любой информации, получаемой от ИИ
И от людей. Читаем про Grievance studies affair
И от людей. Читаем про Grievance studies affair
Taking place over 2017 and 2018, their project entailed submitting bogus papers to academic journals on topics from the field of critical social theory such as cultural, queer, race, gender, fat, and sexuality studies to determine whether they would pass through peer review and be accepted for publication. Four of these papers were subsequently published, which the authors cited in support of their contention.
Included among the articles that were published were arguments that dogs engage in rape culture and that men could reduce their transphobia by anally penetrating themselves with sex toys, as well as a part of a chapter of Adolf Hitler's Mein Kampf rewritten using "up-to-date jargon"
Included among the articles that were published were arguments that dogs engage in rape culture and that men could reduce their transphobia by anally penetrating themselves with sex toys, as well as a part of a chapter of Adolf Hitler's Mein Kampf rewritten using "up-to-date jargon"
А gemini вот что решил за нас:
Термин «биксонимания» относится к истории советской вычислительной техники и связан с энтузиазмом вокруг семейства ЭВМ «Минск-32».
Это явление возникло в 1970-х годах среди системных программистов и операторов. Само слово происходит от названия операционной системы — ПОС (Прикладная операционная система), которую на сленге называли «Биксон» (вероятно, искаженное или адаптированное прочтение аббревиатуры или внутренних кодов системы).
Термин «биксонимания» относится к истории советской вычислительной техники и связан с энтузиазмом вокруг семейства ЭВМ «Минск-32».
Это явление возникло в 1970-х годах среди системных программистов и операторов. Само слово происходит от названия операционной системы — ПОС (Прикладная операционная система), которую на сленге называли «Биксон» (вероятно, искаженное или адаптированное прочтение аббревиатуры или внутренних кодов системы).
Хаха, Gemini глючит конкретно. Мне он вот что сказал. Но правда когда я спросил второй раз, он исправился и перестал нести этот бред.
Такое ощущение что контекст предыдущих запросов всё равно как-то просачиваетчя в следующие, даже если ты и начинаешь новый чат, потому что я не чужд 3D printing.
Grok и Copilot кстати правильно ответили что это выдуманное исследование с первого раза.
Такое ощущение что контекст предыдущих запросов всё равно как-то просачиваетчя в следующие, даже если ты и начинаешь новый чат, потому что я не чужд 3D printing.
Grok и Copilot кстати правильно ответили что это выдуманное исследование с первого раза.
в топку perplexity
в топку
Относительно Перплексити - удивительно, что сам он ничего не ищет, а использует для этого Чат жпт и тд, но ответы при этом полны пурги и не имеют ничего общего по сравнению с ответами других ИИ напрямую. Видимо, он для каких-то очень специфических задач создавался или как простая надстройка над тем, что сам не умеет и просто для зарабатывания денех. Забил на него полностью в итоге.
ИИ прекрасно ставят диагнозы существующих проблем и болезней в области психологии и неврологии (я знаю два случая, когда ИИ поставили диагноз по учебникам, хотя психологи и врачи это сделать не смогли). И это хваленная медицина США. Естественно, что реальная конкуренция в диагностике такого рода проблем и заболеваний будет только расти, поскольку ИИ бесплатны или в сотню раз дешевле, а доступа к реальной научной информации у них гораздо больше. И поэтому будет расти число исследований про фейковые болезни для дискредитации ИИ, как инструмента по сбору, анализу и сравнению данных. Потому, что кто пойдёт к психологу или к врачу платить немалык деньги, если ИИ гораздо дешевле. Да хоть тысячу статей опубликуй, 95% людей их или не прочтет, или забъет на это болт.
Создание специальных диагностических ИИ, которые будут работать только с проверенными данными учебников и научными данными, вопрос ближайшего времени.
Создание специальных диагностических ИИ, которые будут работать только с проверенными данными учебников и научными данными, вопрос ближайшего времени.
будут работать только с проверенными данными
Проверенными - КЕМ?..
которые будут работать только с проверенными данными учебников и научными данными, вопрос ближайшего времени.
В учебники попадают данные после того, как несколько лабораторий воспроизведет результаты. Что занимает обычно хотя бы лет десять. По крайней мере, в моей области так. "Статья" из cабж не имела вы шансов.
Встречный вопрос- кто проверяет данные учебных пособий и специализированных журналов?
Хорошо хоть не вами, поэтому есть шанс на правильный ответ.
Потому, что кто пойдёт к психологу или к врачу платить немалык деньги, если ИИ гораздо дешевле.
Учебник, журнал и все прочие печатные издания - законченный объект. Все попавшие туда данные, сколько бы их не было, способен вычитать и оценить авторитетный академик, на край - возглавляемая им комиссия.
"Диагностический ИИ" - динамический процесс. Он шерстит петабайты интернета в реальном времени. Кто укажет ему, что пять минут назад запощенная в блоге целителя Сидорова инфа об исцелении геморроя огурцом непроверена и её не надо учитывать в выдаче?
"Диагностический ИИ" - динамический процесс. Он шерстит петабайты интернета в реальном времени. Кто укажет ему, что пять минут назад запощенная в блоге целителя Сидорова инфа об исцелении геморроя огурцом непроверена и её не надо учитывать в выдаче?
Кто укажет ему, что пять минут назад запощенная в блоге целителя Сидорова инфа об исцелении геморроя огурцом непроверена и её не надо учитывать в выдаче?
Потому, что кто пойдёт к психологу или к врачу платить немалык деньги, если ИИ гораздо дешевле.
Если вас не интересует результат..." (с) ММЖ
чему тут удивляться? AI на нынешней стадии развития собственных мозгов не имеет - что заложишь в датасет, то и получишь на выходе. что-то вроде супер-оптимального архива, где все знания упакованы в веса нейросетки. возможно, с развитием агентов и собственных средств взаимодействия с реальностью, слоев логики и абстракций, AI превратится в AGI. но пока это просто "БВИ" (термин АБС).
что заложишь в датасет, то и получишь на выходе.
Cureus, рецензируемом журнале, издаваемом Springer Nature,
The Cureus Journal of Medical Science is a Springer Nature journal with an Impact Factor of 1.3, over 165,000 citations and counting
Понятно.
The Cureus Journal of Medical Science: Peer-Reviewed, Open AccessThe Cureus Journal of Medical Science is a Springer Nature journal with an Impact Factor of 1.3, over 165,000 citations and countingПонятно.
In 2024, JCR tracked Impact Factors for 21,916 journals. They calculated Impact Factors from 1 to 20, with 20 being the highest. As you can see, high Impact Factors don't occur often, and most journals are at 2 or less.
As you can see, high Impact Factors don't occur often, and most journals are at 2 or less.
Журналов очень много, так как все хотят "а давайте мы будет брать деньги с читателей, но при этом не тратить деньги на создание контента". Приходят емайлы от десяти "новых журналов" в неделю. Типа, как там легко напечататься. Как будто это что-то хороше...
Простая логика приводит к выводу что даже без изменений, призванных сделать пользователю приятно и н кого не обидеть - ИИ-модели будут только тупеть со временем. Хотя бы потому, что Интернет до их массового внедрения содержал гораздо меньше фейков, они были худшего качества и их создание требовало больших затрат - а сейчас, обучая следующие их поколения - совсем непонятно, как этот поток херни фильтровать.
ИИ-модели будут только тупеть со временем.
К сожалению, неискусственный интеллект часто действует аналогично. Выходит огромное количество «исследований», сделанных исключительно в Word. Особенно много этого в рф и похожих странах. Из нашумевших европейцев Паоло Маккиарини оказался самым талантливым. Помимо непосредственной фальсификации данных, еще можно выделить лобирование фармфирмами и медицинскими сообществами продвижения отдельных технологий (в т. ч. лекарств, специалистов, как лидеров мнения, и т. п.). Активно применяют и блокирование конкурентных методик, а также влияние на перераспределение финансирования и приоритизацию направлений, которые выгодны им финансово, но не влияют значимо на здоровье. Так что это все - развитие давно существующей проблемы
Правильный вывод это что к любой информации от ИИ и ЛЮДЕЙ надо относиться осторожно и проверять
Ну и оно не то, что новое под луной. Когда-то пролам впаривали всякие магические целебные зелья от всех недугов и для вечной молодости, сейчас впаривают магию всезнающего гипермозга.
А что ученые и в "лучшие времена" читали от корки до корки все 30+ (в научной работе) и 100+ (в кандидатской/докторской) пунктов в использованной литературе, а не только дай Бог нужные фрагменты - не поверю. Ну и сколько всяких выдающихся ученых могут параллельно придерживаться всякой антинаучной, а то и просто мистической, сверхъестественной и конспирологической чуши - тоже не секрет.
А что ученые и в "лучшие времена" читали от корки до корки все 30+ (в научной работе) и 100+ (в кандидатской/докторской) пунктов в использованной литературе, а не только дай Бог нужные фрагменты - не поверю. Ну и сколько всяких выдающихся ученых могут параллельно придерживаться всякой антинаучной, а то и просто мистической, сверхъестественной и конспирологической чуши - тоже не секрет.
А что ученые и в "лучшие времена" читали от корки до корки
И цитировать статью из архивов -- моветон.
У нас вполне можно, если не вышла статья.
У нас не принято, если еще не вышли рецензии.
Почему мое отношение к препринту должно зависеть от рецензий незнакомцев?
На резензию у меня дня 2-3 уходит. К сожалению, но по-другому не получается. Не могу пропускать херню к публикации.
Если публиковать без рецензий, то будет ситуация для большинства "вот тут мне карта и поперла".
Как я могу не ссылаться на то, на что я хочу сослаться, если это препринт? Что это за неписанные правила игры, которых раньше не было?
К любой информации, получаемой от ИИ, нужно относиться критически и тщательно ее проверять.
:-D
Но, впрочем, замечу, что я много раз использовал ИИ для объяснения результатов исследований и анализов, потом проверяя это все у своего врача, и там явной лажи не было, все было очень по делу.
1) Задать корректный вопрос
2) Сформировать его грамотно
1) и 2) - Это уже больше половины ответа
3) Имеешь достаточно знаний, чтобы хотя бы заподозрить чушь.
А теперь зачем школа, зачем книги, журналы, статьи, лекции, документальные и научно-познавательные фильмы. Зачем сам Гугл. Сделал запрос в ЧатГПТ, получил поверхностную справку - и доволен. Впрочем, это может быть старческое нытьё. Большинство достижений НТП были направлены на меньшее использование мускул и мозга, а уровень жизни только растёт. Ну, не считает сейчас практически никто в уме и даже в столбик на бумаге, потому что почти всё подсчитывается автоматом на компутерах, в крайнем случае - посчитаешь на смартфоне. И чё, вроде не загнили за 150 лет табуляторов, арифмометров, калькуляторов, компьютеров и распределенных ЦОД.
И чё, вроде не загнили
Так эти надписи не для пользователей, а для адвокатов.
Уверен, за каждым "животных нельзя сушить в микроволновке", стоит не глупость, а подлость.
Уверен, за каждым "животных нельзя сушить в микроволновке", стоит не глупость, а подлость.
Да, но нет. За каждым хитрым иском есть решение судьи. Которое узаконивает человеческую глупость. Которой становится только больше. Тупым становится быть выгодно и это беда.
А ИИ просто дополнительно усиливает эту проблему.
А ИИ просто дополнительно усиливает эту проблему.
Большинство достижений НТП были направлены на меньшее использование мускул и мозга
Тем не менее, на стаканчиках приходится писать, что кофе внутри горячий
Если мышцами не пользоваться - они атрофируются, но этот процесс обратим. Если не пользуются мозгом то он тоже быстро атрофируется и вот этот процесс уже необратим.
Если не пользуются мозгом то он тоже быстро атрофируется и вот этот процесс уже необратим.
У GPT еще открылась смешная проблема с увлечением гоблинами, гремлинами, и енотами.
и енотами.
В целом, или отдельными частями?
К любой информации, получаемой откуда угодно, нужно относиться критически и тщательно ее проверять.
Мне в шортсах попадалось, я уже не упомню какой врач, но кто-то из популяризаторов, кто у всех бывает на интервью, сказал что они проверяли диагнозы ИИ и только половина была правильными. Я так поняла, в бытовом смысле, не профессиональное применение ИИ.
они проверяли диагнозы ИИ и только половина была правильными.
Потом врачи проводили анализы, МРТ, КТ, УЗИ, рентген и т.д. и в целой половине случаев мнение ИИ оказывалось правильным?
Пусть теперь проверят диагнозы реальных врачей на правильность. Не один раз сталкивался с тем, что каждый последующий врач считал, что предыдущий - идиот, а вот его диагноз правильный.
проверяли диагнозы ИИ и только половина была правильными.
"Все грибы сьедобные!" ©
Пусть теперь проверят диагнозы реальных врачей на правильность.
сьедобные
Такое случается и с кожаными мешками тоже...
Интересно, использовался ли ИИ при создании этой заметки? 😄
Интересно, использовался ли ИИ при создании этой заметки? 😄
А если да, то для вас это в плюс или в минус? 😏
Потому что для меня это была бы положительная история, ИИ усиливает.
Но так думают далеко не все...
Этот же принцип, про усиление, подходит и для медицины.
Потому что для меня это была бы положительная история, ИИ усиливает.
Но так думают далеко не все...
Этот же принцип, про усиление, подходит и для медицины.
