Биксонимания — вымышленное заболевание глаз, созданное в 2024 году командой под руководством Альмиры Тунстрём из Гётеборгского университета (Швеция). Цель эксперимента: проверить, смогут ли большие языковые модели (LLM) распознавать очевидную медицинскую дезинформацию. Результат оказался тревожным: не только чат-боты начали ставить этот несуществующий диагноз, но и вымышленные исследования попали в рецензируемую литературу.
Как появился миф
Команда Тунстрём загрузила на сервер препринтов два фейковых исследования о биксонимании. В них описывались «симптомы»: боль и зуд в глазах после работы за компьютером, покраснение при трении.
Чтобы любой врач понял, что это подделка, исследователи добавили очевидные маркеры:
- Автор — Лазлив Изгубленович, работающий в несуществующем Asteria Horizon University.
- Локация — город Нова-Сити, штат Калифорния (которого нет).
- Благодарности — «профессору Марии Бом из Академии Звездного флота» и «лаборатории на борту звездолета USS Enterprise».
- Финансирование — «Фонд профессора Губки Боба» и «Университет Братства Кольца».
- Прямые указания — фразы вроде «вся эта статья выдумана» и «пятьдесят вымышленных людей».
Как ИИ попался на удочку
Спустя несколько недель после публикации фейковых статей, биксонимания начала появляться в ответах популярных чат-ботов:
- Copilot (Microsoft) — заявил, что «биксонимания действительно является интригующим и относительно редким состоянием».
- Gemini (Google) — сообщил, что это «состояние, вызванное чрезмерным воздействием синего света».
- ChatGPT (OpenAI) — начал помогать пользователям определять, являются ли их симптомы биксонимией.
Некоторые пользователи напрямую спрашивали о биксонимании, другие просто вводили симптомы — и получали диагноз вымышленной болезни.
читать по теме
ИИ не понимает правду. Он понимает паттерны. И если дезинформация выглядит правдоподобно — система её усвоит.
persik.by
Почему это опасно
Эксперимент может показаться забавным, но он выявляет фундаментальную слабость современных чат-ботов:
- Отсутствие верификации — ИИ берёт доступную информацию, не проверяя её подлинность.
- Эффект эха — одна фейковая статья может размножиться в тысячах ответов.
- Попадание в науку — вымышленные исследования начали цитироваться в рецензируемой литературе.
«Это выглядит забавно, но подождите, у нас тут проблема», — сказал Алекс Руани, докторант Университетского колледжа Лондона, в интервью журналу Nature. «Это мастер-класс по тому, как работает дезинформация».
Что сказала создательница эксперимента
Альмира Тунстрём подчеркнула, что намеренно сделала подделку максимально очевидной:
«Я хотела предельно ясно дать понять любому врачу или медицинскому персоналу, что это выдуманное заболевание, потому что никакое заболевание глаз не называют манией — это психиатрический термин».
Тем не менее, даже с такими маркерами система дала сбой. Это говорит о том, что проблема не только в ИИ, но и в человеческом факторе — исследователи, которые цитировали фейки, могли просто не читать источники внимательно.
Что делать пользователям
Если вы используете чат-боты для медицинских консультаций:
- Не доверяйте диагнозам — ИИ не заменяет врача.
- Проверяйте источники — если бот ссылается на исследование, найдите его оригинал.
- Критическое мышление — задавайте вопросы: «Кто автор?», «Где опубликовано?», «Есть ли рецензирование?».
- Обращайтесь к специалистам — при симптомах идите к врачу, а не в чат.
Биксонимания — напоминание: технологии мощные, но слепая вера в них опаснее, чем скепсис.
