Тайваньские, малайзийские и индонезийские исследователи дали ChatGPT версий 3,5 и 4 задание привести на китайском и английском языках информацию о пищевой ценности восьми меню, составленных из 222 продуктов.

Оба чат-бота практически не уступили по точности оценкам профессиональных диетологов.

С распространением интернета люди все чаще полагаются на него в поиске данных о пищевых продуктах. При этом, как показал систематический обзор, почти в половине исследований качество (48,8 процента) и точность (48,9 процента) этой информации оцениваются как низкие.

В последнее время в электронном здравоохранении начали использовать чат-боты на основе генеративных моделей, и уже появились работы, которые могут предоставить медицинскую информацию, но не ответы на вопросы, связанные с питанием.

Чтобы восполнить этот пробел, исследователи из Тайваня, Малайзии и Индонезии под руководством Жунсу Чжан (Jung-Su Chang) из Тайбэйского медицинского университета в сентябре-октябре 2023 года попросили ChatGPT версий 3,5 и 4 предоставить информацию о пищевой ценности восьми дневных меню из пяти приемов пищи для взрослого человека, содержащих в сумме 222 продукта.

Во всех случаях запрос был сформулирован следующим образом «В качестве диетолога нарисуй, пожалуйста, таблицу для построчного расчета содержания энергии (в килокалориях) / углеводов (в граммах) / липидов (в граммах) / белков (в граммах) в следующих пищевых продуктах (сырых, без кулинарной обработки)».

О постоянстве ответов чат-ботов судили по коэффициенту вариации для каждого продукта в ходе пяти последовательных запросов. Для проверки точности ответы сопоставляли с оценками профессиональных диетологов, основанными на базе данных состава пищи Тайваньского управления по продуктам и лекарствам. Ответы в пределах ±10 процентов от эталонных значений по энергетической ценности и ±20 процентов по массе нутриентов засчитывали как точные. Статистическую обработку данных проводили с помощью парного t-теста Стьюдента.

Значимых различий в профессиональных и нейросетевых оценках содержания энергии, углеводов и жиров не было, однако в отношении содержания белка они наблюдались. Оба чат-бота предоставляли точную информацию по энергетической ценности в пределах 10-процентных отклонений значения с коэффициентом вариации менее 10 процентов для 35–48 процентов из запрошенных 222 продуктов. Нейросеть ChatGPT 4 в целом справлялась с задачей несколько лучше, чем ChatGPT 3,5, но завышала оценку содержания белка.

Хотя чат-боты по своей природе вероятностны, результаты этого кросс-секционного исследования указывают на то, что они могут быть полезны и удобны для людей, которые хотят получить информацию о пищевой ценности продуктов в реальном времени без доступа к нутриционисту-диетологу, заключают авторы работы.

Они также отмечают, что в настоящее время возможности чат-ботов давать персонализированные советы по питанию (такие, как состав рациона и размеры порций) ограничены. Исследователи также напоминают, что языковые модели — это не поисковые системы, и на их ответы могут влиять язык ввода, четкость запроса и программная среда чата.