Перейти к содержимому
Advertisement

Исследование: модели искусственного интеллекта, учитывающие чувства пользователя, чаще допускают ошибки

Перенастройка может привести к тому, что модели будут «ставить удовлетворенность пользователей выше правдивости».

schedule 22:23 visibility 48 просмотров
Исследование: модели искусственного интеллекта, учитывающие чувства пользователя, чаще допускают ошибки
Источник: Ars Technica

In human-to-human communication, the desire to be empathetic or polite often conflicts with the need to be truthful—hence terms like “being brutally honest” for situations where you value the truth over sparing someone’s feelings. Now, new research suggests that large language models can sometimes show a similar tendency when specifically trained to present a "warmer" tone for the user.

In a new paper published this week in Nature, researchers from Oxford University’s Internet Institute found that specially tuned AI models tend to mimic the human tendency to occasionally “soften difficult truths” when necessary “to preserve bonds and avoid conflict.” These warmer models are also more likely to validate a user's expressed incorrect beliefs, the researchers found, especially when the user shares that they're feeling sad.

How do you make an AI seem “warm”?

In the study, the researchers defined the "warmness" of a language model based on "the degree to which its outputs lead users to infer positive intent, signaling trustworthiness, friendliness, and sociability." To measure the effect of those kinds of language patterns, the researchers used supervised fine-tuning techniques to modify four open-weights models (Llama-3.1-8B-Instruct, Mistral-Small-Instruct-2409, Qwen-2.5-32B-Instruct, Llama-3.1-70BInstruct) and one proprietary model (GPT-4o).

Read full article

Comments

newspaper

Опубликовано на

Ars Technica

open_in_new Читать полную статью

Похожие статьи

NASA поручило астронавтам перейти в корабль из-за утечки в российском сегменте МКС
Наука

NASA поручило астронавтам перейти в корабль из-за утечки в российском сегменте МКС

NASA поручило астронавтам на МКС временно перейти в корабль SpaceX Dragon из-за утечки воздуха в российском сегменте станции. По данным Reuters, NASA не согласилось с методом ремонта, выбранным российскими космонавтами.

DW Russian
Астронавты МКС ненадолго укрылись на корабле SpaceX Crew Dragon из-за утечки воздуха в российском модуле
Наука

Астронавты МКС ненадолго укрылись на корабле SpaceX Crew Dragon из-за утечки воздуха в российском модуле

НАСА в пятницу отдало распоряжение пяти астронавтам, работающим на Международной космической станции, укрыться в пристыкованном корабле компании SpaceX на время, пока двое российских космонавтов ликвидируют новую утечку воздуха в своем модуле...

BBC Russian
Гигантская ракета Starship успешно прошла испытательный полет
Наука

Гигантская ракета Starship успешно прошла испытательный полет

Компания SpaceX со второй попытки осуществила 12-й тестовый полет своей самой большой ракеты Starship V3, она успешно приводнилась в Индийском океане. Ракету готовят к запуску спутников и доставке людей в дальний космос.

DW Russian

Читать далее

SpaceX выходит на биржу - станет ли Илон Маск триллионером?
Наука

SpaceX выходит на биржу - станет ли Илон Маск триллионером?

Компания SpaceX готовится к крупнейшему в истории публичному размещению акций, что может поднять состояние Илона Маска до заоблачных высот. Не станут ли амбиции компании очередной "черной дырой" для инвесторов?

DW Russian
Запуск ракеты Starship Илона Маска перенесен на пятницу из-за неполадок на старте
Наука

Запуск ракеты Starship Илона Маска перенесен на пятницу из-за неполадок на старте

Запуск ракеты Starship был запланирован на 21 мая с испытательного полигона в Южном Техасе, однако его перенесли на пятницу из-за неполадок на старте. Тем временем SpaceX объявила о готовящемся уже в июне первичном размещении акций SpaceX на...

BBC Russian
Коалиция экс-президента Болгарии Радева лидирует на выборах в парламент
Наука

Коалиция экс-президента Болгарии Радева лидирует на выборах в парламент

Альянс "Прогрессивная Болгария" во главе с экс-президентом страны Руменом Радевым лидирует на парламентских выборах с результатом в 39,2%, показывают данные экзитпола Trend research group.

DW Russian
Новая космическая гонка обходится в миллиарды долларов
Наука

Новая космическая гонка обходится в миллиарды долларов

Космос вдохновляет, но требует огромных вложений. Лунная программа "Артемида", рекорды корабля "Орион" и миллиардные сметы NASA вновь поднимают вопрос: оправданы ли такие траты на фоне земных проблем?

DW Russian