ChatGPT оказался плохим помощником программистов

Данное исследование было опубликовано на конференции CHI по человеческому фактору в компьютерных системах.

По мнению авторов исследования, IT-специалисты были среди первых, кто стал задавать технические вопросы и запрашивать помощь по редактированию кода у чат-ботов. В результате исследования было выявлено, что рекомендации самого популярного чат-бота ChatGPT нужно проверять, так как каждый второй ответ оказывался ошибочным.

Ученые выбрали 517 вопросов о программировании с платформы StackOverflow, где IT-специалисты обмениваются знаниями. Они направили эти вопросы чат-боту ChatGPT и затем проверили ответы. Оказалось, что в 52% случаев чат-бот давал неверные ответы. В результате эксперты пришли к выводу, что данный сервис не является надежным помощником для программистов.

Также было обнаружено, что живые специалисты предоставляли более краткие ответы по сравнению с ChatGPT. В материале отмечается, что ответы, полученные от чат-бота, были предложены пользователям StackOverflow, и в 35% случаев они принимали их за правильные, не замечая ошибок.

Ранее журналисты из издания The Verge обратили внимание на фактическую ошибку в рекламе умного поиска Google. Например, в случае неисправности затвора искусственный интеллект посоветовал открыть крышку камеры, что, по мнению специалистов, является нежелательным действием из-за риска повреждения пленки.

Источник и фото - lenta.ru