Медленно победил человек
«Давай придумаем 30 заголовков новостей для производителя красок для фасадов»
В конце июня 2023 года PR-агентство Идеи&Решения провело соревнование между специалистом по связям с общественностью и двумя нейросетями — Yandex GPT и Chat GPT. Перед «бойцами» была поставлена задача придумать по 30 заголовков новостей для некоего клиента — производителя краски для фасадов зданий. Победа в скорости осталась за искусственным интеллектом, но качественная победа — за человеком. Оценку результатов проводили 11 опытных PR-специалистов агентства.
Самый быстрый (менее одной минуты) результат выдал Yandex GPT, ещё через минуту закончил работу Chat GPT. Человека остановили через полчаса. Однако более 90 % идей нейросетей жюри признало непригодными к использованию. Биологический объект выдал результат, на 86 % готовый к работе.
Ссылка на идеи с указанием авторства.
Пригодными для использования (то есть признанными более чем половиной экспертов осмысленными новостными заголовками) оказались у человека 86 % идей. То есть 24 из 28. Пригодные для использования идеи нейросетей: 0 % Chat GPT и 6 % (одна из 18) Yandex GPT.
Ссылка на таблицу оценки идей членами жюри (с указанием авторства идей и сортировкой по авторам).
По оценке директора по развитию PR-агентства Идеи&Решения Натальи Ильичёвой, для решения примитивных (хотя и интеллектуальных) задач нейросети вполне применимы и сегодня. Таких задач необходимо решать довольно много, особенно при обработке больших объёмов данных. Однако для качественного решения задач среднего и тем более экспертного уровня искусственному интеллекту нужно ещё подучиться.
«Все идеи были неплохими, но не все подходили к следующему заданию: написать заголовок релиза. Написаны заголовки грамотно. То есть работу искусственного интеллекта сложно было отличить от заголовков, написанных человеком, — рассказывает член жюри Мария Жожина. — Разница лишь в том, что у заголовков нейросетей “торчали рекламные уши”. К сожалению, не только GPT этим грешит, но и неопытные пиарщики».
Качественные результаты
Для оценки качества идей использовалась выдержка из стандартов оценки качества новостей коммуникационного агентства Идеи&Решения (используется в практической деятельности с 2006 года). Для заголовков экспертам предлагалось дать оценку каждой идеи по двум критериям:
1) новость предложена участником соревнования. Её заголовок должен отвечать на вопрос «Что случилось» и быть информативным для читателей, а не прямолинейным и рекламным. Оценка — бинарная: для качественных новостных заголовков предлагалось поставить 1, для некачественных — 0;
2) для идей, которые с точки зрения экспертов являются действительно новостными, предлагалось дать оценку силы новости от 1 до 5, где пять — новость интересная, достойная топовых средств массовой информации.
Члены жюри оценивали по списку идей, представленных в хаотичном порядке. При этом их авторство не указывалось.
Справка
PR-агентство Идеи&Решения работает на рынке с 1996 года. Является единственным крупным агентством России, открыто предоставляющим финансовые гарантии результативности коммуникационных кампаний. Входит в топ-50 коммуникационных агентств России. Команда Идеи&Решения — это более чем 50 специалистов в сфере маркетинга, Public Relations, организации мероприятий, интерактивных коммуникаций и журналистики.