Журнал о PropTech

Незаменимые есть: как SocMediaMarketing проверяли, сможет ли нейросеть писать отзывы как человек

Одним из таких направлений применения стала работа с текстами, в частности — написание пользовательских отзывов. Более 10 лет сотрудничая со строительными компаниями по направлению репутационного маркетинга, мы в SocMediaMarketing решили провести эксперимент и поставили перед собой задачу исследовать потенциал нейросетей в области создания отзывов.

Мы проанализировали несколько параметров формы и содержания текстов отзыва, и результатом стал перечень тезисов, «слабых мест» нейросети, с разбором каждого из них на опыте работы со сферой недвижимости.

Статья будет полезной для тех, кто только пробует работать с текстами в нейросетях, и поможет избежать очевидных и не очень ошибок.

Содержание

1. Несвязность и отсутствие логики

Генерируемый текст может быть красиво изложен и наполнен различными терминами. Именно поэтому на первый взгляд может показаться, что нейросеть отлично справляется с написанием отзывов, но при детальном анализе обнаруживается отсутствие логической связи между предложениями или идеями.

Отзыв, сгенерированный нейросетью:
Комментарий пользователя:
«Был обещан и не появился? Что? Купить квартиру в бизнесе и самим заниматься устройством мест для отдыха — это что-то за гранью фантастики. В отзыве наблюдается великолепное переобувание!»

1.1 Где опасность?

В отработке конкретной негативной ситуации в чате дольщиков очень важно избегать поверхностной фактуры — за каждое слово тут могут "поймать" на лжи. Люди, которые видели все своими глазами и прекрасно погружены в контекст любого прецедента, — непосильная конкуренция для нейросети.

2. Оценка субъективности

Нейросети могут анализировать текст и находить ключевые слова и фразы, но у них нет способности понять контекст так, как это делает человек. Отзывы в интернете часто содержат субъективные мнения, иронию, сарказм и другие нюансы, которые сложно понять и корректно интерпретировать для AI.

2.1 Человек: 1, нейросеть: 0

В том, чтобы вести дискуссию по существу, специалист репутационного маркетинга пользуется своим личным запасом насмотренности и начитанности, точно понимает тональность и «двойное дно» в диалоге о, к примеру, затягивании сроков сдачи. Он не ответит на подкол буквально.

3. Неправильное использование фактов или устаревшие данные

Нейросети, в частности GPT-4, обучаются на огромных наборах данных, но обучение ограничено определенным периодом времени. В связи с этим, они могут использовать устаревшую информацию или неправильно интерпретировать факты.

3.1 Подводные камни:

Информация в актуальной версии нейросети — до сентября 21 года. Таким образом, достаточно много времени уйдет на то, чтобы насытить свой отзыв или текст актуальной фактурой, а она обновляется буквально каждую неделю: количество единиц техники, актуальный статус заселения, последние данные по скидкам. Репутационные риски в случае попадания недостоверной информации в общий доступ, достаточно высоки.

4. Странное использование грамматики или стиля

Иногда нейросети могут допускать грамматические ошибки или использовать странные стилистические обороты, которые маловероятно были бы использованы человеком.
Отзыв, сгенерированный нейросетью:
Комментарий пользователя:
«Выхолощенная лексика отзыва не дает оснований убедиться в его реальности. Из всех минусов — только звукоизоляция и бюрократические задержки, это смешно, честно говоря. Реальный пользователь обычно, даже если хвалит, в отзыве обязательно скажет, не нахамил ли ему менеджер и с какого раза он принял квартиру. Вердикт: не верю!»
Больше цифровых решений для застройщиков → Каталог решений

4.1 Придется перепроверять

Чем весомее и достойнее репутация бренда в сети, тем хуже ему прощается даже такая вещь, как неумение различать "ться" и "тся". Поэтому только присутствие грамотного человека на контроле текстов, написанных нейросетью, позволит избежать казусов. И в этом процессе тоже нет никакой оптимизации: штатную единицу нужно держать и для постановки задачи, и для корректировки и редактуры.

5. Бессмысленные слова или выражения

В тексте, сгенерированном нейросетью, могут присутствовать слова или фразы, которые кажутся бессмысленными или неуместными в данном контексте.

5.1 Я робот и нет у меня сердца

Понимания контекста в нейросети нет. Умение видеть скрытые смыслы — тоже. У вас не получится легко создать текст на "богатом" языке для бизнес-класса, потому что он будет полон поверхностной витиеватой лексики, которая превратит текст в воду.
Отзыв, сгенерированный нейросетью:
Комментарий пользователя:
«При прочтении отзыва складывается ощущение, что читаешь художественное произведение, а не реальный отзыв. Как будто описание взято из книги, и больше похоже на чью-то шутку, чем на отзыв довольного жильца. Доверия подобный отзыв не вызывает от слова совсем».

6. Зацикленность и повторения

Нейросети могут зацикливаться на определенных темах или мотивах, что может привести к чрезмерному повторению слов, фраз или идей.

6. 1 Пленку зажевало

Нейросеть в ответ на вполне четкий запрос может начать писать одно и то же по кругу, но разными словами. А в пылу беседы с жителями или в попытке достойно описать преимущества транспортной доступности ЖК важна сутевая информация и ее меткое применение.

7. Отсутствие определенного мнения или позиции

Текст, сгенерированный нейросетью, может быть нейтральным, то есть без какого-либо критического мышления/мнения, так как нейросети стремятся предоставить информацию без принятия стороны.

Отзыв, сгенерированный нейросетью:
Комментарий пользователя:
«Ничего по делу не сказано, очень много повторов. Почти каждое предложение об одном и том же. Я бы не смогла опираться на такой отзыв при выборе ЖК, так как есть ощущение, что его писал робот, а не настоящий человек».
Сомневаетесь, что получаете максимум от цифровых сервисов? Пройдите оценку цифровой зрелости

7.1 Автора! Автора!

Авторская риторика, авторское мнение очень важны и при выстраивании умелой стратегии в репутационном маркетинге, и при создании собственного брендового tone of voice в соцсетях. Не умеющая ни в иронию, ни в сарказм, ни в отсылки-пасхалки нейросеть не сделает ваш текст уникальным. Скорее всего, у вас получится шаблонный и скучный материал.

Что же в итоге? Хотя нейросети и впечатляют своей способностью обрабатывать большие объемы данных и распознавать сложные закономерности, у них есть ограничения, которые на данном этапе их развития делают их не подходящими для работы с отзывами в интернете. И даже если учесть определенную экономию времени при сборе какой-то универсальной, «бессмертной» фактуры для ваших текстов, она вся испарится при редактуре – когда придется добавить свежих фактов, проверить текст на логику, избавиться от повторений и избежать недостоверности.
По опыту можно сказать, что отзывы, написанные нейросетями, действительно бросаются в глаза. Они могут создать общее впечатление о продукте или услуге, но они несут в себе определённые 'отпечатки' искусственного интеллекта, которые легко распознаются экспертами и даже внимательными потребителями.

И хотя нейросети могут генерировать текст, основанный на обучающих данных, они не могут заменить реальный опыт использования продукта или услуги, который важен для создания полноценного и убедительного отзыва.

Сегодня нейросети могут быть полезным инструментом для генерации идеи отзыва или примеров текстов, но ещё рано доверять им полноценное написание отзывов. Для достоверности и эффективности отзывов необходим личный опыт, эмоциональная привязанность и уникальное восприятие, которые нейросети пока что не могут полностью воссоздать.

И, пожалуй, основным аргументом является время. Вместе с нейросетью копирайтер потратит ровно столько же времени на составление хорошего отзыва, сколько и без нее. Но дополнительное время у него уйдет на настройку этого текста. Как итог — времени на работу тратится даже больше
Олег Левен, руководитель отдела репутационного маркетинга в агентстве «СоцМедиаМаркетинг».
Верим, что потенциал у нейросетей безграничен, но пока доверяем работу с репутационной информацией исключительно проверенным и надежным профессионалам.

Больше материалов про цифровые решения в недвижимости






Телеграм-канал DigitalDeveloper
Подпишитесь, чтобы читать новости, кейсы, исследования и обзоры IT-технологий на рынке недвижимости.
2023-06-09 12:13 Цифровизация Маркетинг и продажи