Распознавание текста написанного нейросетью, стало достаточно актуальным в последнее время. Всё больше копирайтеры переживают из за того, что нейронки вытеснят «ручной» труд. К счастью, ИИ пока еще не научился писать полноценные, качественные статьи. Как защититься от людей которые выдают «машинный текст» за свою работу? Давайте разбираться.
Инструменты для определения текста созданного нейросетью.
Один из таких инструментов выпускает OpenAI — компания разрабатывающая ChatGPT, для обнаружения контента, написанного искусственным интеллектом. Разберем подробнее новый классификатор текстов OpenAI и узнаем о его плюсах и минусах. Как его можно использовать в качестве отправной точки для обнаружения контента, созданного ИИ.
- ИИ-классификатор текста OpenAI может помочь обнаружить контент, написанный нейросетью, но не со 100% точностью.
- Имеет вероятность неправильно маркировать текст написанный человеком, или нейросетью. И его также можно обойти с помощью незначительных правок.
- Классификатор текста не должен быть единственным доказательством, при вынесении вердикта о сравнении.
Компания OpenAI, занимающаяся исследованиями в области искусственного интеллекта выпустила новый инструмент для определения текста Classifier.
Несмотря на то, что невозможно определить текст, написанный ИИ, со 100% точностью, OpenAI считает, что ее новый инструмент может помочь смягчить ложные утверждения о том, что люди написали контент, созданный «машиной».
В заявлении OpenAI говорится, что новый классификатор текстов может ограничить возможность проведения автоматизированных кампаний по дезинформации, использования инструментов ИИ для академического мошенничества и выдачи себя за человека с помощью чат-ботов.
Результаты тестирования классификатора текстов.
При тестировании на наборе текстов на английском языке инструмент мог правильно сказать, был ли текст написан ИИ в 26% случаев. Но в 9% случаев он также ошибочно считал, что текст, написанный человеком, был написан нейросетью.
OpenAI утверждает, что его инструмент работает тем лучше, чем длиннее текст, поэтому для проведения теста требуется не менее 1 000 символов.
Другие ограничения нового классификатора включают следующее:
Может ошибочно маркировать как сгенерированный ИИ, так и написанный человеком текст.
Текст, созданный ИИ, может обойти классификатор при незначительных правках.
Может ошибаться в текстах, написанных детьми, и в текстах, написанных не на английском языке, поскольку он обучался в основном на англоязычном контенте, написанном взрослыми. Учитывая это, давайте разберем его работу:
Использование ИИ-классификатора.
Войдите в систему, вставьте текст, который вы хотите проверить, и нажмите кнопку отправки.
Инструмент оценит вероятность того, что представленный вами текст был создан искусственным интеллектом. Результаты варьируются от следующих:
Очень маловероятно
Маловероятно
Неясно, так ли это
Возможно
Вероятно
Несмотря на то, что OpenAI прав, утверждая, что классификатор легко обойти, это не должно быть единственным доказательством того, что ИИ что-то написал.
На данный момент, материал изложенный на русском языке даже от руки человека воспринимается за частую, как «машинный текст». Так же, как и статьи, сочинения, эссе и тому подобный письменный контент написанный нейросетью на английском языке воспринимается классификатором, как человеческий.
В разделе FAQ в нижней части страницы OpenAI заявляет:
«Мы планируем использовать классификатор текстов ИИ для того, чтобы стимулировать обсуждение различий между контентом, написанным человеком, и контентом, созданным ИИ. Результаты могут помочь, но не должны быть единственным доказательством при решении вопроса о том, был ли документ создан с помощью ИИ. Модель обучена на человеческом тексте из различных источников, который может не быть репрезентативным для всех видов человеческих текстов».
Итоги:
OpenAI добавляет, что инструмент не был тщательно протестирован для обнаружения контента, содержащего комбинацию ИИ и текста, написанного человеком.
В конечном итоге, AI Text Classifier может стать ценным ресурсом для выявления потенциально искусственно созданного текста, но его не следует использовать в качестве окончательной меры для вынесения вердикта.