Опасения по поводу целостности рынка труда - от креативной экономики до управленческого класса - распространились на класс, поскольку преподаватели переосмысливают обучение вслед за ChatGPT.

И все же, хотя опасения по поводу трудоустройства и школ доминируют в заголовках, правда в том, что последствия крупномасштабных языковых моделей, таких как ChatGPT, затронут практически каждый уголок нашей жизни. Эти новые инструменты вызывают обеспокоенность всего общества по поводу роли искусственного интеллекта в усилении социальных предубеждений, совершении мошенничества и кражи личных данных, создании поддельных новостей, распространении дезинформации и многом другом.

Команда исследователей из Школы инженерии и прикладных наук Пенсильванского университета стремится расширить возможности пользователей технологий для снижения этих рисков. В рецензируемом документе, представленном на заседании Ассоциации по развитию искусственного интеллекта в феврале 2023 года, авторы демонстрируют, что люди могут научиться определять разницу между текстом, сгенерированным машиной, и текстом, написанным человеком.

Прежде чем выбрать рецепт, поделиться статьей или предоставить данные своей кредитной карты, важно знать, что есть шаги, которые вы можете предпринять, чтобы определить надежность вашего источника.

Исследование, проведенное под руководством Криса Каллисон-Берча, адъюнкт-профессора кафедры компьютерных и информационных наук (СНГ), вместе с Лиамом Дуганом и Дафной Ипполито, аспирантами из СНГ, предоставляет доказательства того, что текст, сгенерированный искусственным интеллектом, поддается обнаружению.

"Мы показали, что люди могут тренироваться распознавать сгенерированные машиной тексты", - говорит Каллисон-Берч. "Люди начинают с определенного набора предположений о том, какие ошибки допустит машина, но эти предположения не обязательно верны. Со временем, при наличии достаточного количества примеров и четких инструкций, мы сможем научиться распознавать типы ошибок, которые в настоящее время допускают машины".

"Искусственный интеллект сегодня на удивление хорош в создании очень беглого, очень грамматичного текста", - добавляет Дуган. "Но это действительно приводит к ошибкам. Мы доказываем, что машины допускают различные типы ошибок - например, ошибки здравого смысла, ошибки релевантности, ошибки рассуждения и логические ошибки, - которые мы можем научиться распознавать".

В исследовании используются данные, собранные с помощью оригинальной обучающей веб-игры "Реальный или поддельный текст?".

Эта обучающая игра примечательна тем, что превращает стандартный экспериментальный метод исследования обнаружения в более точное воспроизведение того, как люди используют искусственный интеллект для генерации текста.

В стандартных методах участников просят ответить "да" или "нет", выдала ли машина данный текст. Эта задача включает в себя простую классификацию текста как реального или поддельного, а ответы оцениваются как правильные или неправильные.

Модель Пенна значительно превращает стандартное исследование обнаружения в эффективную учебную задачу, демонстрируя примеры, которые все начинаются с текста, написанного человеком. Затем каждый пример переходит в сгенерированный текст, предлагая участникам отметить, где, по их мнению, начинается этот переход. Обучаемые определяют и описывают особенности текста, указывающие на ошибку, и получают оценку.

Результаты исследования показывают, что участники набрали значительно больше баллов, чем случайный шанс, что свидетельствует о том, что текст, созданный искусственным интеллектом, в некоторой степени поддается обнаружению.

"Наш метод не только геймифицирует задачу, делая ее более увлекательной, но и обеспечивает более реалистичный контекст для обучения", - говорит Дуган. "Сгенерированные тексты, подобные тем, что создаются ChatGPT, начинаются с подсказок, предоставленных человеком".

Исследование говорит не только об искусственном интеллекте сегодня, но и обрисовывает в общих чертах обнадеживающее, даже захватывающее будущее нашего отношения к этой технологии.

"Пять лет назад, - говорит Дуган, - модели не могли придерживаться темы или произносить беглые предложения. Теперь они редко допускают грамматические ошибки. Наше исследование выявляет виды ошибок, характерных для чат-ботов с искусственным интеллектом, но важно иметь в виду, что эти ошибки эволюционировали и будут продолжать развиваться. Сдвиг, о котором следует беспокоиться, заключается не в том, что текст, написанный искусственным интеллектом, невозможно обнаружить. Дело в том, что людям нужно будет продолжать тренироваться распознавать разницу и работать с программным обеспечением для обнаружения в качестве дополнения ".

"Люди беспокоятся об ИИ по уважительным причинам", - говорит Каллисон-Берч. "Наше исследование дает ряд доказательств, позволяющих развеять эти опасения. Как только мы сможем использовать наш оптимизм в отношении текстовых генераторов искусственного интеллекта, мы сможем уделить внимание способности этих инструментов помогать нам писать более творческие, более интересные тексты ".

Ипполито, соруководитель Penn study и нынешний научный сотрудник Google, дополняет акцент Дуган на обнаружении тем, что в ее работе особое внимание уделяется изучению наиболее эффективных вариантов использования этих инструментов. Например, она внесла свой вклад в Wordcraft, инструмент для творческого письма с искусственным интеллектом, разработанный в тандеме с опубликованными авторами. Никто из писателей или исследователей не пришел к выводу, что искусственный интеллект является убедительной заменой писателю-фантасту, но они обнаружили значительную ценность в его способности поддерживать творческий процесс.

"На данный момент я считаю, что эти технологии лучше всего подходят для творческого письма", - говорит Каллисон-Берч. "Новостные сюжеты, курсовые работы или юридические консультации - плохие примеры использования, потому что нет гарантии достоверности".

"Есть захватывающие позитивные направления, в которых вы можете продвинуть эту технологию", - говорит Дуган. "Люди зациклены на тревожных примерах, таких как плагиат и фейковые новости, но теперь мы знаем, что можем тренироваться, чтобы стать лучшими читателями и писателями".