Мы все еще разбираемся с сильными и слабыми сторонами нового поколения приложений для искусственного интеллекта (ИИ), примером которого является ChatGPT. Это так называемое приложение с большой языковой моделью, использующее “генеративный предварительно обученный трансформатор”. По сути, эти типы ИИ обучаются на очень больших наборах данных и способны генерировать текст, похожий на человеческий, предсказывая наиболее вероятный следующий фрагмент текста в последовательности. Результаты оказались на удивление хорошими.
Было проведено множество исследований, показывающих, насколько хорошо ChatGPT или аналогичный ИИ справляется со стандартизированными тестами. На любом экзамене, основанном на знаниях, он работает очень хорошо. Например, ChatGPT прошел экзамены медицинской комиссии и даже многих (но не всех) специализированных комиссий. Если информация есть в Интернете, ChatGPT может получить эти знания.
Все это повергает преподавателей в заслуженную панику. По сути, студенты могут использовать ChatGPT для написания эссе и выполнения домашних заданий. Эссе немного отличаются от обычных экзаменов, основанных на знаниях. Они могут потребовать анализа и творческого подхода. Как ChatGPT будет использоваться при написании курсовых эссе на университетском уровне? Этому было посвящено недавнее исследование. Я уже дал ответ в заголовке к этому сообщению в блоге – оно показало себя очень хорошо.
Они напрямую сравнили работу студентов с помощью ChatGPT на 32 различных курсах, которые оценивались вслепую несколькими оценщиками. Они обнаружили, что ChatGPT был равен или превосходил показатели студентов на 9 из 32 курсов. По большинству остальных дисциплин они были в пределах допустимого, если не превосходили студентов. Было несколько областей, в которых ChatGPT показал себя не очень хорошо, и это было предсказуемо, учитывая известные слабые стороны приложения – математику, экономику и программирование. ChatGPT не силен в математике, поэтому любая курсовая работа, которая в значительной степени опиралась на математику, проваливалась. Но в целом результаты ChatGPT соответствуют уровню студентов университетов в плане выполнения эссе и домашних заданий.
Если мы углубимся в данные, то обнаружим несколько интересных фактов. Экспертам, которые оценивали работу, было предложено оценить задания и ответы на них в зависимости от их сложности для творчества, знаний и когнитивных процессов. ChatGPT, в соответствии с предыдущими исследованиями, действительно хорошо справляется со всем, что основано на знаниях. Когнитивные процессы высокого уровня – это другое дело, и здесь результаты различны. Интересно, что в плане креативности ChatGPT справлялся почти так же хорошо, как и студент. Студенты, как правило, справлялись лучше, когда дело касалось других когнитивных процессов (таких как глубокий анализ), но разрыв сокращался по мере увеличения сложности. Другими словами, успеваемость учащихся снижалась быстрее, чем в ChatGPT, поскольку задания становились все более когнитивно сложными.
Конечно, это лишь краткий обзор быстро развивающейся технологии. Интересно посмотреть, на каком уровне находится ChatGPT сейчас, но, вероятно, можно с уверенностью предположить, что через несколько лет у нас появятся более новые версии, которые будут работать еще лучше. Вопрос о том, насколько сильно, все еще остается открытым, и я ознакомился с мнениями экспертов по всему спектру вопросов. Некоторые считают, что эти масштабные языковые модели начинают приносить все меньшую отдачу, и поэтому развитие технологий находится на подъеме. Другие считают, что мы видим только верхушку айсберга. Я подозреваю, что ответ находится где-то посередине, но даже если мы увидим только постепенные улучшения в будущем, преемники ChatGPT, скорее всего, в будущем будут работать на университетском или даже профессиональном уровне или даже выше него.
Что это значит для образования? В этом исследовании есть и другие интересные данные. Во-первых, большинство учеников (75%) заявили, что планируют использовать ChatGPT или аналогичные приложения на своих школьных занятиях. Между тем, большинство учителей считают, что использование этих приложений равносильно списыванию и плагиату. Кроме того, два наиболее распространенных инструмента для обнаружения эссе, сгенерированных в ChatGPT, не смогли обнаружить работу ИИ в 32 и 49% случаев. Похоже, это верный путь к неприятностям. Я и другие сравнили ситуацию с внедрением калькуляторов в преподавание математики. Не является ли использование калькулятора мошенничеством? Это зависит от задания.
Что, скорее всего, произойдет и происходит сейчас, так это то, что студенты с удовольствием учатся наилучшим образом использовать ChatGPT. Например, очень просто отредактировать то, что генерирует ChatGPT, чтобы оно звучало не как ИИ, а как вы, избегая обнаружения. Это может сократить часы работы до нескольких минут. Есть несколько реакций на эту ситуацию, с которыми я сталкивался у преподавателей и профессорско-преподавательского состава.
Одна из реакций заключается в том, что если студенты хотят уклониться от получения образования, пусть так и делают. Это их проблема. Их родители, скорее всего, тратят десятки тысяч долларов или они сами берут студенческие ссуды, чтобы получить образование. Если они хотят избавиться от этого, списывая, они проигрывают. В этом есть доля правды, но проблема в том, что некоторые учащиеся, по сути, списывают, что влияет на оценки других учащихся, которые не списывают. Кроме того, это искажает относительную оценку успеваемости среди учащихся, что может повлиять на будущие возможности. Кроме того, некоторые преподаватели заинтересованы в том, чтобы иметь механизмы обратной связи, которые помогли бы им понять, насколько хорошо студенты усваивают их курс. Если то, что они делают, не работает, но, похоже, это происходит из-за того, что многие студенты списывают, это снижает качество образования. Так что это проблема для всех, а не только для студентов, которые списывают.
Другой подход заключается в запрете использования ChatGPT или подобных приложений. Для этого требуется какой-то метод обнаружения, но, как мы видим, это очень проблематично. Методы обнаружения не только пропускают текст, сгенерированный с помощью ChatGPT, но и ошибочно выдают подлинную работу за работу искусственного интеллекта. Вероятно, роль этого подхода ограничена, и университетам нужно проявить творческий подход, чтобы хотя бы усложнить студентам выполнение работы с помощью ChatGPT. Но такой подход всегда будет превращаться в гонку вооружений, и я боюсь, что университеты проиграют.
Последний подход, который я поддерживаю, заключается в творческом подходе к тому, как адаптировать работу в классе к реалиям ChatGPT. Мы живем в мире, где есть Google, Интернет и ChatGPT. Это невозможно отрицать, и бороться с этим не стоит. Вы даже можете возразить, что нам нужно научить студентов эффективно использовать эту технологию. Позвольте им использовать ChatGPT. Но тогда нам нужно разработать способы оценки знаний учащихся, которые не позволят использовать ChatGPT для выполнения их работы. Вы не можете просто назначить им эссе.
Один из подходов заключается в том, чтобы проводить оценку знаний вживую и в классе. Это может означать “изменение” цикла занятий – старое предложение, которое не доказало своей эффективности по сравнению с традиционной классной работой, но теперь может быть использовано в ответ на ChatGPT. По сути, вы задаете учащимся материал для изучения любым удобным для них способом в качестве домашнего задания, а затем проверяете их знания непосредственно в классе. Школы уже движутся в этом направлении – от лекций к использованию учебного времени для дискуссий и семинаров. Например, в моей медицинской школе мы полностью отказались от лекций. Студенты могут просматривать видео, читать статьи или слушать подкасты, чтобы узнать их содержание. Затем в классе мы обсуждаем применение и интеграцию этих знаний. Это хороший способ оценить понимание. Вы по-прежнему можете использовать тесты в классе для проверки их фактических знаний.
Да, это требует усилий со стороны учителей и школ, но этот корабль уже отплыл. ChatGPT – революционная технология. Быстрого способа вернуть мир к тому состоянию, каким он был до появления ChatGPT, не существует. Университеты должны адаптироваться. Я думаю, в конечном итоге это, скорее всего, пойдет на пользу. Переосмысление того, как наилучшим образом передавать знания и понимание, а затем оценка этого понимания, скорее всего, приведет к улучшению образования в целом. Это потребует усилий, но в конечном итоге оно того стоит. Я лично знаком с несколькими профессорами, занимающимися этим, и, основываясь на их опыте, я также добавлю еще один момент. Университеты не могут ожидать, что профессора и преподавательский состав будут просто выполнять работу, в дополнение ко всему остальному, что они уже делают. Университеты, колледжи и школы сами должны предоставить преподавателям время и ресурсы для адаптации к этому новому миру.
