ChatGPT를 활용한 영어문제 출제

1. ChatGPT는 무엇인가?

ChatGPT는 검색엔진과 유사하다. 하지만 생성형 AI인 ChatGPT는 기존의 검색방식과 차별화된 서비스를 제공한다. 먼저 검색엔진은 키워드를 기반으로 정보를 검색하며 입력한 키워드가 포함된 많은 정보를 찾아 제시한다. 반면 ChatGPT는 질문의 맥락을 이해하여 마치 요청한 정보를 가지고 있는 인간이 그에 대해 설명하듯 사용자가 원하는 정보만을 찾아 제시한다는 점에서 추가적인 정보검색을 요구하지 않는다는 점에서 편의성이 탁월하다.

 

무엇보다도 기존 검색엔진과 비교하여 ChatGPT가 가진 가장 큰 차별성은 콘텐츠 생성에 있다. 초거대언어모델(Large Language Model, LLM)인 GPT-3.5에 기반한 ChatGPT는 생성할 콘텐츠의 조건을 입력하면 소설, 기사, 대화문, 에세이, 블로그, 계약서 등 다양한 장르와 유형의 글을 작성할 수 있다. 뿐만 아니라 파이선(Python)과 같은 프로그래밍 코드의 생성 및 검토와 상담, 여행 계획수립, 평가 문항생성까지 지원할 수 있다.

 

 결국 이와 같은 AI 기술의 진화는 교육을 포함하여 사회 전반에 큰 변화를 가져올 수밖에 없을 것이다. 즉 정보를 가지는 것이 경쟁력이었던 지식기반 사회에서는 가장 중요한 교육의 목표 또한 지식암기에 있었지만 이제는 더 이상 전화번호를 암기할 필요가 없듯 지식에대한 관점도 암기(기억)가 아닌 응용과 재창조의 관점으로 변화하고 있는 것이다.

 

2. 영어지문 생성

ChatGPT의 경우 한글을 인식할 수 있지만 한글의 경우 데이터 처리 속도가 늦고 아직은 데이터가 부족하여 정확하지 않은 표현들이 나타날 수 있어 출제 연수에서는 영문 지시문(Prompt)의 사용 방법만 소개하였다. ChatGPT는 선다형 문항(Multiple Choice Question)을 MCQ로 인식하는 것을 고려하여 교사들은 ‘climate change(기후 변화)’를 주제로 하여 ‘글의 목적 파악’ 유형의 문항 개발을 한다고 가정할 때 다음과 같은 지시문을 ChatGPT의 대화창에 입력하였다.

 

“Make a new passage about recent ‘climate change’ and make a MCQ (including 5 choices) to test the understanding of the purpose of the passage

 

여러 테스트를 확인한 결과, ChatGPT는 특정 어휘수준으로 지문을 통제할 수는 없었고 지문의 길이를 단어 수로 제한하고자 할 때도 정확한 통제는 되지 않았다. 한 가지 중요한 발견 및 시사점 중 하나는 지시문에서 지문과 문항을 동시에 생성해 달라고 지시하기보다는 지문을 먼저 생성하고 이후 문항 개발을 지시하는 할 때 ChatGPT의 산출물은 보다 사용자의 의도에 가깝게 나타났다. 또한, 지문의 주제를 제시하고 지문을 생성하는 대신 수능 지문과 같은 예시 지문을 함께 입력하면 기존 문항의 지문 포맷에 맞게 지문을 생성할 수 있었다.

 

예시1) 수능 지문을 활용하여 챗gpt에게 학습

위의 그림 2와 같이 두 가지 방식의 지시문을 선택적으로 사용하면 보다 효과적으로 목적에 부합한 수능 영어 지문을 생성할 수 있다. 먼저 수능 기출 문항의 지문과 “a similar topic”으로 생성해 달라고 요청하면 동일한 주제에 대하여 기존 지문을 마치 ‘paraphrase’하듯 생성할 수 있어 주제만 연계하는 EBS 연계 문항을 개발할 때 유용하게 활용될 수 있을 것이라 판단된다. 반면 “a new passage with a different topic”이란 문구를 활용하면 다른 주제에 대하여 수능 문항에 사용된 동일한 포맷의 지문을 생성할수 있다. ChatGPT에게 최근의 분야별 키워드를 요청하고 이 주제를 활용하여 지문을 생성하면 최근의 사회적 경향성을 반영한 지문생성도 가능하다. 

 

‘세부 내용일치/불일치 찾기’ 유형의 경우에는 추가적으로 “Only one answer choice is correct/incorrect.”와 같은 조건을 입력해야 원하는 형식의 선택지 구성이 가능하였다.하지만 문항유형, 특히 선택지의 구성이 지문의 특성과 밀접하게 연계되어 있는 경우에는 문항별로 차별화된 지시문이 필요하였다.

 

 

예를 들어, 등장인물의 심경 또는 분위기를 파악하는 문항은 2017학년도 수능부터 하나의 감정이나 분위기를 묻는 문항에서 심경의 변화를 묻는 문항으로 고정적으로 출제되고 있다. 이 문항의 경우 지문생성 단계에서부터 두 가지 심경이 제시되도록 조건화되고 선택지의 구성 또한 기출 문항의 형식을 따라야 하기 때문에 표 2의 첫 번째 지시문과 같이 수능 기출 문항의 발문을 영문으로 번역한 후 예시 문항에서 이를 대체하여 다음의 그림 4와 같이 문항생성을 시도하였다

물론 만족스런 지문과 문항이 생성될 때까지 재생성하는 것도 하나의 대안이 될 수 있다.

 

4.4. 어휘통제

수능의 영어 어휘목록이 공개되지 않는 만큼 그와 유사한 수준인 Nation(2016)의 대표적인 어휘목록인 BNC/COCA25000 가운데 상위빈도 4,000개 어휘족을 어휘통제에 활용하였다. 물론 ChatGPT나 CopyAI 활용 시에도 학습자의 연령 또는 학년 정보, 그 밖에도 [easy/difficult/advanced/ sophisticated] [words/vocabulary]란 표현을 사용하면 대략적인 어휘통제는 가능하지만 이는 특정 어휘목록으로 지문의 어휘를 통제하는 국가시험의 문항 개발에는 여전히 한계가 있다.3) 이에 출제 연수에서는 Anthony(2013)의 AntWordProfiler에 BNC/COCA25000의 상위 4,000개 어휘족을 탑재하여 어휘를 통제하였다.

 

표 5의 원본을 미국의 Obama 대통령과 Trump 대통령의 문체로 수정한 사례이다. 유명인의 글이나 연설 등의 데이터는 이미 ChatGPT의 개발에 사용된 언어모델인 GPT-3.5에 포함되어 있기 때문에 이러한 특정인의 문체로도 변경도 가능하다. Obama 대통령의 경우 격식있고 고급스런 단어를 구사하는 반면 Trump 대통령의 문체는 비격식의 구어체, 보다 직설적이라는 것을 알 수 있다.

 

 

 

결론

 

적어도 문항 출제의 효율성이나 만족도 면에서는 출제 연수에 참가한 교사들 모두 기대 이상이었다는 반응을 보였다.

“요즘 언론에서 AI 시대가 도래했는 말만 들었지 정말 이 정도인지는 몰랐어요. 이제 교사들은 뭘해야 할까요?”(교사2),

“어휘통제나 문항의 난이도 조정은 아직 좀 필요하지만 이제 굳이 수능 출제는 장기 합숙으로 할 필요는 없을 것 같아요.”(교사9),

“무엇보다도 ChatGPT는 정말 놀랍습니다. 이제 교육현장에 정말 큰 변화가 올 것 같아요.”(교사 3) 등의 인터뷰 반응만으로도 ‘놀람’, ‘혼란’, ‘걱정’, ‘기대’ 등이 뒤섞인 복합적인 감정을 확인할 수 있었다.

 

ChatGPT와 같은 AI 도구의 등장은 새로운 교육 기회 창출과 함께 교사들의 입장에서는 충분히 위협적인 대상으로 받아들여질 수도 있을 것이다. 전 세계적으로 ChatGPT의 교육적 활용에 대해 상반된 시각을 갖는 이유도 이와 맥락을 같이 한다(Kim, D., 2023). 하지만 본 연구의 사례를 바탕으로 비추어 문항 출제에 AI 도구를 본격적으로 도입할 경우 다음과 같은 효과가 기대된다

 

첫째, 지금까지 국가단위의 시험 문항에는 막대한 시간과 비용이 소요되었음에도 불구하고 그러한 출제의 노하우는 매우 제한적인 전문가들만이 소유할 수 있었다. 하지만 AI 도구의 활용은 평가 전문성의 대중화는 물론 출제 시간과 비용의 효율성 면에 획기적인 개선을 가져올 것이라 기대된다 / 등등

 

AI 도구의 활용 효과를 극대화하기 위해서는 몇 가지 해결해야 할 과제가 있다. 본 연구에서 소개한 AI 도구는 문항 출제 전용으로 개발된 프로그램은 아니다. 그러한 이유로 문항별 잘 고안된 지시문이 필요했고 어휘수준이나 문항 난이도의 정교한 통제는 쉽지 않았다. 따라서 ChatGPT API 등을 활용한 문항 출제에 최적화된 전용 프로그램을 개발하여 교육자는 물론 학습자들이 사용하기에도 쉬운 프로그램들이 개발 ‧ 보급될 필요가 있다.