Reinforcement with Makecode Program

① 강화학습의 본질을 ‘직접 설계하고 실험하는 경험’을 통해 이해하게 하는 것

 ✔️ 학생들은 단순히 개념을 배우는 것이 아니라, 상태–행동–보상–정책으로 구성되는 강화학습 시스템을 직접 설계→구현→학습→성찰하는 전체 과정을 경험합니다.

② 인공지능이 알고리즘 그 자체가 아닌 설계(환경·보상·행동)의 결과임을 깨닫게 하는 것

 ✔️ 위 문서 전체는 학생들이 'AI 성능 = 알고리즘 + 설계 선택(환경·보상·상태·행동)' 임을 깨닫도록 단계적으로 구조화되어 있습니다.

③ 문제 해결 중심 프로젝트 기반 수업(PBL) 구현

 ✔️모든 차시는 하나의 핵심 문제 해결로 수렴합니다. '에이전트가 장애물을 안정적으로 회피하도록 만들기 위해 무엇을 어떻게 설계해야 하는가?'. 따라서 학생들은 이 문제를 5차시에 걸쳐 탐구 → 설계 → 개발 → 실험 → 성찰 구조로 해결하는 과정을 거칩니다.

⑤ 에듀테크 활용 기반의 실제 코딩·AI 실습 중심 설계

✔️학생들은 AI를 단순이 적용하는 것이 아니라, 생성형 AI를 활용하며 수업에 참여하고, 살제 생성형 AI가 어떻게 학습하는지 강화학습 알고리즘을 직접 작동해보는 의미가 있습니다. 나아가 자신이 직접 환경, 에이젼트, 보상을 고려한 게임을 설계하여 강화학습 알고리즘을 구현하기 위한 '모든 부분'을 직접 설계해보는과정을 거칩니다. 이를 통하여AI에 대한 이해를 높이는데 있습니다. 

• MakeCode Arcade 게임 개발

• Python + VSCode 환경에서 강화학습 train/test

• 이상민 선생님의 Arcade RL 프로그램 다운 및 실행, 적용 방법 이해

• 강화학습 및 best_model.zip 분석 및 실행

• 학습 로그(episode, reward 변화 등) 분석

까지 경험합니다. 이는 AI 리터러시 → 구현할 AI 환경 개발 → AI 적용 경험 → AI 해석 능력의 연속성을 반영한 설계입니다. 학생들은 이 과정에 참여하면서 AI가 스스로 어떻게 학습하는지 눈으로 보고, 손으로 느끼며, 경험할 수 있습니다.

1.사전사후검사지 (링크)

2.수업 중 사진 기록 (사진은 아래 수업 과정 성찰일지 참고)

3.수업 녹화 및 관찰자 기록 (7일 수업 영상 #01 | 8일 수업 영상 #01 #02)

4.학생 포트폴리오( 오대희 | 안시성 | 이태린 | 정유담 | 황지희 | 임세열 | 김우린 | 김윤중 | 김민찬 | 서재원)

5.학습자 심층 인터뷰(필요시 진행, #안시성 #이태린)

6.사전사후검사 결과 (링크)

7.교수자 성찰일지(이상민, 김홍순-아래 내용 참조, 이은지)

8.교수학습 설계안 전문가 검토(링크)

• 아래는 2026.01.08. ~2026.01.09.에 진행한 수업 과정에 대한 기록 입니다. 아래 사진과 영상을 확인하여 수업 과정을 구체적으로 확인할 수 있습니다. 먼저 수업 영상을 확인 부탁드립니다. 

세 달, 어쩌면 네 달에 가까운 시간 동안 우리는  메이크코드 아케이드를 활용하여 학습자들이 직접 게임을 개발하고, 그 게임에 강화학습 알고리즘을 적용하는 실험적인 교육 여정을 함께 걸어왔다. 기계가 스스로 학습한다는 것이 과연 어떤 의미인지, 그것이 인간의 학습과 어떻게 닮아 있고 또 어떻게 다른지를 아이들의 손끝으로 체험하게 하고 싶었다.

이상민, 이은지 선생님과 함께한 회의에서는 단순한 기술적 습득을 넘어, 학습자가 실제로 공학적 문제를 어떻게 정의하고, 그 해법을 스스로 설계해 나갈 수 있는가에 대해 깊이 있게 논의하였다. 융합적 문제 해결력, 특히 공학적 소양과 문학적 사고가 융합된 문제 해결 성향은 단지 ‘능력’이 아니라, 성찰과 반복, 자각을 통해 서서히 길러지는 ‘태도’임을 확인하는 과정이었다.

초기 차시에서는 인공지능에 대한 개괄적 내용과  함께, 그 중에서도 강화학습이 갖는 사회적 의미와 기술적 함의를 중심으로 나누었다. 지도학습이나 비지도학습과 달리, 강화학습은 보상과 선택의 연속이며, 이는 인간 삶의 윤리적 선택과도 닮아 있음을 설명하였다. 이상민 선생님의 설명 처럼 인공지능이 우리 삶에 영향을 미친다는 단순한 사실 너머, 우리는 왜 강화학습이 중요한가에 대한 질문으로 스스로를 향해 걸어 들어가야 함을 중요하게 생각하였다.

그 다음은 실습의 시간이었다. 에이전트, 환경, 보상이라는 개념은 단지 코딩의 언어가 아니라, 삶의 조건 속에서 우리가 마주하는 문제, 선택, 그리고 그 결과와도 유사한 메타포로 다갈 수 있도록 도왔다. 학습자들은 자신이 만든 게임을 강화학습으로 학습시키며, 어떤 보상이 적절하며, 어떤 환경이 학습을 유도하는가에 대해 끊임없이 탐색하는 과정을 경험할 것이라는 이야기를 전달하였다.

나는 이런 수업을 통하여 학생들이 스스로 문제를 정의하고, 그 해법을 설계하며, 실패와 반복 속에서 실마리를 찾아가는 과정을 목겼했으면 했다. 그리고 그 과정은, 마치 우리가 삶의 길을 걸을 때마다 맞닥뜨리는 ‘내적 문제’와 닮아 있다는 생각이 들었다. 때로는 게임 속 캐릭터의 움직임 하나를 위해 캐릭터의 속도 운동을 고민하고, 보상의 고려하여 게임 구조를 다시 설계하며, 그 안에서 하나의 세계를 설계하는 학생들의 모습에서 학습자의 문제 해결적 사고와 창의성이 발현됨을 엿볼 수 있었다.

이 교육의 말미, 학생들은 각자 만든 게임을 공유하고, 서로 다른 알고리즘의 반응을 비교 및 플레이하였다. 2인 1조로  1명은  일반적인 게임 구조를 따르고, 다른 한명은 창의적인 요소를 가미해 게임 케릭터, 장애물의 속도, 점프 높이, 중력 값 등을 재설계하여 창의적인 게임을 개발할 수 있도록 하였다. 추후 2가지의 게임이 어떻게 다른 강화학습이 일어나는지 비교 분석하는 경험 또한 할 수 있도록 돕고 싶었다.

이번 차시를 통하여 아직 모든 원리를 이해한 것은 아닐 것이다. 그러나 분명한 것은, 학생들이 스스로의 이해 한계 안에서 문제를 성실히 해석하려는 자세를 가졌다는 점에서 의미를 두고 싶다. 나아가 강화학습이 삶에 어떤 영향을 미치며, 강화학습 알고리즘이 어떻게 인간의 모습을 연구하여 공식회하였는지 그 생각만 할 수 있도록 돕는 것도 의미가 있다고 생각이 들었다.

3차시~5차시까지의 시간은 비교적 실질적인 강화학습 실습에 집중하였다. 학습자들은 먼저 환경 세팅을 진행하며 VS Code와 Python을 설치하였고, 강화학습 알고리즘을 실행하기 위한 컴퓨터 환경 구성을 ‘디펜던시 세팅’이라는 이름으로 경험하였다. 이 설정 과정만으로도 30~40분 가량이 소요되었는데, 기술적 사전지식이 부족한 학생들에게는 결코 짧지 않은 시간이었다.

이상민 선생님의 설명 아래, 기존에 메이크코드 아케이드로 만든 점프 게임을 강화학습에 어떻게 적용할지 논의하였다. 학습자는 GitHub에서 아케이드 기반 학습용 코드를 직접 불러오는 방법을 배우고, 그 내부 구조—특히 로그 분석, env.py, train.py, test.py 파일의 작동 방식에 대한 개요를 익혔다. 추후 , best_model_0000.zip 파일의 의미까지 설명을 들었다.

강화학습 알고리즘이 어떤 방식으로 컴퓨터에게 ‘학습’을 시키는지, 그리고 그 알고리즘이 어떻게 게임의 성능을 향상시키는지를 학생들에게 설명하며, 학습자는 스스로 관련 코드를 분석하고 의문점을 제기하며 실습에 몰입하였다. 실습과 병행하여, 이번 활동의 전 과정을 학습자들이 포트폴리오로 정리하게 하였다. 여기에는 단순한 기술 습득을 넘어, 이 경험이 자신에게 어떤 의미로 다가왔는지, 또 인공지능 기술이 사회와 환경에 어떤 영향을 줄 수 있는지에 대한 짧은 성찰까지 포트폴로오에는 포함되었다.

분위기는 전체적으로 자유롭게 유지하되, 학생들 간의 대화와 협업이 자연스럽게 일어날 수 있도록 유도하였다. 어떤 문제를 혼자 해결하기보다는 함께 고민하고, 다양한 시선을 통해 더 나은 해법을 찾아가는 과정 자체가 이 수업의 중요한 목표 중 하나였다. 자료조사나 아이디어 공유를 위한 공식적인 시간은 없었지만, 포트폴리오 공유를 통해 간접적으로 그 목적을 이루었다고 생각된다. 마지막으로, 이번 실습은 강화학습이라는 기술적 개념을 학생들의 진로와 삶의 탐색 과정과 연결지으려 했다. 강화학습은 탐색(Exploration)과 활용(Exploitation)이라는 균형 위에 서 있다. 이는 결국 우리가 살아가며 마주하는 선택의 문제와도 닮아 있다. 탐색하지 않으면, 우리는 좋은 선택의 기회를 얻을 수 없다. 이 단순한 원리를 학생들이 조금이라도 체감하고 받아들였기를 바란다.

나는 교육이 단지 지식을 전달하는 행위가 아니라, 학습자가 자신의 삶을 스스로 설계할 수 있도록 돕는 일이라고 믿는다.
강화학습이라는 알고리즘 속에도 결국 인간의 고민과 닮아 있는 본질이 있다. 시도하고, 실패하고, 피드백을 통해 조금씩 나아지는 것. 우리는 이 작은 모형 속에서, 삶과 배움의 방향성을 함께 배우고 있다. 교사는 그 여정에서 방향을 제시하는 이정표와 같고, 학생은 자신의 속도로 길을 걷는다. 

이번 수업이 그 길 위에 놓인 작은 경험이 되기를 바란다. 마치 게임 속 캐릭터가 스스로 잘하게 되는 과정을 무한한 실패와 성공의 반복을 통해서 이루듯 말이다.

➡️ 포트폴리오 양식(링크) : 아이들이게 포트폴리오  작성 방법에 대해 설명 후 '게임 학습이 발생하는 동안' 포트폴리오를 작성하도록 지도하였습니다.