인공지능 모델 개발 과정은 크게 학습과 추론의 두 단계로 구분된다. 학습은 인공지능 모델을 생성하는 과정으로, 생산자 관점에서 접근해야 하는 반면, 추론은 생성된 모델을 활용하는 행위로, 소비자 관점에서 접근할 수 있다. 요즘 젊은 세대들이 테니스를 많이 친다고 하는데, 테니스 코트에 비유하자면, 학습은 초기비용이 많이 드는 하드코트에 해당하며, 추론은 유지비용이 많이 드는 클래이 코트에 해당한다.

학습 과정에서는 고성능 컴퓨팅 자원과 방대한 데이터가 필요하며, 이로 인해 초기 투자 비용과 전력 소비가 매우 크다. 예를 들어, 대규모 신경망 모델을 학습시키기 위해서는 GPU(graphics processing unit)나 TPU(tensor processing unit)와 같은 고성능 컴퓨팅 자원이 필수적이다. 이러한 자원은 복잡한 연산을 병렬로 처리하여 모델의 정확도를 높이는 데 기여하지만, 동시에 높은 비용과 전력 소비를 요구한다. 따라서 학습 단계에서는 고성능 하드웨어 자원을 활용하여 효율적으로 모델을 학습시키는 것이 중요하다.

학습이 완료된 모델은 다양한 사용자에 의해 활용되며, 이때 중요한 요소는 바로 추론의 효율성이다. 추론은 모델이 실제 문제를 해결하기 위해 작동하는 과정으로, 사용자가 많을수록 추론 속도와 전력 소모가 성능에 큰 영향을 미친다. 예를 들어, ChatGPT와 같은 대화형 인공지능 시스템은 동시 사용자 수가 많아질 경우, 추론 효율성이 시스템 전체 성능을 결정짓는 핵심 요소로 작용한다. 따라서 추론 과정에서는 전력 대비 성능이 중요한 설계 요소로 부각된다.

인간의 능력 역시 학습과 추론으로 나누어 볼 수 있다. 학습 능력은 시간을 가지고 꾸준하게 공부하여 지식을 쌓은 과정이다. 추론은 쌓은 지식을 적절히 활용하는 과정이다. 우리나라 교육 시스템에서는 학습 보다는 추론 능력이 뛰어난 학생이 절대적으로 유리하다. 정해진 시간 내에 (그것도 매우 짧은 시간내) 정답을 맞추어야만 좋은 내신과 수능점수를 받을 수 있는 우리나라 교육 시스템에서는 본인이 학습한 지식을 얼마나 빨리 내뱉을 수 있는지가 매우 중요하다. 물론 학습과 추론은 꽤 높은 상관관계가 있지만 소수이긴 하지만 그 관계가 적은 학생들에게는 절대적으로 불리하거나 유리하다. 성실하게 열심히 학습을 했지만 짦은시간 내 그것을 쏟아내는 추론능력이 부족한 학생들에게는 절대적으로 불리한 시스템이다.

내가 생각하는 올바른 교육평가는 학습시간을 성실히 소화한 학생들이 우수한 결과를 받게 하는 것이다. 이를 실현하기 위해서는 단시간에 평가하는 in-class 시험을 줄이고, 충분한 시간을 가지고 본인의 학습 역량을 보일 수 있는 과제, 프로젝트, 동아리 활동 등으로 평가를 하면 좋을 것 같다.  

The process of developing an AI model is divided into two main phases: learning and inference. Learning is the process of creating an AI model and should be approached from a producer's perspective, while inference is the act of using the created model, which can be approached from a consumer's perspective. If we use the analogy of a tennis court, where young people play a lot of tennis, learning is the hard court with high initial costs, and inference is the clay court with high maintenance costs.

The learning process requires high-performance computing resources and large amounts of data, which results in very high initial investment and power consumption. For example, training large-scale neural network models requires high-performance computing resources such as graphics processing units (GPUs) and tensor processing units (TPUs). These resources contribute to increasing the accuracy of the model by processing complex computations in parallel, but they also come at a high cost and power consumption. Therefore, it is important to leverage high-performance hardware resources during the training phase to train the model efficiently.

Once trained, the model is used by various users, and the efficiency of the inference is an important factor. Inference is the process by which the model works to solve real-world problems, and the more users there are, the more the inference speed and power consumption will affect performance. For example, in a conversational AI system like ChatGPT, inference efficiency becomes a key factor in determining the overall performance of the system when the number of concurrent users increases. This makes power-to-performance a critical design factor in the inference process.

Human capabilities can also be divided into learning and inference. Learning is the process of accumulating knowledge through consistent study over time. Inference is the process of using the accumulated knowledge appropriately. In our education system, students who are better at inference. than learning have an absolute advantage. In our education system, where the only way to get good grades and SAT scores is to get the right answers within a set time frame (and even then, a very short time frame), it's very important to be able to recall what you've learned quickly. Of course, learning and inference. are quite highly correlated, but for a small minority of students, the relationship is absolutely disadvantageous or advantageous. It is an absolute disadvantage for students who have studied hard and diligently, but lack the inference. skills to produce it in a short period of time. 

In my opinion, the right way to evaluate education is to reward students who put in the time and effort to learn. To achieve this, we should reduce the number of in-class exams that are assessed in a short period of time and use assignments, projects, club activities, etc. that allow students to demonstrate their learning capabilities over a longer period of time.  

Seoung Bum Kim. All Rights Reserved. No part of this document may be cited or reproduced without permission.