최근 작물에 대한 생육 분석은 우수한 작물 식별 및 작물 생산계획 수립 등에 있어 중요성이 대두되고 있다. 하지만, 이러한 작물 생육 지표를 인간이 직접 측정하기에, 측정 오차가 존재할 뿐만 아니라 많은 시간과 비용이 발생하고 있다. 따라서, 본 프로젝트는 인공지능을 활용하여 여러 작물이 재배되는 판에서 개별 작물을 식별한 후, 식별된 개별 작물에 대한 생육을 분석함으로써 인간 개입 없이 작물을 분석하고자 하였다.

본 프로젝트는 인공지능을 학습하기 위한 작물 데이터셋 구축 과정부터 시작한다. 이때, 개별 작물 식별하는 알고리즘을 위한 픽셀 수준 레이블과 생육 분석을 위한 개별 작물 수준 생육 정보를 레이블링하여 데이터셋을 구축하였다.

개별 작물을 식별하기 위한 알고리즘으로 Instance Segmentation 모델을 활용하였다. Instance Segmentation은 이미지 내 객체 영역을 구분할 뿐만 아니라 구분된 영역 내에서 Instance를 구분할 수 있는 알고리즘이다. 이때, Step1에서 직접 레이블링한 약 40여장 데이터를 기반으로 직접 학습한 모델과 추가적인 학습이 필요 없는 Foundation 모델인 Segment Anything (SAM)을 비교하였다. 실험적으로, 추가적인 학습 없이 활용할 수 있는 SAM이 가장 우수한 성능을 보였다. 이는 데이터가 적기에, 직접 학습하는 것이 큰 효과를 거두기 어려웠던 것으로 판단된다. 이에 따라 개별 작물 이미지 식별에는 SAM을 활용하였다. 

식별된 개별 작물 이미지에 대하여 생육을 예측하는 인공지능 모델을 구축하였다. 그러나, 앞서 언급한 것처럼 데이터가 매우 적다. 따라서 데이터 증강을 적용하여, 부족한 데이터를 보완하였다. 결과적으로 생육 일자 예측, 수확 중량 예측, 현재 중량 예측 3개 Task에서 모두 오차율 10% 이내 성능을 달성할 수 있었다. 그 외에도 시계열 모델링 등 여러 기법을 검증하였으며, 향후 개선 방향 등 생육 모델링 고도화 방향을 제안하였다.