자기 전에 연구 시켜두고 아침에 확인?! karpathy 의 autoresearch 등장!

요즘 AI 바닥에서 네임드인 karpathy 이 양반이 (테슬라 AI 총괄) 힙한걸 또 들고오셨습니다.

이름하여 오토리서치!! https://github.com/karpathy/autoresearch

간단히 프로젝트에 대해서 요약한 내용과 관련 유튜브 영상인데요.

프로젝트 개요: autoresearch는 AI 에이전트가 스스로 모델 구조를 설계, 학습, 평가하며 최적의 모델을 찾아가는 '자동화된 AI 연구 루프' 시스템입니다. 약 630줄의 파이썬 코드로 구성된 간결하지만 강력한 프레임워크입니다.

핵심 아키텍처 및 특징:

• 자율적인 연구 루프 (Research Loop): 에이전트가 researcher.py를 통해 가설을 세우고, 코드를 수정(model.py)한 뒤, 5분간의 짧은 학습을 실행합니다.

• 객관적 평가 지표: val_bpb(bits per byte)를 기준으로 성능을 평가합니다. 이전 최고 기록보다 성능이 좋으면 해당 수정을 유지(Keep)하고, 나쁘면 폐기(Discard)하며 다음 실험으로 넘어갑니다.

• LLM 기반 코드 수정: 에이전트(주로 Claude 3.5 Sonnet 등 사용)가 직접 신경망 아키텍처를 변경하거나 하이퍼파라미터를 조정합니다.

• 단일 GPU 최적화: nanoGPT 스타일의 가벼운 모델을 사용하여 개인용 GPU 1대에서도 '밤새도록' 스스로 연구를 수행할 수 있게 설계되었습니다.

이게 재밌는게 연구자가 잠든 사이에 AI가 논문을 읽고 실험을 반복해서 더 나은 아키텍쳐를 찾아내는 에이전틱 엔지니어링의 실사례이기 때문입니다.

일단 논문찾고 정리하고하는 고통은 앞으로 없어질꺼같네요 :)