BioPetals 소개: BitTorrent 방식의 생물학 특화 LLM 분산 추론 새 접근법
생물학 특화 LLM을 '분산'하여 실행하는 BioPetals란?
거대한 파라미터 수를 가진 LLM을 단일 GPU에서 실행하려면 방대한 VRAM이 필요합니다. 하지만 이 하드웨어적 제약을 '분산 컴퓨팅'으로 해결하려는 것이 BigScience 리서치 워크숍의 일환으로 진행되는 BioPetals입니다.
BioPetals는 분산 추론 프레임워크인 'Petals'의 전문적인 포크로, 특히 생물학 분야에 특화된 LLM인 aaditya/Llama3-OpenBioLLM-8B (Llama 3 아키텍처 기반)를 실행하도록 설계되었습니다.
BitTorrent 스타일의 분산 추론 메커니즘
BioPetals의 가장 큰 특징은 파일 공유 프로토콜인 BitTorrent와 유사한 메커니즘을 모델 추론에 적용하는 점입니다.
일반적으로 LLM을 실행하려면 모델 전체를 메모리에 로드해야 하지만, BioPetals에서는 사용자가 모델의 일부를 로컬에 로드하고, 나머지 블록을 네트워크 상의 다른 피어(Peer)가 호스팅하는 형태를 취합니다. 이를 통해 개별 사용자가 보유한 제한된 컴퓨팅 자원을 결합하여, 원래 단일 머신으로는 어려운 규모의 모델을 운영할 수 있게 됩니다.
기술적 특징과 장점
- 빠른 처리 속도: GitHub 정보에 따르면, 오프로딩(메모리에서 디스크로의 이동)을 이용한 방법과 비교하여, 파인튜닝 및 추론을 최대 10배까지 가속화할 수 있다고 합니다.
- 유연한 네트워크 구성: 추론을 가능하게 하려면 최소 1개의 피어(모든 블록을 호스팅하는 단일 서버)가 필요하며, 중복성을 확보하기 위해 약 3대의 서버 구성을 권장합니다.
- 프라이버시 보호: 커뮤니티 주도의 프라이빗한 '스웜(무리)'을 구성하여 운영할 수 있도록 설계되어, 데이터의 기밀성을 사용자 네트워크 내에서 유지할 수 있습니다.
- 개발 환경: 저장소의 99.7%가 Python으로 구성되어 있으며, PyTorch 및 Hugging Face Transformers를 통해 분산 추론, 파인튜닝, 샘플링 방법, 그리고 은닉 상태(Hidden states)에 대한 접근을 지원합니다.
분산 컴퓨팅이 가져오는 'AI의 민주화'
BioPetals의 기반이 되는 기술은 2023년에 발표된 논문 "Petals: Collaborative Inference and Fine-tuning of Large Models" 및 *"Distributed inference and fine-tuning of large language models over the Internet"*에 기반합니다.
특정 도메인(이번에는 생물학)에 특화된 LLM을, 고가의 GPU 서버를 소유하지 않더라도 커뮤니티 전체에서 공유하여 사용할 수 있는 메커니즘은, 연구 개발에서 'AI의 민주화'를 강력히 추진합니다. 특히, 컴퓨팅 자원이 제한적인 연구 기관이나 개인 개발자들이 최첨단 생물학 특화 모델을 저렴하게 활용할 가능성을 시사합니다.
결론
BioPetals는 분산 추론이라는 접근법으로 하드웨어의 벽을 넘어 전문 분야에서 LLM 활용의 새로운 형태를 제시합니다. 단순히 모델을 실행하는 것뿐만 아니라, 커뮤니티에 의한 공동 운영이라는 측면을 가진 이 프로젝트는, 향후 AI 인프라의 방향에 대해 시사점을 줍니다.
참고
- GitHub - OSbiotools/BioPetals: 🌸 Run BIOxAI models at home, BitTorrent-style. https://github.com/OSbiotools/BioPetals/tree/main
관련 기사
로딩 중...