BioPetals登場：BitTorrent方式で生物学特化LLMを分散運用する新アプローチ

分散推論フレームワーク「BioPetals」とは

BioPetalsは、OSbiotoolsによって開発された、生物学特化型のLLMを分散環境で推論・ファインチューニングするためのフレームワークです。本プロジェクトは、大規模言語モデル（LLM）を「BitTorrent方式」のネットワークで動作させることで、単一の高性能サーバーに依存せずにモデルを運用することを目的としており、「bigscience-workshop/petals」からフォークして開発されています。

BioPetalsが主にサポートしているモデルは、Llama 3アーキテクチャをベースとした生物学特化型LLMであるaaditya/Llama3-OpenBioLLM-8Bであり、このオープンアクセスモデルを効率的に利用するためのインフラを提供します。

BitTorrentスタイルの分散アーキテクチャ

BioPetalsの最大の特徴は、モデルの全ブロックを単一のデバイスで保持するのではなく、複数のピア（参加サーバー）に分散してホストさせる点にあります。これにより、個々の参加者が持つ計算リソースを組み合わせ、巨大な専門モデルを共同で運用することが可能になります。

技術的な仕様と要件

• ネットワーク構成: 推論には最低1つのピア（全ブロックをホストする単一サーバー）が必要ですが、分散モードでは全モデルブロックを共同で保持する十分な数のピアが必要です。初期セットアップとしては、1台のサーバー、あるいは冗長性を確保するために3台のサーバーで構成することが推奨されています。
• 通信: サーバー運用にはデフォルトでポート31337を使用します。
• 実装言語: コードベースの99.7%がPythonで記述されており、開発者にとって扱いやすい構成となっています。
• ライセンス: MITライセンスの下で公開されています。

パフォーマンスとプライバシーへのアプローチ

BioPetalsは、従来のオフローディング（ストレージへの退避）手法と比較して、ファインチューニングおよび推論を最大10倍高速化できるとされています。具体的なベンチマークデータについては、プロジェクトのベースとなっている研究論文（Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics 2023およびAdvances in Neural Information Processing Systems 36 2023）のセクション3.3に記載されています。

また、データのプライバシーについても配慮されており、ユーザー自身が管理するプライベートなコミュニティ・スウォーム（群れ）を構築することで、データを自身のネットワーク内に留める設計となっています。

まとめ：専門特化型モデル運用の新たな可能性

BioPetalsは、生物学という高度に専門的な領域において、計算リソースの制約を分散ネットワークで克服しようとする興味深い試みです。特に、高価なGPUリソースを単一で保有せずとも、コミュニティベースで専門モデルを維持・改善できるインフラ手法は、今後のAIエージェントや専門特化型モデルの普及において重要な役割を果たす可能性があります。

参考

GitHub - OSbiotools/BioPetals