長く使い続けられるAIサービングハーネスの設計が勝負どころ
企業AIの次の勝負どころはモデルではなく「サービングハーネス」である。MIT Technology Reviewは10月22日付の寄稿で、モデルを安定的に、経済的に、スケーラブルに提供するサービングハーネスの設計が次の競争優位を左右すると述べた。寄稿文は、企業AIをめぐる議論がモデル性能の競争から、モデルを支えるエンジニアリングシステムへと移りつつあると指摘した。
サービングハーネスとは、アーキテクチャ、メモリ管理、スケジューリング、最適化の判断を包括するエンジニアリングシステムである。モデルの知性がどれほど効率的に本番環境での実力へと転換されるかは、このシステムが左右するという。社内のナレッジアプリケーションと大量トラフィックの顧客サービスプラットフォームが同じ基盤モデルを使っていても、それぞれ異なるサービングアーキテクチャが必要だという。記事は、ワークロードが制約を定め、その制約がアーキテクチャを決めると説明した。
概念実証の段階ではモデルの精度が議論の中心になりがちだが、本番環境では事情が異なる。レイテンシ、同時実行数、メモリの圧迫、GPUの稼働率、インフラコスト、予測不能なトラフィックといった制約が目の前に現れる。回答品質がわずかに優れたモデルでも、推論コストを2倍に引き上げたり、アプリケーションのレイテンシ要件を満たせなかったりすれば、本番環境ではより良い選択とは言えない場合がある。ビジネスが求める性能を正確に提供できるモデルのほうが、より適したエンジニアリング判断となり得る。
その結果、サービングアーキテクチャは単なるエンジニアリングの問題を超え、どこにコンピューティングコストを投じ、どこを最適化するかを見極める投資判断となった。今回の寄稿はEXLの提供で掲載されたものだ。
