オンデバイスAIが自分のPCの中で働く
インターネットなしで自分のコンピュータの中でAIを使える時代が始まった。端末に搭載された専用半導体チップ(NPU・GPU)が大規模言語モデル並みの処理を行う「オンデバイスAI」が、エヌビディアやアップルなどグローバル企業の商用化により、一般消費者向けPCおよびモバイル環境に本格的に定着したためだ。個人情報や企業の機密文書が外部に漏れるリスクなく、ネットワークの状態に左右されずにAIを活用できるようになった。
従来の生成AIは、質問やファイルを数千台のサーバーが集まるデータセンターに送らなければ回答を得られなかった。ネットワークが不安定になると即座に使えなくなり、社内の機密文書が外部サーバーに残る可能性があるという漏えいへの懸念もあった。
具体的な動きは企業ごとに分かれる。エヌビディアは、一般デスクトップとRTXグラフィックカードを搭載したAI PCでインターネットなしで動作する超軽量アシスタントのエコシステムを大幅に拡大した。アップルは最新のM4シリコンラインナップを前面に出し、個人情報がクラウドに送られず端末内でのみ処理されるローカルプライバシーエンジンを完成させた。
データが端末の外に出ない仕組みのため、社内機密の漏えいを警戒するビジネスパーソンや個人のプライバシーを重視する消費者にとって大きな意味を持つ。会社のセキュリティポリシーで外部AIチャットボットの利用が制限されていた金融機関や製造業の研究環境でも、ネットワーク接続なしでローカルAIツールを活用できるようになった。
ただし、オンデバイスAIはインターネットから切り離して動作するため、リアルタイムのニュースや最新の法改正情報などの新しい外部知識を検索する作業は不可能だ。過去に学習したデータとユーザーが直接入力したファイルの中でのみ推論するため、リアルタイム検索が必要な業務では限界が確認される。
