
エッジ機器でAIを動かすには、学習済みモデルを機器のメモリ容量や処理速度に合わせて小さくする場合があります。ノタの米国特許US12361264B2は、モデルの一部を選び、元の入出力を保存したうえで、圧縮した部分をそのデータで再学習する方法を説明しています。架空の検査カメラを例に、削減する範囲、再調整の基準、導入前に比較すべき結果を整理します。
1. サーバーから現場の機器へ移すと生じる課題
コンベヤー上の箱をカメラで撮影し、包装状態を検査する工場を考えます。開発用サーバーでは余裕をもって動いたモデルでも、生産ライン脇の小型機器ではメモリ負荷が高くなり、判定が遅れることがあります。次の箱が来るまでに処理を終えるため、実機での速度と安定性が問題になります。
モデル圧縮は、計算や保持する数値を減らし、限られた環境でも利用しやすくする処理です。学習済みモデルのどこを削減するかによって後段へ渡る値が変わり、最終判定にも影響し得ます。
そこで、計算負荷の大きい部分を縮小した後、その部分が伝えていた情報をどう回復するかが課題となります。本特許は、対象となる層群の入出力を先に記録し、そのデータを圧縮後の再学習に使う構成を説明しています。
2. 圧縮の対象となる層群を選ぶ
ニューラルネットワークの層は、数値を受け取り、計算結果を次の段階へ渡す単位です。図の1、2、3のブロックは、このような処理の連なりを示します。層群は圧縮と再学習をまとめて扱う範囲であり、図の一つのブロックに複数の層が含まれる場合もあります。
特許では、トランスフォーマーブロックからなる大規模言語モデルを取り上げています。残差接続で入力を先へ送り、その入力にブロックの計算結果を加えます。説明された選択方法は、残差経路の入力と、その入力に計算結果を加えた値の類似性から相対的な重要度を求めます。
指標の一例がコサイン類似度です。数値の組を矢印と考えたとき、方向がどれほど近いかを表します。この例では類似度が高いほど相対的な重要度を低く評価します。候補の選択、選んだ範囲の圧縮、出力の再調整は、それぞれ別の段階です。
3. 元の層群の入出力を対で記録する
まず、学習済みの元のモデルに例示データを入力します。選択した層群の最初の層に入る値と、同じ例について最後の層から出る値を保存します。どの入力からどの出力が生じたかを、対にして残す処理です。
この値は通常、写真や文そのものではなく、中間的な特徴データです。前段の計算が色の変化、形状、文脈などを後段で使う数値表現に変換しています。記録するのは、選択範囲の入口と出口を実際に通った特徴です。
概念図の二枚のカードは、この入出力の対を表します。入力側は小さくした層群に再び与えるデータ、出力側は元の層群が生成した値です。再学習で何を目標にするかを、この記録によって定められます。
4. 保存した出力を目標に圧縮部分を再学習する
明細書では、プルーニング、フィルタ分解、層の除去などを圧縮方法として挙げています。対象の全層を除去すると再学習する層がなくなるため、前後の層を層群に含める構成も説明されています。圧縮範囲を定めることで、学習対象も明確になります。
圧縮した層群に保存済みの入力特徴を与えると、新しい出力が得られます。この出力が元の層群の保存出力に近づくよう、層群の重みを調整します。保存データ全体又はその一部を、再学習の入力と目標に利用する例が示されています。
調整した層群は元の層群の位置に組み込まれ、前段から特徴を受け取り、後段へ特徴を渡します。ここでいう「局所」は、モデル内部の定めた範囲に圧縮と再学習を集中させることを意味します。
5. 架空の検査カメラで中間結果を比べる
包装検査を三段階に単純化します。最初に輪郭や表面変化を抽出し、中間段階でテープと箱の面との関係を表し、最後に検査結果を判定するとします。このうち中間段階の計算を削減したい場面です。
正常な箱とテープが折れた箱の写真を元のモデルに通し、中間段階に入る特徴と出る特徴を対で保存します。そのブロックを小さくした後、同じ入力特徴を与え、元のブロックの保存出力に近づくよう学習させます。

図の上段は元の処理、下段は圧縮後の処理です。点線の出力は再学習の目標を示します。折れたテープの識別に必要な特徴が失われた場合は、保存した目標と新しい出力を比べて変化を調べられます。最後にはモデル全体を実行し、実際の判定結果も比較します。
6. NetsPressoが示す開発・最適化・実機評価の流れ
ノタのNetsPresso公式資料では、モデル開発、機器向けの最適化、実機での性能評価が区別されています。開発段階のCompressorは構造化プルーニングなどを提供し、最適化段階ではグラフ最適化、量子化、モデル形式の変換が紹介されています。
実機で性能を調べるツールも案内されています。機器によって対応演算やメモリ構成が異なるため、モデルのサイズと精度に加え、対象機器でのレイテンシーや実行可否を確認することが導入判断につながります。
検査カメラの例なら、削減対象を定め、同じ機器と画像群で圧縮前後を比較できます。特許の中間入出力の保存は再学習の基準を示し、製品の開発・最適化・実機評価の流れは、準備したモデルを利用環境で比較する仕事の理解に役立ちます。
7. 変更箇所と比較条件を開発記録に残す
まず、圧縮した範囲と選択理由を記録します。残した層、変更した計算、入力データが含む状況、目標として使う出力を明確にすると、結果を説明しやすくなります。正常例とまれな不良例も区別しておくと有用です。
中間出力が元の値に近づいたかと、最終判定の精度が維持されたかは別の評価項目です。前者は局所的な再学習、後者はモデル全体の性能に関わります。同じ条件で精度、処理時間、メモリ使用量を記録すれば、改善点と残る課題を把握できます。
技術説明では、単にモデルを小さくしたという結果だけでなく、選択基準、保存する入出力、再学習範囲、導入後の比較手順をつなげて示します。どこを変更してどの課題を解こうとしたかが、具体的な技術を説明する出発点です。
原図の表記と形状を保持しています。資料の内容は本文で説明しています。
カメラは説明用の架空例であり、実施報告や性能測定ではありません。独立請求項1・7は10億以上のパラメータを持つLLMと所定の類似性に基づくトランスフォーマーブロック選択を含み、コサイン類似度は従属請求項4・10に記載されています。製品紹介だけからNetsPressoが請求項の全構成を実施すると判断することはできません。
DEEPX DX-M1とエッジAI―実機評価を学習へ戻す技術を読む
LoRA論文を読む:小さな重みの更新でAIを業務に適応させる仕組み
モデルの変更内容と技術的な特徴を整理する際は、IPLEXのAI業務と相談準備資料をご覧ください。
