2024年10月15日
［ページ数］
A4判／約160ページ
（※ バインダー製本とPDF版では編集上の違いによりページ数が若干異なります。）
［発行］
監修・発行： 一般社団法人 次世代社会システム研究開発機構
［セットでご購入される場合の特典について］
多くのご要望を受け、製本版とPDF版をセットでご購入される場合には、PDF版の価格を半額でご提供しております。その場合、本ページ最下欄にあるカートからのご購入手続きではなく、お手数ですが、本サイトの上段にある「お問い合わせ（Contact）」から、その旨、お問い合わせください。
［レポート内容］
■概要■
昨今、MoEの普及が進んでいるにもかかわらず、MoEに関する体系的かつ包括的なレビューが不足している。本白書では、MoEモデルに関する動向、論文、文献を体系的かつ包括的にレビューし、MoE技術の展望を探る者にとって価値ある大要として提供するものである。
本白書では、MoEモデルに関して形成されつつある分類法を紹介し、アルゴリズム設計、システム設計、コンピューティングシステムのサポート、実用的な応用といったさまざまな視点を包含する分析を提供し、
それぞれ分類法で概説した構造に従って掘り下げている。
さらに、この分野で直面する課題に焦点を当て、将来的に最も有望な研究・開発・実装手段を概説する。
本白書が、MoEモデルを迅速に理解しようとする研究者、実務者、AI投資家、アナリスト等にとって不可欠な参考資料となり、MoE探索における継続的な更新と最先端開発の共有を促進することを願っている。
■内容編成（目次）■
序
第1章 MoE（専門家混合モデル）概説
1-1 まえがき
1-2 定義・概念の広がり
1-3 MoEモデルが関心を集める根拠・背景
1-4 LLMとMoEの関係
1-5 密なモデルよりも効果的にスケールするMoEモデル
第2章 MoEの展開と背景
2-1 概説
2-2 密なMoE
2-3 疎なMoE
2-4 MoEのスパース混合
2-5 条件付き計算
2-6 言語のためのMoE
2-7 視覚のためのMoE
2-8 浅いMoE
2-9 トランスフォーマーモデルへの応用
第3章 MoEに関する分類法
3-1 概説
3-2 TransformerベースのモデルにおけるMoE層
第4章 MoEがもたらす効率向上
4-1 MoE言語モデルのスケーリング則
4-2 効率的なスケーリングと生涯学習
4-3 検索補強モデル
4-4 効率的なフィードフォワード層
4-5 関連研究
グーグル・ディープマインド 「100万人のMoE」
第5章 MoEの研究動向
5-1 概況・近況
5-2 スパース性／活性化スパース性
5-3 異種MoE
5-4 スパースゲートMoE
5-5 ルーティング戦略
5-6 ニューラルアーキテクチャ探索
5-7 トップPルーティング戦略
5-8 事例
［1］ テンセント・フンユアン／マサチューセッツ工科大学 「言語モデリングのための専門家の異種混合：HMoE」
第6章 MoE普及の課題・解法の道筋
6-1 概説
6-2 モデルのサイズ
6-3 トレーニングの安定性と負荷分散
6-4 スケーラビリティと通信オーバーヘッド
6-5 言語処理タスクに対応
6-6 専門家の専門化とコラボレーション
6-7 スパース活性化と計算効率
6-8 汎化性と頑健性
6-9 解釈可能性と透明性
6-10 学習後のLLMの量子化
6-11 パラメータオフロードによる推論
6-12 LLM圧縮による効率性、信頼性の向上
6-13 モデルを圧縮する際の問題
6-14 最適化された活性化オフロード
［1］ 異なるエキスパートに対する不均等な計算負荷への対処
［2］ LLMの量子化
［3］ MoEの圧縮
第7章 最適化されたMoE活性化オフロード
7-1 MoEモデルの最適化
7-2 LLMの量子化とMoE
7-3 MoEの圧縮
第8章 専門家混合アルゴリズムの設計
8-1 ゲーティング機能
［1］ 疎なゲーティング関数
［2］ 密度
［3］ ソフト
他
第9章 エキスパート・ネットワークのアーキテクチャ
9-1 ネットワークの種類
［1］ フィード・フォワード・ネットワーク
［2］ アテンション
［3］ その他
9-2 ハイパーパラメーター
［1］ 専門家の数
［2］ エキスパートのサイズ
［3］ MoE層の頻度
9-3 アクティベーション機能
9-4 共有エキスパート
第10章 MoE派生モデルの進化
10-1 概説
10-2 パラメータ効率の良いMoE
［1］ フィード・フォワード・ネットワーク
［2］ アテンション
［3］ トランス・ブロック
［4］ 各レイヤー
10-3 トレーニングと推論スキーム
［1］ 密から疎へ
［2］ 疎から密へ
［3］ エキスパートモデルのマージ
10-4 派生モデル
10-5 パラメータ効率の良い微調整（PEFT）
10-6 Mixture of Depthアーキテクチャによるアプローチ
第11章 MoEの設計
11-1 計算
11-2 コミュニケーション
11-3 ストレージ
第12章 MoEの応用
12-1 自然言語処理
12-2 コンピュータビジョン
12-3 レコメンダー・システム
12-4 マルチモーダル・アプリケーション
他
第13章 MoEアーキテクチャの統合による大規模マルチモーダルモデルの機能拡張
13-1 概説
13-2 漸進的学習アプローチ
13-3 フレームワーク
13-4 戦略的トレーニング
13-5 トレーニング
13-6 統一されたマルチモーダルモデル
13-7 LLMのためのマルチモーダル命令チューニング
13-8 MoEによる大規模モデル
13-9 関連研究
［1］ インスティテュート・オブ・テクノロジー他研究チーム 「Uni-MoE：MoEによる統一マルチモーダルLLMのスケーリング」
第14章 MoEのソリューション
14-1 動的なエキスパート配置・複製
第15章 非線形性を識別するための強力なモデルとしてのMoE
15-1 概説
第16章 SMoEs（スパースMoEモデル）
16-1 Sparse Mixture of Experts (SMoEs）による推論とトレーニング速度、メモリフットプリントの改善
16-2 関連研究
［1］ グーグル・ブレイン 「専門家のスパース混合によるスケーリング・ビジョン」
［2］ アーロン・クールビル 「Sparse Mixture-of-Expertによる分散実施」
第17章 主なプレーヤー／商用利用可能なMeEモデル
17-1 Mistral AI 「Mixtral 8x7B」
17-2 IBM 「量子回路の最適化、量子コンピューティング能力の強化：Qiskit SDK v1.2」
17-2 マイクロソフト 「勾配情報付き専門家混合MoEモデル：GRIN MoE」
17-3 マイクロソフト／中国科学院大学 「Q-Sparse：LLMにおける活性化の完全なスパース性を可能にするAIアプローチ」
17-4 アレンAI研究所／コンテクスチュアルAI／ワシントン大学／プリンストン大学の研究チーム 「完全にオープンソース化されたMoE」
17-5 XVERSE Technology 「MOEアーキテクチャと大規模言語処理における新たな基準を設定する多言語 AI モデル: XVERSE-MoE-A36B」
17-6 DeepSeek-AI 「MoEを特徴とする最先端の238億パラメータモデル：DeepSeek-V2.5」
第18章 その他主な研究論文紹介
18-1 テキサス大学オースティン校、ドレクセル大学、MIT、UIUC、ローレンス・リバモア国立研究所、AI安全性センター他研究チーム 「LLM圧縮の評価： AI言語モデル開発における効率性、信頼性、倫理性のバランス
18-2 非線形力学系のための専門家モデルの変分ベイズ混合と感度分析
18-3 モスクワ物理工科大学 「オフロードを用いた専門家混合言語モデルの高速推論」
PICK UP ITEMピックアップ商品
-
働き方改革白書2019年版 製本版
人手不足の深刻化、労働市場の崩壊、就労スタイルの多様化などを背景に、働き方改革に係る以下の諸テーマを網羅的にとりあげ、全方位で点検・分析を加え、全容と実践的な課題を提示するレポート（白書）。
99,360円(内税)
-
働き方改革白書2019年版 PDF版
人手不足の深刻化、労働市場の崩壊、就労スタイルの多様化などを背景に、働き方改革に係る以下の諸テーマを網羅的にとりあげ、全方位で点検・分析を加え、全容と実践的な課題を提示するレポート（白書）。
98,280円(内税)
-
EV／PHEV／次世代HEV白書2018年版 製本版
EV／PHEV／次世代HEVをテーマに、基本領域・ロードマップ、業界再編、各社戦略、技術面、インフラ面面それぞれの角度で分析し、その全容・シナリオを解き明かすレポート（白書）。
138,240円(内税)
-
EV／PHEV／次世代HEV白書2018年版 PDF版
EV／PHEV／次世代HEVをテーマに、基本領域・ロードマップ、業界再編、各社戦略、技術面、インフラ面面それぞれの角度で分析し、その全容・シナリオを解き明かすレポート（白書）。
98,280円(内税)
-
生成AI白書 2023年版 製本版
生成AIが抱える多元的かつイノベーティブな緒テーマについて、国内外の主な論文／サーベイペーパー／ジャーナルの論考や報告を踏まえながら、最新データをもとに、その全容を体系的に組み立て、網羅的かつ詳細に解説した白書。
165,000円(内税)
-
生成AI白書 2023年版 PDF版
生成AIが抱える多元的かつイノベーティブな緒テーマについて、国内外の主な論文／サーベイペーパー／ジャーナルの論考や報告を踏まえながら、最新データをもとに、その全容を体系的に組み立て、網羅的かつ詳細に解説した白書。
129,800円(内税)
-
大規模言語モデル（LLM）白書 2023年版 製本版
LLMの基本・体系・種類、機能別の特性、活用パターン、LLMを取り巻く世界的なトレンド、課題・リスクおよびリスク対策、投資およびスタートアップ動向、エンジニアリング面や技法面に関する網羅的な解説、ハードウェア面での情勢や課題、各種実証的分析、LLM最新技法、国際的な研究動向にいたるまで、ほぼ網羅的にLLMの全容を解き明かしたLLM全書。
165,000円(内税)
-
大規模言語モデル（LLM）白書 2023年版 PDF版
LLMの基本・体系・種類、機能別の特性、活用パターン、LLMを取り巻く世界的なトレンド、課題・リスクおよびリスク対策、投資およびスタートアップ動向、エンジニアリング面や技法面に関する網羅的な解説、ハードウェア面での情勢や課題、各種実証的分析、LLM最新技法、国際的な研究動向にいたるまで、ほぼ網羅的にLLMの全容を解き明かしたLLM全書。
129,800円(内税)
-
機械学習／ディープラーニング（DL）／生成AI・大規模言語モデルと機械学習・DL白書 2023年版 製本版
生成系AIや大規模言語モデル（LLM）における機械学習やディープラーニングのメカニズムのモデル選択、アーキテクチャ、アルゴリズム、適用、実装、研究、ファインチューニング等によるモデルのカスタマイズ、実用化などを網羅的に、かつ最新の動向を取り上げながら、詳細に解説。
165,000円(内税)
-
機械学習／ディープラーニング（DL）／生成AI・大規模言語モデルと機械学習・DL白書 2023年版 PDF版
生成系AIや大規模言語モデル（LLM）における機械学習やディープラーニングのメカニズムのモデル選択、アーキテクチャ、アルゴリズム、適用、実装、研究、ファインチューニング等によるモデルのカスタマイズ、実用化などを網羅的に、かつ最新の動向を取り上げながら、詳細に解説。
129,800円(内税)
-
次世代NLP（自然言語処理）と大規模言語モデル（LLM）白書 2023年版
製本版
次世代の自然言語処理（NLP）と大規模言語モデル、AIアシスタント、AIチャットボット、自然言語処理の生成を効率化・高速化する言語モデリング、多言語LLM、視覚言語モデル、生成系AIとの対話を支援する各種自然言語処理モデルに係る諸テーマを網羅的・重点的にとりあげ、その全容と実践的な課題を提示。
165,000円(内税)
-
次世代NLP（自然言語処理）と大規模言語モデル（LLM）白書 2023年版
PDF版
次世代の自然言語処理（NLP）と大規模言語モデル、AIアシスタント、AIチャットボット、自然言語処理の生成を効率化・高速化する言語モデリング、多言語LLM、視覚言語モデル、生成系AIとの対話を支援する各種自然言語処理モデルに係る諸テーマを網羅的・重点的にとりあげ、その全容と実践的な課題を提示。
129,800円(内税)
最近チェックした商品
-
99,000円(内税)
-
99,000円(内税)
