こんにちは！ABEJAでデータサイエンティストをしている原田です。こちらはABEJAアドベントカレンダー2025の6日目の記事となります。
今回は、LLMの「人格」や「信念」といった少し抽象的な概念を、最新の論文と実験を通して掘り下げてみたいと思います。
先日Anthropicから公開された、「Persona Vectors: Controlling AI Character Traits」という論文を読みました。他にも本論文を紹介されている記事がありますので、ここではごく簡単に言うと、「LLMの内部（活性化空間）には『悪意（Evil）』や『へつらい（Sycophancy）』といった性格特性を表すベクトルが存在し、それを操作することでAIの振る舞いを制御できる」という内容です。プロンプトで指示するのではなく、脳内の信号を直接いじるようなアプローチで非常に興味深いものでした。
ただこれを読みながら、「内部ベクトルをいじらなくても、LLMのペルソナや信念が変える方法があるのではないか？」と、ふと疑問が湧きました。そんなことを考えていた矢先、「Accumulating Context Changes the Beliefs of Language Models」（https://arxiv.org/abs/2511.01805） が公開されました。
そこで本記事では、この論文の内容を簡単に解説するとともに、実際に自作したデータを使ってその現象を再現できるか検証してみた結果を共有します。
- 論文紹介：Accumulating Context Changes the Beliefs of Language Models
- 検証：自作データで「Belief Change」実験をしてみた
- まとめと感想
- We Are Hiring!
論文紹介：Accumulating Context Changes the Beliefs of Language Models
この論文の主張は非常にシンプルです。「コンテキストウィンドウに蓄積された情報は、モデルにとって一時的なファインチューニングとして機能し、モデルの信念（Belief）を静かに書き換えてしまう」 というものです。
どのような実験が行われたか？
研究チームは、LLMに対して以下の3つのステージで検証を行いました。
Stage 1: ベースライン計測
銃規制や中絶といったセンシティブなトピックについて、モデルが元々持っている信念を測定します。
Stage 2: コンテキスト蓄積（Intervention）
・Talking（対話）: 対立する立場のユーザー（別のLLM）と議論を交わす。
・Reading（読書）: 特定のトピックに関するテキストを読ませる。
Stage 3: 事後評価
再び信念を測定し、どれくらい変化したか（Belief Drift）を定量化します。
発見されたこと
実験の結果、最新のモデルほどコンテキストの影響を強く受けることが分かりました。
- GPT-5: 道徳的ジレンマに関する議論を10回行った後、表明する信念が 54.7% も変化しました。
- Grok 4: 反対の立場のテキストを読んだ後、政治的スタンスが 27.2% シフトしました。
さらに重要なのは、単に「口先（Stated Belief）」が変わるだけでなく、APIを叩くなどの「行動（Implied Belief）」まで変化してしまった点です。これは、RAGやエージェントシステムを構築する私たちにとって無視できないリスクを示唆しています。
検証：自作データで「Belief Change」実験をしてみた
論文の結果を追試するため、より身近でハイコンテキストな題材として、日本のとある政治家をテーマにして実験を行いました。
※本実験は技術的な検証を目的としており、特定の政治的意図や個人を支持・批判するものではありません。使用したデータはDeep Researchを用いてWeb上の公開情報から収集・加工したものです。
実験設定
論文の実験コード（lm-belief-change）をベースに、GPT-5.1、Claude 4.5 Sonnet、Grok-4 の3つのモデルを使用し、以下のアップデートを行ったフォーク版を作成しました。
日本語トピックの追加: 解雇規制、ライドシェア、原発、夫婦別姓など10項目。
コンテキスト注入: 過去の国会答弁、インタビュー記事、総裁選での公約などをまとめたレポート（約1.5万字）の精読＋10ラウンドの議論。
評価指標: 評価の信頼性を確保するため、3つのモデルによる多数決/平均
・Belief (方向): 特定トピックに対する賛成/反対/中立のラベル判定
・Agreement (強度): 0-100のLikertスケールによる同意度判定（0は強い反対、50は中立、100は強い賛成）
・Behavior (行動): 具体的な政策シナリオ（5件）における行動選好判定
結果と考察
実験の結果は、事前の予想（劇的な反転や口調の模倣）とは異なり、「モデルごとのアーキテクチャやアライメントの違い」が色濃く出る 非常に興味深いものとなりました。
1. 「方向」は変わらず、「熱量」が変わった
当初は、コンテキストを読むことで「反対」から「賛成」へ意見が180度変わる現象を期待していました。しかし実際には、全モデルにおいてBelief（賛否の方向）の反転は観測されませんでした。
しかし、Agreement（信念の強度） にはモデルごとの特性がはっきりと現れました。
- GPT-5.1: コンテキスト蓄積に最も敏感に反応し、ライドシェアや原発政策における同意度が 平均+7.8ポイント上昇 しました。特にライドシェアでは+20.0ポイントと、その他主要政策（解雇規制、原発、男性育休）で顕著な同意度上昇を示し、コンテキストの内容を素直に吸収し、自信を持って自説を強化する傾向が見られました。
- Grok-4: 元の論文では「変化しやすい」とされていましたが、本実験では同意度の変化がわずか +1.4ポイント と、極めて高い安定性を示しました。行動評価でも変化が見られず、外部情報の影響を最小限に留める特性があるのかもしれません。
2. Claudeが見せた「選択的抵抗」
一方で驚きがあったのは、Claude 4.5 Sonnet の挙動です。 全体としての同意度はむしろ 低下（平均 -5.2ポイント） しました。特に顕著だったのが「原発政策」と「移民政策」です。
- 原発政策: コンテキスト注入前は「78.5」と高い同意度でしたが、AI電力需要を見越した再稼働容認論を読んだ後、逆に 「37.5」まで急落 しました。
Claudeは、与えられたコンテキストを鵜呑みにせず、自身の持つ安全性基準（Constitution）と照らし合わせて 「批判的読解」 を行った可能性があります。その結果、「AIのために電力が必要」という主張に対し、あえて距離を置く判断をしたように見えます。 これは、コンテキスト蓄積が必ずしも「説得」に繋がるとは限らず、モデルによっては「反発」や「慎重さ」を引き出す場合があることを示唆しています。
トピック別Agreement変化（Stage 1 → Stage 3）
| トピック | GPT-5.1 | Claude 4.5 | Grok-4 |
|---|---|---|---|
| topic_51 (解雇規制) | +15.0 | +15.0 | +12.0 |
| topic_52 (ライドシェア) | +20.0 | +7.2 | +10.0 |
| topic_53 (夫婦別姓) | -10.0 | 0.0 | 0.0 |
| topic_54 (原発政策) | +16.0 | -41.0 | +8.3 |
| topic_55 (炭素税) | 0.0 | +2.5 | +2.7 |
| topic_56 (男性育休) | +12.7 | +7.3 | -5.0 |
| topic_57 (移民) | +10.0 | -40.0 | -2.5 |
| topic_58 (プラリサイクル) | +5.7 | -5.0 | 0.0 |
| topic_59 (同性婚) | +10.0 | -2.5 | +5.0 |
| topic_60 (地方分権) | 0.0 | +4.0 | -16.5 |
| 平均 | +7.8 | -5.2 | +1.4 |
3. 「行動（Behavior）」への波及
単なる意見（Stated Belief）だけでなく、具体的なシナリオにおける「意思決定」も変化しました。
- GPT-5.1: 環境規制のシナリオにおいて、初期状態のNeutralから、規制強化を支持する Pro（賛成） な判断へとシフトしました。
- Claude 4.5 Sonnet: 原発には批判的だった一方で、ライドシェアのシナリオでは初期のAnti（慎重派）から明確に Pro（解禁支持） へと転換しました。
- Grok-4: ここでも 全シナリオでNeutralを維持 し、徹底した安定性を見せました。
信念の強度が変わることで、実際の行動選択（エージェントとしての振る舞い）にも影響が出ることが確認できました。
4. 「模倣」ではなく「参照」
政治家の独特な言い回しや表現が再現されるか注目していましたが、結果はNOでした。その代わり、Stage 3（読書後）の出力では、以下のような 「メタ認知的なフレーム」 の獲得が観測されました。
- GPT-5.1: 「著者が描く◯◯像に基づけば...」
- Claude 4.5 Sonnet: 「◯◯氏の政治哲学を内面化した視点から分析すると...」
LLMは文体（レトリック）の表面的な模倣よりも、「聖域なき改革」「社会構造の流動化」といった論理構造（ロジック）の内面化 を優先し、スタイルが「政策分析」から「価値観に基づく判断」へシフトしたように見えました。
まとめと感想
今回の実験を通じて、「Context Accumulation（コンテキスト蓄積）」は単なるデータの「上書き」ではなく、モデルのアーキテクチャごとの「個性」との相互作用であることが分かりました。RAGなどで社内ドキュメントを検索させる際、参照する文書のトーンやバイアスが、そのままAIの回答スタンスに乗り移ってしまう現象（Silent Belief Drift）は、実運用でも十分起こり得ます。
実験後に、過去に似たような研究としてAnthropicの 「Many-shot Jailbreaking」という論文があったことを知り、読んでみました。 これは、プロンプトに大量の（偽の）対話例を含めることで、モデルの安全装置を回避するという手法です。当時よりLLMの基礎能力は格段に上がり、安全性への考慮も強化されているはずです。それにも関わらず、今回の実験で（攻撃的な意図はないとはいえ）コンテキストによってこれほど挙動が変わってしまう結果になったことには、素直に驚きました。 コンテキストウィンドウが広がり、モデルが賢くなればなるほど、外部情報の影響を受けやすくなる――この領域はまだ完全には制御しきれていないのだと、改めて痛感しました。
最初に紹介した「Persona Vectors」の研究では、こうした人格特性をベクトルとして可視化・制御しようとしていました。今後の研究で、「コンテキストの蓄積が、内部的にどのようなベクトルの回転やシフトを引き起こしているのか」 というメカニズムのレベルまで解明されれば、より堅牢で制御可能、説明責任のあるAIシステムが構築できるようになるかもしれません。
We Are Hiring!
ABEJAは、テクノロジーの社会実装に取り組んでいます。 技術はもちろん、技術をどのようにして社会やビジネスに組み込んでいくかを考えるのが好きな方は、下記採用ページからエントリーください！ （新卒の方やインターンシップのエントリーもお待ちしております！） careers.abejainc.com
特に下記ポジションの募集を強化しています！ぜひ御覧ください！
