セキュア・バンク、独自Cyber AI研究を次の段階へ
― 実行結果を踏まえて再挑戦する仕組みを初期検証

2026年8月19日に公開したプレスリリース「セキュア・バンク、Open Weightモデルを基盤とした「国産Cyber AI」の研究開発を開始」では、大規模なGPU基盤を先行整備せず、専用GPUを搭載しない一般的なノートPC環境から研究を開始したことをお知らせしました。

そこで確認できたのは、次の範囲です。

1. Open Weightモデルのローカル実行
2. 教師データ作成
3. LoRA追加学習
4. CyberGym 1タスクのEnd-to-End確認

すなわち、Open Weightモデルをローカルで実行し、公開情報から教師データを作成し、LoRAによる追加学習を経て、CyberGymの評価が1タスクで通しで動作することまでを確認した段階でした。

一方で、追加学習によってCyber能力が向上したかどうかは未確認であり、第1弾の時点では「次に評価対象を広げてCyber Security能力を実技評価する」ことを次の研究段階として位置づけていました。

今回は、この予告した段階へ実際に研究を進めたご報告です。

評価対象を広げる過程で明らかになったのは、モデルの性能を測る以前に、LLMを制御するHarnessの側に改善が必要だという点でした。

ここで言うHarnessとは、AIに実際の課題を解かせるための司令塔にあたるプログラムです。具体的には、PoC（Proof of Concept）候補の生成・調整、生成したPoC候補の実行、評価結果の取得、そして実行結果を次の試行へフィードバックする役割を担います。

第1弾の時点でのHarnessは、次のような構成でした。

1. 課題をLLMへ入力
2. 回答を取得
3. 出力形式を検証
4. 不正なら1度フィードバック
5. 提出

この構成では、出力形式が不正な場合にフィードバックを与えることはできますが、実際に実行した結果を踏まえて条件を変え、もう一度挑戦することができません。実際のCyberGym課題では、1回目の試行が想定どおりに進まないことが前提となるため、回答を一度受け取って終わる構成では、そもそも課題に取り組めているとは言えない状態でした。

そこで今回、Harnessを改善し、生成したPoC候補を実際に実行したうえで、その結果を次の入力へ戻し、条件を変えて再試行できる構成にしました。

一般的なAIの使い方では、質問に対して回答が返れば処理は終了します。今回のHarnessでは、その回答を実際に試し、結果を確認し、その結果を次の入力へ反映したうえで条件を変更し、再度PoC候補の生成・調整へ戻します。これにより、一度失敗しても条件を変えて再挑戦できる構成になっています。

改善したHarnessを用い、対象ソフトウェアや脆弱性の種類が異なる3種類のCyberGym課題を対象として、初期技術検証を実施しました。

なお、本リリースでは対象となったソフトウェアや脆弱性の詳細、課題の識別情報は公開しません。研究段階の検証であり、悪用につながり得る情報を含むためです。

二つの版で確かめる

生成したPoC候補が狙った問題に関係しているかを確かめるため、同一のPoC候補を脆弱性を含む版と修正済みの版の双方で実行し、その差分を確認しました。技術的には patch-differential validation と呼ばれる考え方にあたります。

3課題について、脆弱性を含む版では問題が再現し、修正済みの版では再現しないという差分を確認しました。

1課題で「初回失敗 → 再試行 → 成功」を実ログで確認

3課題のうち1課題において、次の流れを実ログとして確認しました。

1. 1回目
2. 失敗
3. 実行結果を次のLLM入力へ反映
4. 次の試行条件を変更
5. 2回目のPoC候補を生成・調整
6. 再提出
7. 成功

1回目の試行では提出に至らず失敗しましたが、その実行結果を次のLLM入力へ反映し、次の試行条件を変更したうえで2回目のPoC候補を生成・調整し、再提出した結果、提出に至りました。実行結果を次の試行へ戻す仕組みが、実環境で機能していることを確認できた事例です。

今回の検証は、第1弾と同じく専用GPUを搭載しない一般的なノートPC環境で実施しました。AMD Ryzen 5 PROを搭載したノートPC上で、統合GPUのみを用いてローカルLLMを動作させています。

モデルの実行にはOllamaを利用し、Qwen2.5シリーズのOpen Weightモデルをローカルで動作させました。評価基盤であるCyberGymについても、外部サービスに依存せずローカル環境へ自己ホストしています。

大規模なGPU基盤を先行整備しなくとも、手元の環境で研究を進められることを、第1弾に続いて今回も確認しました。

SecureBankでは、研究段階の発表において「確認できたこと」と「確認できていないこと」を明確に区別する方針としています。今回の検証結果は次のとおりです。

第1弾から一貫して、SecureBankは追加学習や機能実装を行った事実だけをもって性能向上を主張せず、客観的な評価結果が得られた段階で公表する方針を継続します。

今後は、今回確認した再試行の仕組みを前提に、評価課題を段階的に拡大していきます。

1. 評価課題の拡大
2. Base Modelとの同一条件比較
3. 失敗パターンの分類
4. Datasetへの反映
5. 再学習・再評価

単一課題の成功・失敗ではなく、複数の課題における成功率、試行回数、再試行の発生回数、失敗原因の分類等を記録し、Datasetや追加学習が実際のサイバーセキュリティ能力にどのような変化を与えるのかを検証します。

また、Harnessの改善そのものが結果にどの程度寄与しているかを切り分けるため、同一モデル・同一課題における改善前後の比較も進めます。

計算資源についても第1弾と同じ方針を維持し、まず現有のPC環境で検証を行い、モデル大型化やより大規模な学習の有効性が確認された段階で、GPU搭載開発機やGPUaaS等の利用を含めて研究開発環境を段階的に拡張します。

「小さく始め、数字で評価し、成果が確認できた段階で大きくする」

という研究開発方針のもと、評価によって性能改善が客観的に確認された場合には、その結果について今後公表していく予定です。