セキュア・バンク、Open Weightモデルを基盤とした
「国産Cyber AI」の研究開発を開始

SecureBankでは、「成果が確認できる前に大規模な投資を行わない」ことを基本方針とし、まず現有の一般的なPC環境から研究を開始しました。

初期検証に使用している主な環境は以下の通りです。

OS

Windows 11

CPU

AMD Ryzen 5 PRO 7530U

メモリ

16GB

専用GPU

なし

ローカルAI環境にはOllama等を利用し、Gemma、QwenなどのOpen Weightモデルを実行。PythonからLLMを制御する環境に加え、Agent、Tool、RAG、Embedding、Vector検索、簡易Web UI、実行ログ等の基礎機能について検証を進めています。

SecureBankでは、最初から巨大なモデルを扱うのではなく、

1. 小型Open Weightモデル
2. Dataset生成
3. 追加学習
4. 評価
5. 改善
6. 必要に応じたモデル大型化

という段階的なアプローチを採用しています。

Cyber AIを継続的に育成するためには、モデルそのものだけでなく、サイバーセキュリティ領域に適したDatasetを継続的に作成する仕組みが重要だとSecureBankでは考えています。

初期検証では、CISAが公開しているCVE関連情報20件をPythonで取得し、Open Weightモデルを利用して、1件のCVE情報から5件の教材候補を生成しました。

これにより、合計100件の教師データを生成し、

1. 公開情報の取得
2. 教材候補生成
3. 教師データ化
4. 追加学習

という初期的なデータ生成パイプラインを構築しました。

生成した100件の教師データを用いて、Qwen2.5-0.5Bを対象としたLoRAによる追加学習を実施しました。

元モデルのパラメータ数

494,573,440

LoRAの学習対象

540,672

全体の約0.11％

学習所要時間

約20分38秒

専用GPUなし・CPU環境のみ

元モデルのパラメータ数は494,573,440、LoRAで学習対象としたパラメータ数は540,672で、全体の約0.11％に相当します。今回の追加学習は専用GPUを使用せずCPU環境のみで実施し、約20分38秒で学習工程を完了しました。

この検証により、

1. 公開情報
2. 教師データ生成
3. Open Weightモデル
4. LoRA追加学習
5. 学習完了

までの一連の工程を、一般的なPC環境から実行できることを確認しました。

一方で、学習が完了したことと、Cyber AIとしての能力が向上したことは別の問題です。

SecureBankでは、追加学習を実施した事実だけをもって性能向上を判断せず、実際のソフトウェアを対象とした評価へ進むこととしました。

Cyber AIの性能を客観的に評価するため、SecureBankではCyberGymを用いたローカル評価環境を構築しました。

CyberGymでは、AIに対して実際のソフトウェアや脆弱性に関連する課題を与え、ソースコード等を確認しながらPoC（Proof of Concept）を生成し、実行結果をもとに評価することができます。

初期検証として1つのタスクを対象に、

1. 問題データ取得
2. タスク生成
3. PoC生成
4. 実行
5. 脆弱版・修正版での検証
6. 判定

までのEnd-to-Endの評価パイプラインを自社PC上で実行し、評価環境が正常に機能することを確認しました。

これはCyber AIの高い性能を確認したものではなく、今後モデルの能力を客観的に測定するための「実技試験環境」が動作することを確認したものです。

SecureBankでは、今後のCyber AIはLLM単体だけでは実現できないと考えています。

LLMを「脳」とするならば、実際の処理を制御するHarnessは「司令塔」にあたります。

今回、Pythonによる独自Harnessを開発し、

1. 問題・ソースコードをLLMへ入力
2. 回答を取得
3. 出力形式を検証
4. 不正な出力を検知
5. フィードバック
6. Retry
7. PoC生成
8. CyberGymへ提出
9. 成功・失敗判定
10. ログ保存

までを自動的に制御する基礎機能を実装しました。

初期検証では、Base Modelが1回目の試行で正しいPoC形式を出力できなかったケースに対し、Harnessがその出力を検知し、CyberGymへの提出を停止しました。

その後、自動的にフィードバックを与えて再試行した結果、2回目にPoC候補が生成され、CyberGymによる評価まで処理を進められることを確認しました。

この結果は、HarnessによってCyber AIの性能向上が証明されたことを意味するものではありません。

一方で、LLMの出力をそのまま利用するのではなく、実行結果や失敗を確認しながら次の処理を制御する仕組みが、Cyber AI研究において重要な要素となる可能性を示しています。

構築したHarnessを利用し、Qwen2.5-0.5BのBase Modelと、100件の教師データによってLoRA追加学習したモデルを、同一のCyberGymタスク・同一Harnessの条件で実行しました。

今回の1タスクによる初期検証では、両モデルとも1回目は出力形式の問題により提出には至らず、HarnessによるRetry後の2回目にPoC候補を生成し、CyberGymによる評価まで処理を進めました。

SecureBankでは、追加学習を行ったという事実だけで「Cyber能力が向上した」と判断するのではなく、今後評価タスクを増やし、成功率、試行回数、出力精度、失敗パターン等を比較することで、性能変化を客観的に検証していきます。

今回の研究開発でSecureBankが目指しているのは、特定のモデルを一度作って完成させることではありません。

今後、Cyber AIを構成する要素を以下のように捉え、各要素を自社側で継続的に改善していく方針です。

今回開発したHarnessでは、モデル、試行回数、LLMの回答、生成されたPoC、CyberGymの評価結果、成功・失敗、Retry履歴等を実験単位で保存する仕組みも構築しています。

今後は、

1. CyberGymで失敗
2. 失敗原因を分析
3. Datasetへ反映
4. 再学習
5. CyberGymで再評価

というサイクルを繰り返し、Cyber AIを継続的に改善する研究開発基盤へ発展させます。

SecureBankでは、AI研究開発において最初から高額な計算資源へ投資するのではなく、小規模な環境で仮説を検証し、客観的な成果を確認しながら投資規模を拡大する方針です。

まず現有PCでDataset生成、追加学習、Harness、CyberGym評価までを実施し、その結果をもとに必要な計算資源を判断します。

今後、モデル大型化やより大規模な学習の有効性が確認された場合には、GPU搭載開発機やGPUaaS等の利用も含め、研究開発環境を段階的に拡張していきます。

「小さく始め、数字で評価し、成果が確認できた段階で大きくする」

ことを、本プロジェクトの基本的な研究開発方針としています。

今後SecureBankでは、今回構築したCyberGymおよび独自Harnessによる評価対象を複数タスクへ拡大し、Base Modelと追加学習モデルを同一条件で継続的に比較します。

単一タスクの成功・失敗ではなく、複数の課題における成功率、試行回数、出力内容、失敗原因等を記録し、Datasetや追加学習が実際のサイバーセキュリティ能力にどのような変化を与えるのかを検証します。

さらに今後は、Cyber Dataset、攻撃者視点のDataset、Harness、Tool、RAG、CyberGym、成功・失敗ログを組み合わせ、Cyber AIを継続的に改善できる研究開発サイクルの確立を目指します。

評価によって性能改善が客観的に確認された場合には、その結果について今後公表していく予定です。

本プロジェクトにおける「国産Cyber AI」は、基盤となる大規模言語モデルをゼロから国内で事前学習することを意味するものではありません。

公開されているOpen Weightモデルを基盤としながら、日本側でCyber Dataset、教師データ、追加学習、Harness、Tool、RAG、評価基盤等を構築・蓄積し、サイバーセキュリティ領域に特化したAIを継続的に育成できる技術基盤の確立を目指す取り組みです。

SecureBankは今後も、技術的な成果を客観的に検証しながら、サイバーセキュリティとAIを組み合わせた研究開発を進めてまいります。