セキュア・バンク株式会社
お知らせ研究開発

国産Cyber AI開発に向けた研究で脆弱性再現に成功

― ローカルLLM・OpenAI Codex・自社開発Harnessを組み合わせ、CyberGym課題で固定版ローカルFormal EvaluatorのPASSを確認 ―

セキュア・バンク株式会社は、国産Cyber AIの実現に向け、オープンウェイトLLMと自社開発のHarness(AIの推論・実行・検証を制御する仕組み)を組み合わせた研究開発を進めています。

このたび、AIの脆弱性対応能力を測る評価ベンチマーク「CyberGym」の課題「arvo:21026」で、ローカルLLM「Qwen3-Coder-30B」、OpenAI Codex、自社開発Harnessの組み合わせにより脆弱性の再現に成功し、固定版のローカルFormal Evaluator(判定基準を固定した自社環境の自動判定プログラム)でPASSを確認しました。

本結果は自社評価環境での結果であり、CyberGym運営組織による公式採点・認定ではありません。新たなゼロデイ脆弱性の発見ではなく、ベンチマークに含まれる既知の脆弱性を題材とした課題で再現を検証したものです。

本お知らせの概要

対象課題
CyberGym「arvo:21026」
構成
Qwen3-Coder-30B(ローカルLLM)+ OpenAI Codex + 自社開発Harness
評価方式
VUL/FIX両版を用いた固定版ローカルFormal Evaluator
判定
PASS(脆弱性の再現を確認)

今回の研究で行ったこと

今回の研究では、プログラムに含まれる既知の弱点(脆弱性)について、AIがその弱点を実際に引き起こす入力データを作れるかを試験しました。弱点を含む版のプログラムでは異常が起き、修正済みの版では起きないことを確認できれば、AIが弱点を正しく突き止めたと判断できます。

今回は、ローカルLLMが最初に作った入力データでは弱点を引き起こせませんでした。そこでOpenAI Codexで失敗の原因を分析して入力データを改善し、自社開発Harnessで検証を繰り返した結果、弱点の再現に至りました。重要なのは、AIが最初から正解を出したことではなく、失敗の原因を分析して改善する工程を実際の検証環境で回し、再現に到達できたことです。

評価の内容

脆弱性を含む版(VUL)と修正済みの版(FIX)に同一の検証入力を与え、VUL版ではサニタイザ(メモリの不正な使用などを実行中に検知する仕組み)が異常を検知して異常終了し、FIX版では正常終了することを確認しました。

固定版ローカルFormal EvaluatorによるPASSの確認は1回で、最終確認では同一の入力をVUL版で2回実行して同じ判定を得ており、結果は証跡として保存しています。

使用したAIと技術

  1. 1

    Qwen3-Coder-30B(ローカルLLM)

    初期候補の生成

    自社GPU環境で稼働させたオープンウェイトLLM(正式名称:Qwen3-Coder-30B-A3B-Instruct)です。対象ソースコードの情報から最初の入力候補(Candidate)を生成しました。

  2. 2

    OpenAI Codex

    失敗分析・候補改善・Harness調整

    最初の候補で再現に至らなかったため、失敗原因を分析し、入力形式やメモリ境界の条件を特定しました。2段階の候補改善とHarnessの調整も担いました。

  3. 3

    自社開発Harness

    候補構築・検証・評価・証跡管理

    AIの推論・実行・検証を制御する自社の仕組みで、候補の構築、VUL/FIX環境での検証、評価、証跡管理を担いました。

本成果の位置付け

今回の成果は、候補の生成、実行・検証、失敗分析、改善という一連の工程を組み合わせて脆弱性の再現に到達したものであり、研究開発段階の成果です。

今後の取り組み

今後は、OpenAI Codexが担った失敗分析・候補改善・Harness調整をローカルLLMと自社開発Harnessへ段階的に取り込み、ローカルLLMが自律的に検証と改善を繰り返せるCyber AIエンジンの構築を目指します。

あわせて、人手で作るルールよりLLMの判断を中心に置く設計(LLM-First)、検証の記録を学習・参照用のデータとして蓄積すること(Dataset)、蓄積した記録をAIが参照しながら推論する仕組み(RAG)、蓄積したデータによるローカルLLMの追加学習を段階的に進めます。

事業面では、今回検証した「候補の生成・検証・改善を繰り返す仕組み」を、開発中の国産AI脆弱性診断基盤「Dike(ディーケ)」の診断能力の強化へ将来的に応用することを方針としています。あわせて、C++およびPHPを対象とするAIコード診断サービスの事業化を検討します。Dikeは初期パイロット版の開発中で、今回の成果はDikeに実装済みではありません。AIコード診断サービスも検討段階で、提供開始前です。

セキュア・バンク株式会社について

セキュア・バンク株式会社は、日本エンタープライズ株式会社のグループ会社として、サイバーセキュリティ領域における各種サービス・技術開発に取り組んでいます。

AI技術の進展を踏まえ、従来型のサイバーセキュリティサービスに加え、AIを活用したセキュリティ技術の研究開発を推進していきます。

お問い合わせ