セキュア・バンク株式会社
ローカルLLM / Private AI 開発支援

社外に出せない
情報
こそ、
AIに任せたい。

オープンウェイトLLMを活用し、お客様が管理する環境でのAI活用を設計・開発します。 外部の生成AI APIへ情報を送信しない構成や、要件に応じてオンプレミス・閉域を含む構成も検討できます。サイバーセキュリティ企業として、AIを作るところで終わらせず、 安全に使い続けるための設計まで一緒に考えます。

01 / Problem

「AIは使いたい。
でも、このデータは渡せない。」

生成AIの業務活用でつまずく理由の多くは、技術ではなく「情報の置き場所」です。

社内資料をAIに入力できない

規程・契約書・設計書をAIに読ませれば効率化できると分かっている。でも、外部サービスへのアップロードが社内ルールで禁止されている。

顧客情報・個人情報を外部に渡せない

問い合わせ対応や書類作成をAIに任せたいが、顧客名や個人情報が含まれるため、外部のサービスを経由させられない。

汎用AIでは専門用語に対応できない

一般的な質問には答えられても、自社の製品名・型番・社内用語・業務ルールを踏まえた回答にならず、実務では使いきれない。

ナレッジはあるが、探せない

マニュアル・議事録・過去案件の資料が大量に蓄積されているのに、必要なときに誰も見つけられず、結局ベテランに聞いている。

接続が制限された環境で使いたい

業務上の理由でインターネット接続を制限しているネットワークがある。そこで生成AIを活用する方法が分からない。

特定のサービスに依存したくない

利用中のAIサービスの仕様変更・値上げ・提供終了で業務が止まるリスクを、できるだけ小さくしておきたい。

これらは「AIを導入するか否か」の問題ではなく、「AIをどこで動かすか」の問題です。 動かす場所を変えれば、扱える情報の範囲が変わります。

02 / What is Local LLM

ローカルLLMとは、
自社の環境の中動かすAIのこと

一般的な生成AIサービスは、入力した内容が社外のサーバーへ送信され、そこで処理されます。 便利な一方で、「送信してよい情報かどうか」の判断が常に必要になります。

ローカルLLMは、AIのモデル本体をお客様が管理するサーバーや環境に置いて動かす方式です。 処理を管理下で完結させられるため、社外のサービスへ渡しにくい情報も扱いやすくなります。

これを企業向けに構築したものを、Private AI(プライベートAI)と呼びます。

オープンウェイトLLM

モデルの中身(重み)が公開されていて、自社の環境にダウンロードして動かせるAIモデルのこと。外部のAIサービスへ接続しなくても利用できます。

RAG(検索拡張生成)

AIに社内文書を検索させ、その内容を根拠に回答させる仕組み。モデルを作り直さずに、自社の情報へ対応させられます。

Fine-tuning / LoRA

モデル自体に追加学習をさせて、特定の話し方や専門領域に合わせる手法。LoRAは、その一部だけを効率的に学習させる方式です。

オンプレミス / 閉域

自社の建物内やデータセンターにサーバーを置く形態(オンプレミス)、外部ネットワークから切り離された環境(閉域)のこと。

よくある誤解

「ローカルLLM開発 = Fine-tuning」ではありません

自社専用のAIを作ると聞くと、モデルの追加学習(Fine-tuning)が必要だと思われがちですが、 実際には多くのケースでRAGによる構成が適しています。

社内文書を根拠に回答させたいだけであれば追加学習をしなくても実現でき、 文書を更新すればAIの回答も最新の内容に追従します。

  1. Prompt Engineering

    指示の設計で解けないかを確認

  2. RAG

    社内文書を参照させて解決

  3. モデルカスタマイズ

    必要性を検証したうえで検討

  4. Fine-tuning / LoRA

    効果が見込める場合に限り実施

Fine-tuningは目的ではなく、必要性が確認できたときに選ぶ手段のひとつです。 私たちは「最初から追加学習ありき」の提案はしません。

03 / Cloud or Local

クラウドAIと、ローカルLLM。 どちらが良いかではなく、どこで使い分けるか

クラウドの生成AIサービスは高性能で、導入も容易です。私たち自身も日常業務で活用しています。ローカルLLMは、その置き換えではなく、クラウドAIでは扱いにくい領域を補完するものです。

  • 扱う情報

    クラウドAIが向く

    公開情報や、社外のサービスへ渡しても支障のない内容

    ローカルLLM / Private AIが向く

    社外への送信が社内ルールや契約で制限されている情報

  • 求める性能

    クラウドAIが向く

    常に最新・最高性能のモデルを使いたい

    ローカルLLM / Private AIが向く

    用途に必要な性能を、管理下の環境で安定して使いたい

  • 動作環境

    クラウドAIが向く

    インターネット経由での利用が前提

    ローカルLLM / Private AIが向く

    社内ネットワークなど、接続範囲が限られた環境も要件に含められる

  • コスト構造

    クラウドAIが向く

    利用量に応じた従量課金

    ローカルLLM / Private AIが向く

    環境構築の初期投資と、自社での運用

  • 導入までの期間

    クラウドAIが向く

    契約すればすぐに使い始められる

    ローカルLLM / Private AIが向く

    要件整理・検証・環境構築の期間が必要

  • 変更への追従

    クラウドAIが向く

    提供元の仕様変更・提供終了の影響を受ける

    ローカルLLM / Private AIが向く

    利用するモデルと構成を自社側で選び、維持できる

実際のご支援では、「この業務はクラウドAI、この業務はローカルLLM」という組み合わせをご提案することも少なくありません。 どちらか一方に統一することが目的ではありません。

04 / Services

ご支援できること

01

ローカルLLM環境の設計・構築

用途・必要な精度・セキュリティ要件を整理したうえで、適したオープンウェイトLLMを選定し、実行環境を設計・構築します。オンプレミス、専用サーバー、接続範囲を限定した環境など、お客様の制約に応じた構成を検討します。

02

社内RAG・ナレッジAI

社内規程、業務マニュアル、技術資料、FAQ、過去案件の記録などをAIが検索・参照し、根拠を示しながら回答する仕組みを構築します。「どこに書いてあるか」を探す時間をなくします。

03

業務特化AIの開発

業務ごとの専門用語・判断基準・文書フォーマットに合わせたAIを開発します。汎用の生成AIでは踏み込みにくい、社内固有の領域を担わせます。

04

LLMカスタマイズの設計

Prompt Engineering、RAG、LoRA等のモデルカスタマイズを、目的に応じて使い分けます。まず追加学習なしで実現できないかを検証し、必要性が確認できた場合にのみ次の手段を検討します。

05

AIエージェント・システム連携

既存の業務システムや社内データと連携し、検索・要約・分析・文書作成・問い合わせ対応などをAIが支援します。判断は人に残し、作業をAIへ渡す設計にします。

※ 特定のモデルを前提としたサービスではありません。求める精度、応答速度、対応言語、利用できるハードウェア、ライセンス条件を確認したうえで、その時点で要件に合うオープンウェイトモデルを選定します。モデルは短い周期で更新されるため、選定基準そのものを一緒に整理することを重視しています。

※ ハードウェアの調達、閉域環境への導入、大規模モデルの追加学習、運用監視などについては、環境・セキュリティ要件を確認したうえで対応範囲を個別にご相談させてください。

05 / Use Cases

どんな使い方が
考えられるか

以下は、ご相談の多い業務からまとめた「想定される活用例」です。導入事例ではありません。 実際にどこまで実現できるかは、扱う文書の量・形式・求める精度によって変わります。 PoCで実際のデータを使って確認したうえで判断することをおすすめしています。

社内規程・マニュアルへの質問応答

「この場合の申請手順は?」に、社内規程を根拠として示しながら回答。総務・人事への問い合わせを減らします。

技術資料・設計書の検索

型番・仕様・過去の設計判断を横断検索。ベテラン依存になっている知識を、組織で参照できる形に変えます。

問い合わせ対応の下書き生成

過去の対応履歴とFAQを参照し、回答案を生成。最終確認は人が行う運用にします。

報告書・議事録の作成支援

社内フォーマットに沿った文書のドラフトを生成。定型部分の作成時間を圧縮します。

提案・見積の下調べ

過去案件の資料を参照し、類似案件の条件や注意点を提示します。

接続を制限した環境での業務支援

外部接続を制限しているネットワークでも、その内部で完結する形でのAI活用を検討できます。

06 / Security × Private AI

AIを作るだけではなく、
安全に使えるところまで設計する

ローカルLLMは「外部の生成AI APIへ情報を送信しない構成にできる」点が注目されがちですが、 自社の中に置いたからといって、それだけで安全になるわけではありません。

社内の誰がどの情報にアクセスできるのか。AIが参照する文書に、本来その人が見てはいけない資料が混ざっていないか。 AIへの入力を通じて、意図しない動作を引き起こされないか。

セキュア・バンクはサイバーセキュリティ企業です。AIを構築する段階から、これらを設計の対象として扱います。

通信経路の設計

外部への通信をどこまで許可するかを整理し、外部の生成AI APIへ情報を送信しない構成を含めて検討します。

認証・アクセス制御

誰がAIを利用でき、どの機能を使えるかを設計します。

ログの取得と管理

利用状況・入力内容の記録範囲と保存方針を、運用に合わせて決めます。

RAGデータの権限制御

AIが参照する文書に、利用者ごとの閲覧権限を反映させる方式を検討します。

機密情報・個人情報の取り扱い

AIに渡す文書の範囲と、扱いに注意が必要な情報の切り分けを整理します。

Prompt Injection等への対策

入力を通じてAIの動作を誘導される、AI固有のリスクへの対策を検討します。

サプライチェーンの確認

利用するモデル・依存ライブラリの入手元とライセンス条件を確認します。

AIセキュリティ評価

構築したAIシステムに対して、攻撃者視点での検証をご相談いただけます。

※ ローカルLLMの導入は、情報の取り扱い範囲をお客様の管理下に置きやすくする手段です。いかなる構成であっても、情報漏えいが起こらないことを保証するものではありません。運用ルール・アクセス管理を含めた設計と、継続的な見直しが必要になります。

当社では、オープンウェイトモデルを活用したサイバーセキュリティ領域のAI研究開発にも取り組んでいます。 研究開発は商用サービスとは別の取り組みであり、現時点で得られている内容は研究段階のものです。

Cyber AI研究開発に関するお知らせを見る
07 / Process

小さく検証してから、本番へ

いきなり本番環境の構築は行いません。まず実際のデータで実現可能性を確かめ、効果を確認してから広げます。

  1. 1

    ヒアリング・要件整理

    扱いたい情報、業務の流れ、社内ルール、既存環境を伺います。ローカルLLMでなくても解決できると判断した場合は、正直にそうお伝えします。

  2. 2

    モデル・構成の選定

    求める精度と応答速度から必要なモデル規模を見積もり、想定される構成をご提示します。必要なハードウェアの考え方もこの段階で整理します。

  3. 3

    PoC(小規模検証)

    実際の社内文書を使って小さく構築し、「業務で使えるか」を確かめます。判断材料を作る工程です。

  4. 4

    評価・改善

    回答精度、応答速度、業務での使い勝手を評価し、構成やデータの持たせ方を調整します。

  5. 5

    本番環境の構築

    評価結果をもとに、アクセス制御・ログ・運用手順を含めた本番環境を設計・構築します。

  6. 6

    運用・継続改善

    文書の追加、精度改善、モデル更新への追従を継続的に支援します。運用を内製化したい場合は、その移行も含めてご相談ください。

08 / Plans

まずは、実現できるかを
確かめるところから

ローカルLLMは、必要な環境の規模によって費用が大きく変わります。 最初から本格開発を前提とせず、要件整理と小規模な検証から始められる形をご用意しています。

要件整理・構成提案

Local LLM Assessment

扱いたい情報と業務要件を整理し、適したモデルの候補、必要となるハードウェアの考え方、想定構成と概算費用をまとめてご提示します。この段階では開発は行いません。

  • 要件・対象業務の整理
  • モデル選定の考え方
  • 必要ハードウェアの整理
  • 構成案・概算費用
相談する

小規模な技術検証

Local LLM PoC

実際のデータを用いて、オープンウェイトLLMとRAG等による小規模な検証環境を構築します。「業務で使えるか」の判断材料を作ることが目的です。

  • 検証環境の構築
  • 実データでの動作確認
  • 回答精度・応答速度の評価
  • 評価レポート
相談する

本格開発

Private AI Development

検証結果をもとに、業務で使えるAIを開発します。RAG、業務特化AI、既存システムとの連携、利用画面の開発までを含みます。

  • RAG・業務AIの開発
  • 既存システム連携
  • 利用画面(UI)の開発
  • 権限設計
相談する

本番環境の設計・構築

Enterprise Private AI

本番運用に向けた環境の設計・構築を支援します。アクセス制御、ログ管理、運用設計を含み、オンプレミスや閉域を含む構成も要件に応じて検討します。

  • 本番環境の設計・構築
  • アクセス制御・ログ管理
  • 運用設計
  • 継続的な改善支援
相談する

※ 費用は、対象業務・扱う文書の量・必要な環境の規模・セキュリティ要件によって変わるため、個別にご提案します。サーバー・GPU等のハードウェア費用は別途必要になります。

09 / FAQ

よくあるご質問

ローカルLLMにすれば、情報漏えいの心配はなくなりますか。

いいえ。外部サービスへの送信を減らせる一方で、社内での権限管理や運用ルールが不十分であれば、別のリスクが残ります。私たちは環境の構築だけでなく、アクセス制御・ログ・運用手順を含めて設計します。構成にかかわらず、情報漏えいが起こらないことを保証するものではありません。

クラウドのAIサービスは使わないほうがよいのでしょうか。

そのようには考えていません。クラウドAIは高性能で導入も容易です。私たち自身も日常業務で活用しています。「外部のサービスへ渡しにくい情報を扱う業務」に限ってローカルLLMを検討する、という使い分けをおすすめしています。

どのAIモデルを使うのですか。

用途・必要な精度・応答速度・利用できるハードウェア・ライセンス条件をふまえて選定します。特定のモデルを前提としたサービスではありません。モデルは短い周期で更新されるため、選定基準そのものを一緒に整理することを重視しています。

Fine-tuningは必要ですか。

多くのケースでは不要です。社内文書を根拠に回答させたいだけであれば、RAGという方式で実現でき、文書を更新すればAIの回答も追従します。Fine-tuningやLoRAは、回答形式や専門的な言い回しを固定したい場合などに、必要性が確認できた段階で検討する手段です。

GPUサーバーは必要ですか。費用はどのくらいですか。

求める精度と応答速度、同時に使う人数によって必要な構成が変わります。Assessmentの段階で、想定される構成と概算をご提示します。購入・レンタル・専用環境の利用など、調達方法についても対応範囲を含めてご相談ください。

外部との接続を制限した環境でも導入できますか。

要件に応じて検討します。接続範囲を限定した環境では、モデルや更新データの持ち込み手順を含めた設計が必要になるため、実現可能な構成は環境とセキュリティ要件を確認したうえでご提案します。

社内にAIに詳しい人がいなくても運用できますか。

構築後の運用支援を含めてご相談いただけます。対応範囲は運用体制やご要望によって変わるため、個別に整理させてください。将来的に内製化したい場合は、運用手順の整備と引き継ぎも含めて設計します。

どのくらいの期間がかかりますか。

要件整理からPoCまでは、対象業務と文書量によって変わります。本番環境の構築期間は、必要なハードウェアの準備とセキュリティ要件によって変動します。初回のご相談時に、想定される進め方をお伝えします。

「うちのデータでも動くのか」
から、確かめられます。

実現できるかどうかは、扱う文書を見てみないと分かりません。 まずは現在の状況と、AIに任せたい業務を伺うところから始めさせてください。 ローカルLLMでなくても解決できる場合は、そうお伝えします。

お問い合わせ