OpenSRE を見てみた

こんにちは。SREの平です。人間のSREが行っている障害調査・原因分析・復旧対応を、AIに自律的に行わせるという OpenSRE の一部を見てみました。

OpenSRE: https://github.com/Tracer-Cloud/opensre

まず初めに、OpenSRE はまだ Public Alpha で、更新がとても速いプロダクトです。

最初に触ったのが7月下旬でしたが、そのときの問題は8月には直っていました。数日前には(私の手元では)AWSの認証ができなくなる問題も出ましたが昨日版で戻りました。それくらい更新が頻繁です。興味がある方は、ぜひご自身の手で試していただくことをお勧めします。

さて、AWS、Grafana、Kubernetes、各種DB、通知系まで、かなり広い範囲の連携を一手に引き受けようとしている OpenSRE ですが、以下のような環境で試してみました。

  • LLM — Ollama gpt-oss:20b(Windows 11 / RTX 5060 Ti 16GB)
  • 実行環境 — Ubuntu 26.04(VM および Docker)
  • テスト環境
    • テスト1 : integrations/grafana(Loki → OpenStack の VM)
    • テスト2 : integrations/aws(CloudTrail → EC2)

初めて使うので OpenSRE がどの程度 LLM と通信するのか分からず、コストが不安でした。そこで今回のテストでは、手元の Ollama を使うことで、LLM 使い放題で検証することにします。

実行環境は Docker でも素の Linux(EC2 / Hyper-V / OpenStack で立ち上げた VM)でも試しましたが、glibc 2.34 系のイメージでは起動できませんでした。なるべく最新のイメージで試してください。

あと、実行環境上で Claude などに OpenSRE を動かしてもらうと、OpenSRE 自体のエラーを修正しつつ進むので大変便利でした。

■ インストールと LLM Provider の選択

https://github.com/tracer-cloud/opensre#install

素の環境でも Docker でも、ほぼ1行です。実行すると以下の画面になります。

────────────────────────────────────────────

   ██████╗ ██████╗ ███████╗███╗   ██╗███████╗██████╗ ███████╗
  ██╔═══██╗██╔══██╗██╔════╝████╗  ██║██╔════╝██╔══██╗██╔════╝
  ██║   ██║██████╔╝█████╗  ██╔██╗ ██║███████╗██████╔╝█████╗
  ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║╚════██║██╔══██╗██╔══╝
  ╚██████╔╝██║     ███████╗██║ ╚████║███████║██║  ██║███████╗
   ╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝╚══════╝╚═╝  ╚═╝╚══════╝

  opensre  ·  v0.1.2026.8.16+main.e08f7ab
  open-source SRE agent for automated incident investigation and root cause analysis

────────────────────────────────────────────

  Setup  —  Configure your local AI stack and optional integrations.


────────────────────────────────────────────
  ●○○○  Setup Mode  1/4
────────────────────────────────────────────
◆ How do you want to get started? (Use arrows to move, Enter to choose)
   ○ Focused
 ❯ ○ Quickstart
   ○ Advanced

ここで Quickstart を選ぶと Enter だけで進められます。一旦終了しても

opensre onboard

で全く同じことができるので、どちらから始めても大丈夫です。

onboard では、以下を選択していきました。

  • 2. LLM Provider — Ollama (local)
    • custom model ID : gpt-oss:20b
    • Host URL : http://192.168.0.16:11434 ← ご自身の環境に合わせてください

続いて 3. Observability の設定に行きますが、テストごとに設定が異なるので、いったんここで終わらせました。

この結果、~/.opensre/.env に以下が書き込まれます。

OLLAMA_HOST=http://192.168.0.16:11434
LLM_PROVIDER=ollama
OLLAMA_MODEL=gpt-oss:20b

■ テスト1 : integrations/grafana(Loki → OpenStack の VM)

最初は手短な自宅内の Grafana を使ってみました。

この Grafana には自宅の各種サービス(OpenStack、Kubernetes、ClickHouse 等)のメトリクスやログを集中させています。そこで、OpenSRE の Observability 連携に含まれていない OpenStack をターゲットにしてみました。

OpenSRE
   │  HTTPS
   ▼
Grafana  192.168.0.x:3000
   ├── Loki        ◀── promtail ──────┐
   └── Prometheus  ◀── node_exporter ─┤
                                      │
              ┌───────────────────────┴──────────────┐
              │ OpenStack クラスタ                    │
              │   Master  nova-api.log      ← 誰が   │
              │   Node    nova-compute.log  ← 何を   │
              │      └── VM: sretest         ← 停止対象│
              └──────────────────────────────────────┘

設定

opensre
/integrations setup grafana
  • Instance URL : https://192.168.0.x:3000/ ← ご自身の環境に合わせてください
  • Service account token : Grafana の "Service accounts" で作成したものを貼ります
  • Verify SSL certificate (true or false) : true
  • Path to CA bundle for SSL verification : Enter を押す

この結果、~/.opensre/integrations.json に保存されます。

自己署名のままならSSLは false にしないと接続できません。

気づいたこと

タグが必要だった。 Loki 側の縛りになりますが、もとから付いていた job="nova_logs" のようなタグは使えませんでした。OpenSRE が引けるラベルは現在のところ service_name / pipeline_name などに限られているみたいで、メトリクス側も pipeline_runs_total を前提にしているようです。今回は service_name のバリューにインスタンス名などを書いて対応しました。

ログが大事。 LLM にもよりますが、Loki に流れているログのうち Error などのネガティブなログを、きちんと読んでいると実感しました。Observability にリストされていない対象でも、ログさえあれば原因調査・推論・確認・結果まで出してきます。応用は効きやすいと思いました。

結果が早すぎるときは、何か失敗しているときかも。 証拠が取れなかったときは、その後の推論も早くなりがちです。しかも「正常」と判断する結果になることが多いです。

見分ける手がかりが1つありました。出力に含まれる validity_score が、証拠に届かなかった回は 0.40、届いた回は 0.95 でした。0.5 を下回っていたら、証拠に届いていないサインとして疑う。 レポートを人が確認するときのチェックポイントとして、そのまま使えます。

Ollama のモデルのロードに初回約25秒かかっていた。 あまり気になりませんでした。これが原因でエラーになることもありませんでした。

■ テスト2 : integrations/aws(CloudTrail → EC2)

テスト2は、AWS を対象にやってみました。

まだ開発中ということで分からないことも多く、影響範囲の小さい検証用の AWS アカウントでテストしました。

OpenSRE
   │  HTTPS(読み取り専用の IAM ユーザー)
   ▼
AWS  ap-northeast-1
   ├── CloudTrail (Event history)
   │        └──▶ 誰が・いつ・何を
   │
   └── EC2 API (describe-instances)
            └──▶ 今どうなっているか
                    └── test-server ← 対象VM

設定

opensre
/integrations setup aws
  • Access Key + Secret を選択 ← 本番は IAM Role がいいでしょう
  • Region : ap-northeast-1
  • AWS_ACCESS_KEY_ID : AKIA... ← 用意したもの
  • AWS_SECRET_ACCESS_KEY : ... ← 用意したもの

この結果、~/.opensre/integrations.json に保存されます。ただし AWS の場合(今のところ)、実際に調査ツールが認証情報を読むのは環境変数(~/.opensre/.env)側でした。接続確認は integrations.json を見るので、片方だけ揃っていると「確認は通るのにツールは失敗する」という状態になります。

※ AWS_SECRET_ACCESS_KEY は onboard をやり直すと削除されます。エラーになる場合、手動で .env に書いてみてください。

気づいたこと

AWS region の既定値が us-east-1(みたい)。 .env に AWS_REGION=ap-northeast-1 と書いてあっても、無視されることが頻発しました。

EC2 の状況が、ツールによっては見えなかった。 (明日には変わるかもしれませんが)EC2 を直接リストするツールは、私のバージョンでは無効にされているようでした。CloudTrail のツール経由ではバッチリでした。

ツール数は多いが、無効になっているものもいくつかある。 今現在は以下のようになっているようですが、全てをカバーするのは時間の問題かと。

サービス 本数 状態
CloudWatch(メトリクス / ログ) 2 提示される
Lambda(設定 / エラー / 実行ログ / 詳細) 4 提示される
S3(一覧 / 取得 / 検査 / マーカー) 4 提示される
RDS(インスタンス / イベント) 2 提示される
CloudTrail 1 提示される
SQS 1 提示される
EC2 1 提示されない
ELB 1 提示されない
汎用の AWS SDK 操作 1 自動調査からは除外

■ 全体を通して

画面の出力と debug log が合っていない。 Ollama なので debug log が出せます。LLM に「Ollama の debug を tail したい」と書けばすぐに出してくれましたが、OpenSRE の Want me to: の内容が、log にはあって画面には出ていないことがありました。検証中は、LLM のdebug出力もきちんと見た方が良いでしょう。

これから、どこを見守るか。 「いつ自分の環境で使えるようになるか」を自分で判断できると便利です。見どころを整理しました。

integrations/<サービス名>/tools/                  ← ここが増えれば、対応が増えた
integrations/<サービス名>/availability.py         ← そのツールを出す条件
core/tool_framework/utils/integration_sources.py  ← 条件に使うキーの組み立て
integrations/aws/tools/aws_operation_tool.py      ← 「自動調査では常に無効」の関数があるので、ここもチェック

コストについて。 1回の調査で、LLM 呼び出しは8回でした。

# 入力 出力
1 1,595 774
2 5,230 380
3 5,871 484
4 6,832 447
5 7,305 724
6 7,429 79
7 7,969 732
8 4,497 1,717
合計 46,728 5,337

入力が回を追って膨らんでいるのは、調査ループが毎回それまでの履歴を丸ごと送り直しているようです。総トークンの 9割が入力側で、生成は1割でした。

なお AWS Bedrock で使った場合の試算は以下の通りです。

モデル 1回 月100件 月1000件
gpt-oss-20b(US標準) $0.0049 $0.49 $4.87
gpt-oss-20b(東京などAPAC標準) $0.0050 $0.50 $5.02
gpt-oss-120b(APAC標準) $0.0105 $1.05 $10.52

1回あたり0.7円ほど。 月100件の障害調査でも70円台です。このコストなら、本番導入も問題ないでしょう。

■ まとめ

数日しか触っておらず、アラートきっかけからの自動調査開始もできていませんが、ゴールはとても明確で、もっと良くなることを感じさせてくれました。

ただ現時点では、認証が急にできなくなったり、リージョンが不安定だったり、データが取れないときも正常としてしまうこともあったりで、いましばらくは検証を続けるような形だと思います。

繰り返しになりますが、Public Alpha で毎日更新されているものです。結論を急がず、色々試していきたいと思います。