こんにちは。SREの平です。人間のSREが行っている障害調査・原因分析・復旧対応を、AIに自律的に行わせるという OpenSRE の一部を見てみました。
OpenSRE: https://github.com/Tracer-Cloud/opensre
まず初めに、OpenSRE はまだ Public Alpha で、更新がとても速いプロダクトです。
最初に触ったのが7月下旬でしたが、そのときの問題は8月には直っていました。数日前には(私の手元では)AWSの認証ができなくなる問題も出ましたが昨日版で戻りました。それくらい更新が頻繁です。興味がある方は、ぜひご自身の手で試していただくことをお勧めします。
さて、AWS、Grafana、Kubernetes、各種DB、通知系まで、かなり広い範囲の連携を一手に引き受けようとしている OpenSRE ですが、以下のような環境で試してみました。
- LLM — Ollama gpt-oss:20b(Windows 11 / RTX 5060 Ti 16GB)
- 実行環境 — Ubuntu 26.04(VM および Docker)
- テスト環境
- テスト1 :
integrations/grafana(Loki → OpenStack の VM) - テスト2 :
integrations/aws(CloudTrail → EC2)
- テスト1 :
初めて使うので OpenSRE がどの程度 LLM と通信するのか分からず、コストが不安でした。そこで今回のテストでは、手元の Ollama を使うことで、LLM 使い放題で検証することにします。
実行環境は Docker でも素の Linux(EC2 / Hyper-V / OpenStack で立ち上げた VM)でも試しましたが、glibc 2.34 系のイメージでは起動できませんでした。なるべく最新のイメージで試してください。
あと、実行環境上で Claude などに OpenSRE を動かしてもらうと、OpenSRE 自体のエラーを修正しつつ進むので大変便利でした。
■ インストールと LLM Provider の選択
https://github.com/tracer-cloud/opensre#install
素の環境でも Docker でも、ほぼ1行です。実行すると以下の画面になります。
──────────────────────────────────────────── ██████╗ ██████╗ ███████╗███╗ ██╗███████╗██████╗ ███████╗ ██╔═══██╗██╔══██╗██╔════╝████╗ ██║██╔════╝██╔══██╗██╔════╝ ██║ ██║██████╔╝█████╗ ██╔██╗ ██║███████╗██████╔╝█████╗ ██║ ██║██╔═══╝ ██╔══╝ ██║╚██╗██║╚════██║██╔══██╗██╔══╝ ╚██████╔╝██║ ███████╗██║ ╚████║███████║██║ ██║███████╗ ╚═════╝ ╚═╝ ╚══════╝╚═╝ ╚═══╝╚══════╝╚═╝ ╚═╝╚══════╝ opensre · v0.1.2026.8.16+main.e08f7ab open-source SRE agent for automated incident investigation and root cause analysis ──────────────────────────────────────────── Setup — Configure your local AI stack and optional integrations. ──────────────────────────────────────────── ●○○○ Setup Mode 1/4 ──────────────────────────────────────────── ◆ How do you want to get started? (Use arrows to move, Enter to choose) ○ Focused ❯ ○ Quickstart ○ Advanced
ここで Quickstart を選ぶと Enter だけで進められます。一旦終了しても
opensre onboard
で全く同じことができるので、どちらから始めても大丈夫です。
onboard では、以下を選択していきました。
- 2. LLM Provider — Ollama (local)
- custom model ID :
gpt-oss:20b - Host URL :
http://192.168.0.16:11434← ご自身の環境に合わせてください
- custom model ID :
続いて 3. Observability の設定に行きますが、テストごとに設定が異なるので、いったんここで終わらせました。
この結果、~/.opensre/.env に以下が書き込まれます。
OLLAMA_HOST=http://192.168.0.16:11434 LLM_PROVIDER=ollama OLLAMA_MODEL=gpt-oss:20b
■ テスト1 : integrations/grafana(Loki → OpenStack の VM)
最初は手短な自宅内の Grafana を使ってみました。
この Grafana には自宅の各種サービス(OpenStack、Kubernetes、ClickHouse 等)のメトリクスやログを集中させています。そこで、OpenSRE の Observability 連携に含まれていない OpenStack をターゲットにしてみました。
OpenSRE
│ HTTPS
▼
Grafana 192.168.0.x:3000
├── Loki ◀── promtail ──────┐
└── Prometheus ◀── node_exporter ─┤
│
┌───────────────────────┴──────────────┐
│ OpenStack クラスタ │
│ Master nova-api.log ← 誰が │
│ Node nova-compute.log ← 何を │
│ └── VM: sretest ← 停止対象│
└──────────────────────────────────────┘
設定
opensre /integrations setup grafana
- Instance URL :
https://192.168.0.x:3000/← ご自身の環境に合わせてください - Service account token : Grafana の "Service accounts" で作成したものを貼ります
- Verify SSL certificate (true or false) :
true - Path to CA bundle for SSL verification : Enter を押す
この結果、~/.opensre/integrations.json に保存されます。
自己署名のままならSSLは false にしないと接続できません。
気づいたこと
タグが必要だった。
Loki 側の縛りになりますが、もとから付いていた job="nova_logs" のようなタグは使えませんでした。OpenSRE が引けるラベルは現在のところ service_name / pipeline_name などに限られているみたいで、メトリクス側も pipeline_runs_total を前提にしているようです。今回は service_name のバリューにインスタンス名などを書いて対応しました。
ログが大事。 LLM にもよりますが、Loki に流れているログのうち Error などのネガティブなログを、きちんと読んでいると実感しました。Observability にリストされていない対象でも、ログさえあれば原因調査・推論・確認・結果まで出してきます。応用は効きやすいと思いました。
結果が早すぎるときは、何か失敗しているときかも。 証拠が取れなかったときは、その後の推論も早くなりがちです。しかも「正常」と判断する結果になることが多いです。
見分ける手がかりが1つありました。出力に含まれる validity_score が、証拠に届かなかった回は 0.40、届いた回は 0.95 でした。0.5 を下回っていたら、証拠に届いていないサインとして疑う。 レポートを人が確認するときのチェックポイントとして、そのまま使えます。
Ollama のモデルのロードに初回約25秒かかっていた。 あまり気になりませんでした。これが原因でエラーになることもありませんでした。
■ テスト2 : integrations/aws(CloudTrail → EC2)
テスト2は、AWS を対象にやってみました。
まだ開発中ということで分からないことも多く、影響範囲の小さい検証用の AWS アカウントでテストしました。
OpenSRE
│ HTTPS(読み取り専用の IAM ユーザー)
▼
AWS ap-northeast-1
├── CloudTrail (Event history)
│ └──▶ 誰が・いつ・何を
│
└── EC2 API (describe-instances)
└──▶ 今どうなっているか
└── test-server ← 対象VM
設定
opensre /integrations setup aws
- Access Key + Secret を選択 ← 本番は IAM Role がいいでしょう
- Region :
ap-northeast-1 - AWS_ACCESS_KEY_ID :
AKIA...← 用意したもの - AWS_SECRET_ACCESS_KEY :
...← 用意したもの
この結果、~/.opensre/integrations.json に保存されます。ただし AWS の場合(今のところ)、実際に調査ツールが認証情報を読むのは環境変数(~/.opensre/.env)側でした。接続確認は integrations.json を見るので、片方だけ揃っていると「確認は通るのにツールは失敗する」という状態になります。
※
AWS_SECRET_ACCESS_KEYは onboard をやり直すと削除されます。エラーになる場合、手動で.envに書いてみてください。
気づいたこと
AWS region の既定値が us-east-1(みたい)。
.env に AWS_REGION=ap-northeast-1 と書いてあっても、無視されることが頻発しました。
EC2 の状況が、ツールによっては見えなかった。 (明日には変わるかもしれませんが)EC2 を直接リストするツールは、私のバージョンでは無効にされているようでした。CloudTrail のツール経由ではバッチリでした。
ツール数は多いが、無効になっているものもいくつかある。 今現在は以下のようになっているようですが、全てをカバーするのは時間の問題かと。
| サービス | 本数 | 状態 |
|---|---|---|
| CloudWatch(メトリクス / ログ) | 2 | 提示される |
| Lambda(設定 / エラー / 実行ログ / 詳細) | 4 | 提示される |
| S3(一覧 / 取得 / 検査 / マーカー) | 4 | 提示される |
| RDS(インスタンス / イベント) | 2 | 提示される |
| CloudTrail | 1 | 提示される |
| SQS | 1 | 提示される |
| EC2 | 1 | 提示されない |
| ELB | 1 | 提示されない |
| 汎用の AWS SDK 操作 | 1 | 自動調査からは除外 |
■ 全体を通して
画面の出力と debug log が合っていない。
Ollama なので debug log が出せます。LLM に「Ollama の debug を tail したい」と書けばすぐに出してくれましたが、OpenSRE の Want me to: の内容が、log にはあって画面には出ていないことがありました。検証中は、LLM のdebug出力もきちんと見た方が良いでしょう。
これから、どこを見守るか。 「いつ自分の環境で使えるようになるか」を自分で判断できると便利です。見どころを整理しました。
integrations/<サービス名>/tools/ ← ここが増えれば、対応が増えた integrations/<サービス名>/availability.py ← そのツールを出す条件 core/tool_framework/utils/integration_sources.py ← 条件に使うキーの組み立て integrations/aws/tools/aws_operation_tool.py ← 「自動調査では常に無効」の関数があるので、ここもチェック
コストについて。 1回の調査で、LLM 呼び出しは8回でした。
| # | 入力 | 出力 |
|---|---|---|
| 1 | 1,595 | 774 |
| 2 | 5,230 | 380 |
| 3 | 5,871 | 484 |
| 4 | 6,832 | 447 |
| 5 | 7,305 | 724 |
| 6 | 7,429 | 79 |
| 7 | 7,969 | 732 |
| 8 | 4,497 | 1,717 |
| 合計 | 46,728 | 5,337 |
入力が回を追って膨らんでいるのは、調査ループが毎回それまでの履歴を丸ごと送り直しているようです。総トークンの 9割が入力側で、生成は1割でした。
なお AWS Bedrock で使った場合の試算は以下の通りです。
| モデル | 1回 | 月100件 | 月1000件 |
|---|---|---|---|
| gpt-oss-20b(US標準) | $0.0049 | $0.49 | $4.87 |
| gpt-oss-20b(東京などAPAC標準) | $0.0050 | $0.50 | $5.02 |
| gpt-oss-120b(APAC標準) | $0.0105 | $1.05 | $10.52 |
1回あたり0.7円ほど。 月100件の障害調査でも70円台です。このコストなら、本番導入も問題ないでしょう。
■ まとめ
数日しか触っておらず、アラートきっかけからの自動調査開始もできていませんが、ゴールはとても明確で、もっと良くなることを感じさせてくれました。
ただ現時点では、認証が急にできなくなったり、リージョンが不安定だったり、データが取れないときも正常としてしまうこともあったりで、いましばらくは検証を続けるような形だと思います。
繰り返しになりますが、Public Alpha で毎日更新されているものです。結論を急がず、色々試していきたいと思います。