PromQLのmax演算子は集計演算子であり、バイナリベクトルマッチング演算子ではありません。したがって、集計を行う際の有効な構文は、on()ではなくby()またはwithout()を使用します。
✅ max by (instance) up → 有効。インスタンスごとに最大値を集計します。
✅ max without (instance) up および max without (instance, job) up → 有効。リストされているラベルを除くすべてのラベルを集計します。
❌ max on (instance) (up) → 無効です。キーワード on() は、特定のラベルで 2 つのベクトルが照合されるバイナリ操作 (例: +、-、and、or、unless) でのみ有効です。
したがって、max on (instance) (up) は PromQL では構文エラーです。なぜなら、on() は集約演算子と直接使用できないからです。
参照：
Prometheusのドキュメント（集約演算子、ベクトルマッチング - on()/ignoring()、およびPromQL言語構文リファレンス）で検証済み。

Blackbox Exporterは、HTTP、HTTPS、TCP、ICMP、DNSなど、さまざまなネットワークプロトコルを介してエンドポイントをプローブするために特別に設計されたPrometheusコンポーネントです。汎用プローブサービスとして機能し、ターゲットアプリケーション自体に計測機能を組み込むことなく、Prometheusがエンドポイントの可用性、レイテンシ、および正確性をテストできるようにします。
基本的なHTTPプロービングにおいて、Blackbox Exporterは定義されたURLに対してHTTP GETまたはPOSTリクエストを実行し、プロービングの成功、レイテンシ、レスポンスコード、SSL証明書の有効性などのメトリクスを公開します。そのため、稼働状況や可用性の監視に最適です。
対照的に、JMX エクスポーターは Java アプリケーションからのメトリクス収集に、Apache エクスポーターは Apache HTTP サーバーのメトリクス収集に、SNMP エクスポーターはネットワーク デバイスからのメトリクス収集に使用されます。したがって、HTTP プロービングの目的を果たすのは Blackbox エクスポーターのみです。
参照：
Prometheusのドキュメント（Blackbox Exporterの概要およびExporterの使用ガイドライン）に基づいて検証済みです。

Pushgatewayは、直接スクレイピングできない短時間のバッチジョブを処理するために使用されるPrometheusのコンポーネントです。これらのジョブはメトリクスをPushgatewayに送信し、PushgatewayはPrometheusがメトリクスをスクレイピングできるように公開します。
これにより、ジョブのライフサイクルを超えてメトリクスが保持されることが保証されます。ただし、プッシュゲートウェイ内のメトリクスは置き換えられるまで静的なままであるため、継続的に実行されるサービス向けには設計されていません。

Prometheusのアラートルールでは、forフィールドは、アラートが保留状態から発火状態に移行するまでに、条件が継続的に真である必要がある期間を指定します。この機能により、一時的なスパイクや短いメトリック変動によって誤ったアラートがトリガーされるのを防ぎます。
例：
警告: リクエスト遅延が大きい
式: http_request_duration_seconds_avg > 1
対象: 5m
ラベル:
深刻度: 警告
注釈:
Explanation:「リクエストのレイテンシが5分以上1秒を超えています。」
この構成では、Prometheus はルール評価サイクルごとに式を評価します。アラートは、条件 (http_request_duration_seconds_avg > 1) が 5 分間連続して真である場合にのみ発生します。その期間より前に正常に戻った場合、アラートはリセットされ、二度と発生しません。
この仕組みは、継続的な問題が発生した場合のみ通知を生成するようにすることで、警報システムの安定性とノイズ低減に貢献します。
参照：
Prometheusのドキュメント（アラートルール設定構文、保留状態と発火状態、アラートのタイミングとしきい値に関するベストプラクティス）で検証済み。

Prometheusのアラートルールでは、テンプレート変数を使用して、注釈やラベル内のラベル値を動的に参照できます。各アラートは、変数$labelsを介してラベルにアクセスでき、アラートメッセージや説明にラベルデータを直接挿入できます。
インスタンスラベルの値を動的に説明に含めるには、プレースホルダー INSTANCE_NAME_HERE を次のように置き換えます。
説明: "インスタンス {{$labels.instance}} がダウンしました"
または同等に：
説明: "インスタンス $labels.instance がダウンしました"
どちらの形式も有効ですが、最初の形式はGoのテンプレート構文に従っており、推奨される形式です。
これにより、アラートが発生した際に、インスタンスラベル（ホスト名やIPアドレスなど）がメッセージに自動的に含まれ、以下のような出力が生成されます。
インスタンス 192.168.1.15:9100 がダウンしました
オプションB、C、Dは無効です。なぜなら、$value、$expr、$metricはアラートテンプレートで認識されるコンテキスト変数ではないからです。
参照：
Prometheusのドキュメント（アラートルールの設定、アノテーションとラベルでのテンプレート変数の使用、Prometheusテンプレートガイド（Goテンプレートと$labelsの使用法））で検証済み。