ラベル付きのPrometheusカウンターは、一部のラベルの組み合わせがまだ観測されていない場合、クエリで時系列データが欠落する可能性があります。可視性と継続性を確保するため、推奨されるベストプラクティスは、初期値がゼロであっても、アプリケーション起動時に想定されるすべてのラベル値を使用してカウンターをインスタンス化することです。
これにより、ラベル付けされたすべての時系列データが一貫してエクスポートされることが保証され、ダッシュボードやアラートルールでこれらの時系列データの存在が想定されている場合に役立ちます。たとえば、http_requests_total{method="POST",status="200"} のようなカウンターがまだ POST リクエストを受信して​​いない場合、ゼロで初期化することで、カウンターが確実に公開されます。
オプションAは誤りです。ラベル値をメトリック名にエンコードしてはなりません。
オプションBは冗長性を追加するだけで、初期化の問題を解決しません。
オプションDは推奨されません。カウンターは再起動時に自然にリセットされるべきであり、これはPrometheusの一時的なメトリックモデルを反映しています。
参照：
Prometheusのドキュメント「計測のベストプラクティス」、「ラベル付きカウンター」、「メトリクスの初期化による時系列データの欠落回避」で検証済み。

evaluation_interval パラメータは、Prometheus が記録ルールとアラートルールを評価する頻度を定義します。このパラメータは、ルールエンジンが実行されるスケジュールを決定し、アラート条件が満たされているかどうかを確認し、記録ルール用の新しい時系列を生成します。
例えば、以下のように設定します。
グローバル：
評価間隔: 30秒
これは、Prometheusが設定されたすべてのルールを30秒ごとに評価することを意味します。この設定は、Prometheusがターゲットからデータを収集する頻度を制御するscrape_intervalとは異なります。
適切な評価間隔を設定することで、アラートの遅延とシステムパフォーマンスのバランスが確保されます。

メトリック user_last_login_timestamp_seconds{email="[email protected]"} は、カーディナリティの高いラベル (email) が含まれているため、Prometheus には適していません。固有のメールアドレスごとに個別の時系列が生成され、その数は数百万に及ぶ可能性があり、Prometheus のパフォーマンスとメモリ使用量に深刻な影響を与えます。
Prometheusは、ユーザーごとのデータではなく、システム全体の動作を表す低～中程度のカーディナリティのメトリクスに最適化されています。カーディナリティの高いメトリクスはデータ爆発を引き起こし、クエリを複雑化させ、ストレージエンジンに過負荷をかけます。
対照的に、その他のメトリクス（prometheus_engine_query_log_enabled、promhttp_metric_handler_requests_total{code="500"}、http_response_total{handler="static/*filepath"}）は、Prometheusのベストプラクティスに準拠しています。これらは、管理しやすいラベル値セットを持つ、運用レベルまたはサービスレベルのメトリクスを表します。
参照：
Prometheusのドキュメントから抽出および検証済み - メトリックとラベルの命名に関するベストプラクティス、カーディナリティ管理、およびメトリック設計におけるアンチパターンのセクション。

Prometheusには、スクレイピングおよび処理済みのメトリクスを外部システムに送信して、長期保存、集計、または高度な分析を行うための「リモート書き込み」という機能があります。この機能を設定すると、Prometheusは時系列データを、設定ファイルのremote_writeセクションで定義されたリモートエンドポイントに継続的に送信します。
このメカニズムは、Cortex、Thanos、Mimir、InfluxDBなどの長期データストレージバックエンドとの統合によく使用され、Prometheusのローカル時系列データベースの制限を超えた永続的なデータ保持とグローバルクエリ機能を実現します。
一方、「スクレイピング」は対象からのデータ収集を指し、「フェデレーション」は階層的なPrometheus構成（他のPrometheusインスタンスからメトリクスを取得する）を可能にしますが、長期保存には対応していません。また、ネイティブのPrometheus構成では「S3バケット」を直接使用することもサポートされていません。
参照：
Prometheusのドキュメントの「リモート書き込み/読み取りAPI」および「長期ストレージ統合」セクションから抽出および検証しました。

Prometheusは、公式の解説フォーマットにおいて、カウンター、ゲージ、ヒストグラム、サマリーという4つの主要なメトリックタイプを定義しています。これらのタイプは、システムのパフォーマンス、動作、および状態の定量的な測定値を表現するための基本的な構成要素となります。
カウンターとは、増加するだけの累積的な指標です（例：処理されたリクエスト数）。
ゲージは、メモリ使用量や温度など、上下に変動する値を表します。
ヒストグラムは、観測値（例えば、リクエストの所要時間）をサンプリングし、設定可能なバケットごとにカウントすることで、観測値のカウントと合計値の両方を提供します。
サマリーはヒストグラムに似ていますが、カウントと合計の指標に加えて、スライディング時間ウィンドウにおける分位点推定値を提供します。
これら4つのタイプは、Prometheusデータモデルで定義されているPrometheusテキスト記述フォーマットにおいて、公式にサポートされている唯一のメトリックタイプです。追加のメトリックや独自の命名規則は、これらのコアタイプを基盤として構築されますが、新しいタイプを構成するものではありません。
参照：
Prometheusの公式ドキュメントにある、Prometheus学習資料のメトリックタイプと表示形式に関するセクションから抽出・検証しました。