Files
cpp-httplib/docs-src/pages/ja/cookbook/s20-keep-alive.md
T

3.9 KiB

title, order, status
title order status
S20. Keep-Aliveを調整する 39 draft

httplib::ServerはHTTP/1.1のKeep-Aliveを自動で有効にしています。クライアントから見ると接続が再利用されるので、TCPハンドシェイクのコストを毎回払わずに済みます。挙動を細かく調整したいときは、2つのセッターを使います。

設定できる項目

API デフォルト 意味
set_keep_alive_max_count 100 1本の接続で受け付けるリクエストの最大数(0 で無制限)
set_keep_alive_timeout 5秒 アイドル状態の接続を閉じるまでの秒数

基本の使い方

httplib::Server svr;

svr.set_keep_alive_max_count(20);
svr.set_keep_alive_timeout(10); // 10秒

svr.listen("0.0.0.0", 8080);

set_keep_alive_timeout()はstd::chronoの期間を取るオーバーロードもあります。

using namespace std::chrono_literals;
svr.set_keep_alive_timeout(10s);

チューニングの目安

アイドル接続が多くてリソースを食う
タイムアウトを短めに設定すると、遊んでいる接続がすぐに切れてスレッドが解放されます。接続は残したままにしたい場合は、代わりにKeep-Aliveのパーキング(後述)を有効にします。

svr.set_keep_alive_timeout(2s);

APIが集中的に呼ばれて接続再利用の効果を最大化したい
1接続あたりのリクエスト数を増やすと、ベンチマークの結果が良くなります。

svr.set_keep_alive_max_count(1000);

とにかく接続を使い回したくない
set_keep_alive_max_count(1)にすると、1リクエストごとに接続が閉じます。デバッグや互換性検証以外ではあまりおすすめしません。

スレッドプールとの関係

デフォルトでは、Keep-Aliveでつながりっぱなしの接続は、その間ずっとワーカースレッドを1つ占有します。スレッドプールは負荷に応じて最大スレッド数(デフォルトはベースの4倍)までスレッドを増やしますが、開いている接続数がそれを超えると、新しい接続はどれかが閉じるまでキューで待たされます。スレッド数の調整はS21. マルチスレッド数を設定するを参照してください。

アイドル接続にスレッドを持たせない

svr.set_keep_alive_parking(true); // listen()の前に呼ぶ

Keep-Aliveのパーキングを有効にすると、次のリクエストを待っている接続はワーカースレッドを手放してイベントループに預けられ、リクエストが届くとまたワーカーに戻ります。アイドル接続のコストはスレッド1つではなく、ソケットと少しのメモリ(数KB、TLSではもう少し多い)になり、スレッド数より多い接続も、どれかが閉じるのを待たずに順番に処理されます。SSLServerでも使えます。

有効にすると変わること:

  • 同じ接続の連続するリクエストが、別々のスレッドで処理されることがあります。接続ごとの状態をthread_local変数に持たせないでください。
  • 接続数がスレッド数以下で、ハンドラがとても軽い場合は、接続の受け渡しのぶん毎秒の処理数が下がることがあります。
  • ハンドラ、コンテンツプロバイダ、WebSocketは、実行中は今までどおりスレッドを占有します。

すべての変更点はREADMEにあります。

Note: クライアント側の挙動はC14. 接続の再利用とKeep-Aliveの挙動を理解するを参照してください。サーバーがタイムアウトで接続を切っても、クライアントは自動で再接続します。