SyncAPIを用いたアクセスログのダウンロードが途中で停止する
Article ID: 249169
Updated On:
Products
Issue/Introduction
アクセスログの容量が1.5Gバイトを超えるような大きなアクセスログを、SyncAPIを使用して
ダウンロードした場合に、全てのログをダウンロードする前にダウンロードが停止する場合があります。
その時のHTTP Responseコードは200 OKですが、ダウンロードしたファイルは途中で停止し
壊れている状態のため、展開することが出来ません。
【例】
正常に完了した場合のログ容量：1,874,635,791 bytes
実行コマンド（コマンドの全文はスライドバーにてご確認頂けます。）：
curl -H "X-APIUsername: お客様のAPI Username" -H "X-APIPassword: お客様のAPI Password" --url "https://portal.threatpulse.com/reportpod/logs/sync?startDate=開始時間&endDate=終了時間&token=none" -o log.zip
結果：
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1029M 0 1029M 0 0 1561k 0 -::- 0:11:14 -::- 2772k
停止時のログ容量： 1,079,201,293 log.zip
HTTP Responseコード：200 OK
ファイルは途中でダウンロードが停止しているため、展開不可
Environment
Cloud Secure Web Gateway (旧名Web Security Service [WSS])
SyncAPI
Cause
SyncAPIでダウンロード可能なアクセスログの容量に関しては、静的な制限はございません。
ただし、平均ダウンロードスピード・ログファイル容量・ネットワーク環境といった、複数の要素を
用いて内部的に管理されている数式（非公開）を用いた、動的な制限がございます。
例えば、アクセスログの容量が2Gバイトあった場合、平均ダウンロードスピードが1~4Mバイト/secの環境では
ダウンロードが途中で停止し、5Mバイト/sec以上の環境ではダウンロードが成功するといったことが発生します。
SyncAPIを用いたアクセスログは、管理ポータル（portal.threatpulse.com）経由で取得されます。
管理ポータルは、Cloud Secure Web Gateway (旧名Web Security Service [WSS])を使用する全てのお客様にご使用頂いており、
特定のお客様にてリソースを占有しないように、また負荷軽減することを目的として、
SyncAPIでダウンロード可能なアクセスログの容量に対して、動的な制限を設けております。
Resolution
1.ダウンロード速度の改善（PC端末・ネットワーク環境に、速度を制限するポリシー等が無いことを
確認、異なる回線を用いる、直接接続・WSS経由での接続といった接続形式の変更 等）
2.1回当たりのダウンロードログ容量の削減
TOKENを使用しない場合は1時間単位でのログ取得となりますが、TOKENを使用することで10分単位でログ取得することが
可能となります。その結果1回当たりにダウンロードするログ容量を減らすことが可能となります。
ダウンロード速度の改善が見込めない場合は、Web Guideおよびマニュアルを御参照頂き、
TOKENを用いてログ取得間隔を短く設定してください。
注意：実行スクリプトに関しては、サポートでは提供していないため、実行スクリプトに関しては、
お客様ご自身で作成して頂く必要がございます。
3.取得するログフィールドの制限
Web Guideを御参照頂き、取得するログフィールドを必要なものだけに制限することで全体のログ容量を減らすことが可能となります。
4.2023年3月31日に実装されたCloud SWG Event Streaming機能を使用(他社クラウドストレージサービスをお客様でご利用の場合）
Cloud SWG Event Streaming
Feedback
