ネットワークテスト自動化により短時間で確実にテストを行う方法をお伝えします。

NWインテグレーターの現場が今、行うべき働き方改革手法
Firewall・ネットワークの構築、負荷テストを日常的に行っており、テストに課題を抱えている方を対象にしたウェビナーです。

NEEDLEWORK 製品紹介・デモンストレーション

当社で開発・販売をしている、ネットワークテスト自動化製品「NEEDLEWORK(ニードルワーク)」の製品紹介を行います。デモンストレーションを中心にご紹介しますので、製品の利用方法等をイメージしていただく事ができます。

 

NEEDLEWORK

よくあるご質問(Q&A)

動作に関するご質問一覧

製品の動作に関する質問と回答を掲載しています。

※記載されている会社名及び商品名/サービス名は、各社の商標または登録商標です

1. 共通

動作環境を教えてください

下記リンクをご参照ください。
NEEDLEWORK製品仕様

ネットワーク到達性の確認

NEEDLEWORKへネットワーク到達性があるかご確認ください。

Juniper SRXへのテストが失敗(Error)します

NEEDLEWORKは、起動直後(初回テストを実行するまで)はARPに応答しません。

SRXは定期的にゲートウェイに対してARPリクエストを送信し、ゲートウェイからARP応答がなされるまでパケットを転送しません(※)。
そのため、起動後の初回テスト時はテストが失敗(Error)します。
2回目以降はARP応答されていますので、失敗することなくテストが可能となります。
※弊社評価環境での結果

ハードウェア版とソフトウェア版で機能の差異はありますか

以下のとおり、大きな機能差異はありませんが、ソフトウェア版ではネットワークテスト機能のPingパケットのサイズ変更(オプション)は非サポートとなります。

モデル / テスト機能 ポリシーテスト機能 ネットワークテスト機能 セッションテスト機能 スループットテスト機能
ハードウェア版 対応 対応 対応 対応
ソフトウェア版 対応 対応 ※1 対応 対応

別端末からリモート接続が行なえません(テストが動作しません)

こちらのページ記載のポート番号に対する通信を、製品が動作しているWindowsのファイアウォール等で許可をお願いします。

操作端末と機器本体間はどのポート番号で通信を行いますか

正常性確認について

正常性確認機能はNEEDLEWORKに割り当てられた物理インターフェースが、
テストに必要な以下のパケットを送受信可能かチェックする機能です。

  • タグVLAN
  • QOS

正常性確認機能を実行することで、テストインターフェースが要求を満たすか確認できます。
この機能を使うためにはテストインターフェース同士を直結した状態を構成してください。

* テストインターフェース同士を直結した状態 va_sanitycheck

2. ポリシーテスト機能

Cisco ASAでTCP通信がDropします

ASAの「TCPシーケンス番号ランダマイゼーション」という機能により、シーケンス番号がランダム化されるため、NEEDLEWORKの受信側がシーケンス番号を不正とみなしていることが原因です。

上記については、NEEDLEWORKのファームウェアバージョン3.0.1で対応しています。

Passになるべき通信がDropします

ファイアウォールの機種によっては、ALGやInspectionなどパケットのペイロードを検査する機能が有効になっています。
NEEDLEWORKは実際のアプリケーションではなく、ダミーデータを入れたパケットを生成するため、ペイロード検査が有効なポートではDropになります。
※一部アプリケーションには対応しています

そのため、テスト対象のポートでのペイロード検査を無効にしてからテストを実施してください。
以下にペイロード検査機能を無効にする設定例を記載します。

Cisco ASA 設定例
policy-map global_policy
                      class inspection_default
                        no inspect dns
                  
Cisco ASA 設定例
unset alg dns enable
                  

アンチウィルス、URLフィルタリングのテストで想定したテスト結果になりません

ファイアウォールの機種によっては、IPS機能やその他のUTM検知・防御機能が有効な場合、NEEDLEWORKからのテスト通信(HTTP)を不正とみなしてブロックしてしまうことがあります。

また、アンチウィルスのテストでは、テストウィルスのEicarを使用していますが、アンチウィルスの機能で検知する前に、IPS機能で検知・ブロックしてしまう場合があります。

ファイアウォールのログで、アンチウィルス、URLフィルタ以外の機能でブロックされていないか確認をお願いします。

テスト結果が実施する度に変わる時があります

テスト対象機器の仕様によっては、テストが不安定になる場合があります。
以下のヘルプページに詳細を記載しています。

テストを実施する度に結果が変わる件について

FortiGateのプロキシモードでテスト結果がDropになります

テスト対象のFortiGateのポリシーでAntiVirusが有効になっている場合、該当テストシナリオの"その他の設定(other-settings)"に「Proxy mode」と記載してください。
※マニュアルにも記載しております

FortiGateでHTTPSのテスト結果がDropになります

NEEDLEWORKはHTTPSテストに自己証明書を利用します。
FortiGateで下記設定を行ってください。

"セキュリティプロファイル "→ "SSL/SSHインスペクション"
テスト対象ポリシーに適用しているプロファイルの「無効なSSL証明書を許可」を有効化してください。

3.ネットワークテスト機能

ネットワークテスト実施中にPingがDropされます

並列でPingを実行するため、スペック(最大セッション保持数)が高くない機器が経路に存在する場合は、セッションテーブルが溢れPingが失敗する場合があります。

機器のPingセッション保持時間を調整するなどで対応をお願いします。

4.負荷テスト機能(スループット)

スループットが想定と比べてかなり低い値になります

宛先に指定しているポート番号がUDP 53のようなウェルノウンポートの場合、テスト対象機器(FW等)の仕様によってはアプリケーションレベルまで検査を行い、CPU負荷が上がる場合があります。
そのため、テスト対象機器のリソース不足が原因でスループットが出ない場合があります。

その場合は、ポート番号の変更を行うことで問題が解消できます。

負荷テストのロス率が想定より高い値になります

デフォルト設定(PPS、フレームサイズ)では、機器のスペック上限までテスト通信を送信します。
そのため、テスト対象機器の性能限界を上回る負荷(テスト通信)がかかり、ロス率が上がる場合があります。

シナリオの「フレームサイズ」「最大PPS」を設定することにより、負荷を調整することが可能です。

設定例:
                    フレームサイズ 	:1000
                    最大PPS			:10000
                     
                    (フレームサイズ:1,000Byte × 最大PPS:10,000) × 8 = 80Mbps
                     
                    上記設定により、80Mbps程度の負荷をかけることが可能です。
                  

スループットテスト結果が低い・安定しません

以下をご確認ください。

  • 全体のスループット結果が安定しない場合は、ブラウザ以外のアプリケーションを閉じて実施をお願いします。
    ※スループットは端末のCPU利用率に応じて変動します

弊社の検証結果では、以下のアプリケーションを閉じることでスループットが向上・安定いたしました。

  • WMI(Windows Management Instrumentation) ※サービス管理ツール(services.msc)から停止
    ※WMI停止による端末への影響は弊社ではわかりかねますので、調査のうえ停止をお願いします

5.負荷テスト機能(セッション)

NEEDLEWORKとテスト対象機器のセッション数表示に大幅な差があります。

一部のネットワーク機器において、処理限界到達時においてもSYNにACKを返す挙動を確認しています。その場合NEEDLEWORKはセッション数を正常にカウントすることができないため、ネットワーク機器側でセッション数を確認してください。

まずは使ってみましょう!