ベンチマークテストとシミュレーション・机上評価の違い
ITパスポート試験 令和8年度 問62 / システム構成要素 › システムの評価指標
過去問にチャレンジ
システムの性能評価におけるベンチマークテストに関する記述として,適切なものはどれか。
- ア
評価対象のシステムで使われるものと同じデータ,同じプログラムを,ほかの疑似システム上で実行させて性能を評価する。
- イ
評価対象のシステムの動作特性を,取扱いの容易な形にモデル化したものを用いて,ほかの疑似システム上で実行させて性能を評価する。
- ウ
評価対象のシステムのプログラムステップ数,ハードウェア性能,I/O回数の机上計算値などを基に処理時間を積算して性能を評価する。
- エ
標準的な処理を設定し,それを実行する評価用プログラムを,評価対象のシステム上で実際に実行させて性能を評価する。
会話形式の解説
講師今回はシステムの性能評価の方法がテーマです。選択肢にはベンチマークテストのほかに、シミュレーションや机上評価の説明が混ざっています。見分けるときは、どこで実行しているかと、実際に測っているのかの二点に注目してください。
受験者ベンチマークという言葉は聞いたことがありますが、性能を比べるテストという程度の理解です。同じデータと同じプログラムで動かすという説明が、一番それらしく見えました。
講師その選択肢は確かに実測らしく見えます。ただ、よく読むと実行しているのは評価対象のシステムではなく、ほかの疑似システムです。データが同じでも、動かす場所が違えば対象システムの性能を実測したことにはなりません。
受験者なるほど、実行する場所を見落としていました。では、動作特性をモデル化して疑似システムで動かすという説明はどうでしょうか。
講師モデル、つまりシステムの振る舞いを扱いやすい形に単純化したものを使って、動作を再現する評価はシミュレーションと呼ばれます。こちらも疑似システムで動かしているので、実機で測るベンチマークテストとは別の方法です。
受験者ステップ数やI/O回数から処理時間を積み上げる説明は、計算しているだけなので実測ではない、という理解でよいですか。
講師そのとおりです。これは机上評価、または机上計算と呼ばれる方法です。処理時間を推定することはできますが、実際に動かして測ってはいません。
受験者そうすると、標準的な処理をする評価用プログラムを、評価対象のシステム上で実際に動かすという説明が正解ですね。実機で、しかも実測しています。
講師正解です。基準となる処理を対象の実機で実行し、その結果から性能を測るのがベンチマークテストです。処理の条件をそろえておけば、異なるシステムの性能を公平に比べることにも使えます。
受験者整理すると、実機で実測するのがベンチマークテスト、モデルで再現するのがシミュレーション、計算で求めるのが机上評価ということですね。
講師よくまとまっています。補足すると、ベンチマークの例としてはSPECやTPCといった団体が定めたものが知られています。測定の指標には、処理時間のほか、スループット(一定時間あたりの処理量)や応答時間などがあります。
まとめ
ベンチマークテストは、標準的な処理を行う評価用プログラムを評価対象の実機で動かし、性能を実測する方法です。モデルを使って疑似システム上で動作を再現する評価はシミュレーション、ステップ数やI/O回数から処理時間を計算で求める方法は机上評価と呼ばれ、どちらも実測ではありません。同じデータ・同じプログラムを使っていても、疑似システムで実行していればベンチマークテストにはあたりません。見分けるときは「どこで実行しているか」と「実測か推定か」に注目します。
解答・解説
正解はエです
この問題のテーマ
システムの性能評価にはいくつかの方法があります。この問題は、その中からベンチマークテストの説明を選び、シミュレーションや机上計算による評価と区別できるかを問うものです。
解き方の考え方
ベンチマークテストは「標準的な処理を行う評価用プログラム」を「評価対象の実機」で動かし、性能を実際に測る方法です。そこで各選択肢について、二つの点を確かめます。一つは、実行する場所が評価対象のシステムそのものかどうかです。もう一つは、性能を実測しているのか、それともモデルや計算で推定しているのかです。疑似システムで動かすものや、机上の計算で求めるものを外していくと、正解が一つに絞れます。
選択肢ごとの解説
- ×ア 評価対象のシステムで使われるものと同じデータ,同じプログラムを,ほかの疑似システム上で実行させて性能を評価する。アは、本番と同じデータとプログラムを、ほかの疑似システムで実行するという説明です。データが同じでも、動かしている場所は評価対象の実機ではないため、対象システムの性能を実測したことにはなりません。ベンチマークテストの説明としては当てはまりません。
- ×イ 評価対象のシステムの動作特性を,取扱いの容易な形にモデル化したものを用いて,ほかの疑似システム上で実行させて性能を評価する。イは、システムの動作特性を扱いやすい形にモデル化し、それを疑似システムで実行するという説明です。モデルを使って動作を再現する評価はシミュレーションと呼ばれます。対象の実機で実測するベンチマークテストとは別の方法です。
- ×ウ 評価対象のシステムのプログラムステップ数,ハードウェア性能,I/O回数の机上計算値などを基に処理時間を積算して性能を評価する。ウは、プログラムのステップ数やI/O回数などをもとに、処理時間を計算で積み上げるという説明です。これは机上評価(机上計算)にあたります。処理時間を推定する方法ではありますが、実際に動かして測ってはいないため、ベンチマークテストではありません。
- ○エ 標準的な処理を設定し,それを実行する評価用プログラムを,評価対象のシステム上で実際に実行させて性能を評価する。エは、標準的な処理を行う評価用プログラムを、評価対象のシステム上で実際に動かして性能を測るという説明です。基準となる処理を対象の実機で実行し、その結果から性能を測定するので、ベンチマークテストの説明と一致します。処理の条件をそろえておけば、ほかのシステムとの性能比較にも使えます。
補足
よくある引っかけは、アのように「同じデータ、同じプログラム」と書いて実測らしく見せる選択肢です。見分けるときは「どこで実行しているか」に注目しましょう。ベンチマークの例として、SPECやTPCといった団体が定めたものが知られています。測定で主に見る指標は処理時間です。
POINT
- ベンチマークテストは、標準的な処理を行う評価用プログラムを評価対象の実機で動かし、性能を実測する方法です。
- モデルを使って疑似的に動作を再現する評価はシミュレーションで、実測とは区別されます。
- ステップ数やI/O回数などから処理時間を計算で求める方法は机上評価で、これも実測ではありません。
- 処理の条件をそろえて測定すると、異なるシステムの性能を公平に比べられます。
