Article 2007 3 National Institute of Informatics (NII) Quality evaluation of embedded software in robot software design contest
(First author) ロボットソフトウェアデザインコンテストにおける組込みソフトウエアの品質評価
Hironori Washizaki, Yasuhide Kobayashi, Hiroyuki Watanabe, Eiji Nakajima, Yuji Hagiwara, Kenji Hiranabe, Kazuya Fukuda
Progress in Informatics
【抄録】A robot design contest, called the "Embedded Technology (ET) Software Design Robot Contest," which involves designing software to automatically control a line-trace robot, was held in Tokyo, in 2005. The contest was intended to provide a practical opportunity to educate young Japanese developers in the field of embedded software development. In this paper, we give the results of the contest from the viewpoint of software quality evaluation. We created a framework for evaluating software quality, which integrated the design model quality and the final system performance, and we conducted an analysis using this framework. As a result of the analysis, the quantitative measurement of the structural complexity of the design model was found to have a strong relationship to the qualitative evaluation of the design by the contest judges. On the other hand, no strong correlation between the design model quality evaluated by the judges and the final system performance was found. For embedded software development, it is particularly important to estimate and verify reliability and performance in the early stages, according to the design and analysis models. Based on the results, we consider possible remedies with respect to the models submitted, the evaluation methods used, and the contest specifications. To adequately measure several quality characteristics, including performance, in terms of a model, it is necessary to improve the approach to developing robot software (for example, by applying model-driven development) and to reexamine the evaluation methods. © 2007 National Instiute of Informatics.
【抄録日本語訳】2005年に東京で開催された「ETソフトウェアデザインロボットコンテスト」は、ライントレース型ロボットを自動制御するソフトウェアを設計するコンテストである。このコンテストは、日本の若手開発者に組込みソフトウェア開発の実践的な教育機会を提供することを目的としています。本論文では、ソフトウェア品質評価の観点から、コンテストの結果を報告する。設計モデル品質と最終的なシステム性能を統合したソフトウェア品質評価のフレームワークを作成し,このフレームワークを用いた分析を行った.分析の結果,設計モデルの構造複雑度を定量的に測定することが,コンテストの審査員による設計の質的評価と強い関係を持つことがわかった.一方、審査員が評価した設計モデルの品質と最終的なシステム性能の間には強い相関は見られなかった。組込みソフトウェア開発においては,設計・解析モデルに従って,初期段階で信頼性や性能を推定・検証することが特に重要である.この結果を踏まえ、応募モデル、評価方法、コンテスト仕様について、改善策を検討する。性能を含むいくつかの品質特性をモデルとして適切に測定するためには,ロボットソフトウェアの開発手法の改善(モデル駆動開発の適用など)や評価手法の再検討が必要である.© 2007 国立情報学研究所.