テスト設計コンテストについて世界に発信した10年前のブログ

10年前（2014年）に、当時勤めてた外資系企業のサイトでブログを書く担当になって３本掲載されたのだが、そのときの１本目の記事の原稿が見つかり、読み直すとすごくいいこと書いてあるので、掲載します。（ブログサイトは既に見れなくなってます。）

外国の人にテスコン紹介する時に使ってください！

Test design contest - The trend of software test design in Japan

The biggest conference for software testing in Japan is JaSST (Japan Symposium on Software Testing) held by the Association of Software Test Engineering (ASTER) which is a NPO that promotes software testing in Japan. JaSST is held eight times a year in various locations throughout Japan. The largest of these conferences was held in Tokyo this March with 1,600 visitors. Conference events included introducing the latest testing trends in Japan, speeches by well-known test researchers and consultants, and the introduction of new published papers.
 
One of the events at JaSST Tokyo 2014 was the "Test Design Contest - Final Match, 2014” also hosted by ASTER. I was on the panel of judges for this contest and would like to tell you about it in this blog.
 
In this contest, the competing teams performed test analysis and design using the test basis that the host of the contest provided. Test basis means all of the documents from which the requirements of a system under test can be inferred, and on which the test cases are based. The contest consists of regional matches and a final match. The competing teams submitted artifacts about one month before the regional matches. Regional matches involved evaluation of an analysis method, a design method, and the quality of derived artifacts, and then a presentation. The teams that win the regional matches move onto the final match. The final match also involves evaluation of the derived artifacts and a presentation.
 
A similar contest was held in the past in which teams competed on the number of defects found in testing, but there were several challenges with this approach. Participants of the contest were unable to see:

•  if the test analysts had the right perspective to analyse the test basis,

• if the artifacts of test analysis were well arranged for the following phase of test design, and

• if the test design techniques were applied appropriately based upon the analysis.

At the contest, the judges only focused on the number of defects found by the teams, and not on the artifacts of test design. This time, at the Test Design Contest, artifacts of test analysis and design are the main focus of the judges. This is what makes the contest unique and interesting.

I am not familiar with the culture of other countries, but in Japan, test analysis and test design artifacts are seldom produced in development projects.Engineers who receive test case documents will not know how the test cases were designed and from where they were derived. Test designs then tend to remain within the designer’s head. By showing test designs to each other at the contest, we would like the participants to increase awareness that software testing is an engineering activity which requires an analysis and a design. It also provides an educational opportunity for software testing engineers regarding software test design that can improve their technological skills. These are the overall aims of the contest.
 
A record high of 27 teams entered in this year’s contest. Seven teams made it through the qualifying rounds and individually presented their test designs to the judges in the final round.
 
This time, the test basis subject was vending machine software. Each of the seven teams at the final had their own unique ideas; there was a team which designed tests focused on product and testing stakeholders, a team that designed tests by investigating quality characteristics and defects in the past, and a team that started a test design after arranging the functions of the product. Though the test object is the same, there are so many ways to approach it. The quality of the test design of the teams which made it to the final round was of a very high level, and the upward trend of the maturity of test design in Japan was clearly evident.
 
The artifacts of the teams that made to the final are available at this report site. This website is only in Japanese, so I will explain the product features of each team briefly in my next blog.

日本語に翻訳するとこんな感じ

この記事を公開したときに、FBで、今は同僚の上村さんが「日本語でなんて書いてあるの？」ってコメントしたら、榊原さんが「訳したよー」って日本語訳をコメントにのせてくれました。以下の日本語訳はそのコメントから持ってきてます。
---------------

ソフトウェア・テストに関する日本で最大のカンファレンスが、ソフトウェア・テストを推進するNPO法人ASTER（ソフトウェア・テスト技術振興協会）が主催するJaSST（Japan Symposium on Software Testing）だ。JaSSTは日本各地で年8回開催される。中でも最大のカンファレンスがこの3月に1,600名の参加者を集めて東京で開催された。各地の開催イベントでは、国内の最新テスト・トレンドの紹介や著名なテスト研究者やコンサルタントの講演、および新しく公開された論文の紹介などを含む。

JaSST Tokyo 2014におけるイベントの1つに、同じくASTERが主催の「テスト設計コンテスト 2014」の決勝があった。筆者はこのコンテストの審査員の一人として登壇したので、その内容を当ブログにてご紹介したい。

当コンテストでは、コンテストのホストが提供したテストベースを使用し、競合するチームがテストの分析と設計を行った。テストベースとは、その内容からテスト対象のシステムの要求を推測可能で、かつテスト・ケースの基となる全文書のことだ。コンテストは地方予選と決勝戦という形式をとり、各チームは地方予選の約1ヶ月前に成果物を提出した。地方予選では、分析手法、設計手法および成果物の品質、それらを説明するプレゼンテーションが評価された。地方予選を勝ち抜いたチームは決勝戦に進み、決勝戦でもまた成果物の品質とプレゼンテーションが評価される。

過去にも、テスト中に発見した欠陥の個数を競う同様のコンテストが開催されたことがあったが、この方式にはいくつかの課題があった。コンテストの参加者が、以下のような事柄を把握する事ができなかったのだ。

- 各チームのテスト・アナリストがテストベースを正しい見方で分析したか

- テスト分析の成果物が続くテスト設計のフェーズ向けにうまく整理されているか

- テスト設計の技法が分析に基づき適切に適用されているか

そのコンテストにおいては、審査員は各チームが発見した欠陥の数にのみ注目し、テスト設計の成果物をかえりみることはされなかった。今回、テスト設計コンテストにおいては、テスト分析とテスト設計の成果物こそが審査の主眼点である。これこそが、コンテストを独自で興味深いものにしている理由だ。

筆者は外国の文化に精通しているわけではないが、日本においては、テスト分析とテスト設計の成果物はほとんどのプロジェクトで作成されずじまいである。テスト・ケースの文書を受け取った技術者は、それらのテスト・ケースが何をもとにして設計されたのか知るすべがない。テスト設計は設計者の頭の中に留められる傾向があるのだ。コンテストにおいてテスト設計を互いに見せ合うことで、我々は参加者に対して、ソフトウェア・テストは分析と設計を必要とするエンジニアリング活動の一つであるという認識を高めてもらいたいのだ。また、コンテストは、ソフトウェア・テスト設計に関わるソフトウェア・テスト技術者のための教育機会を提供し、彼らの技術的スキルを向上させることができるのである。これらがコンテストの主な目的だ。

今年のコンテストには過去最高となる27チームものエントリーがあった。7チームが予選を勝ち抜き、決勝戦において審査員を前にして個別に自分たちのテスト設計をプレゼンテーションした。

今回、テストベースの題目は自動販売機のソフトウェアであった。決勝に進んだ7チームはそれぞれ独自のアイデアを持っていた。製品とテストの利害関係者に注目しテスト設計を行ったチームや、品質特性と過去の欠陥の調査をとおして設計を行ったチーム、製品の機能を整理した後にテスト設計を開始したチームなどがあった。テストの対象が同じであっても、どのようにアプローチするかは千差万別だ。決勝戦で実践された各チームのテスト設計の品質は非常に高いレベルであり、日本のテスト設計の成熟度が増していることがここに明白となった。

決勝進出チームの成果物はこちらの報告サイトで公開されている。このサイトは日本語での記述しかないので、私は各チームの成果における特徴を次回のブログで解説しようと思う。

---------------

当時の思い出

このブログサイトにブログを書くように推薦してくれたのは当時の上司のベンでした。ブログ運営の人とのやり取りも全部英語で、結構大変でした。原稿はもっとたくさん書いたのですが、掲載されたのは結局３本だけでした。あとはボツになった。

提出原稿

こういうWordファイルに書いて提出するんですけど、ここまでの間に何回もレビューがあって、ネイティブの人が事細かにチェックしてくれるので、読める英語になりました。

レビューコメントたくさんついてる状態

英語の記事でテスト設計コンテストを題材にしたのは、それこそにしさんと話してて、外国の人にももっとテスコン広めたいよねーってなったのがきっかけです。

英語のブログサイトに投稿すると非常に多くの人に読んでもらえるって言うことも知りました。この記事で2万以上のアクセスがあったと思います。（それでもダントツすごいとかではなく、他のいろいろな記事と同じレベルです）

ベンはいろいろなチャンスをくれた人で良い経験をさせてもらいました。研究論文書くときも率先してレビューしてくれたのもいい思い出です。

しかし、こう言うの見返すと、英語でなんかやること大事だなって思い直しました。がんばろうっと。