【ITニュース解説】ACP practice exams: one question, then all 2,990

システムエンジニアを目指す皆さんにとって、資格試験は知識を体系的に確認し、自身のスキルを証明する重要なステップだ。その準備で使う練習問題の品質は、学習効果に直結するため非常に重要となる。今回のニュース記事は、Atlassian Certified Professional（ACP）という認定試験の練習問題集が、いかにしてその品質を徹底的に向上させたか、その舞台裏と過程を詳細に説明している。品質向上のきっかけは、驚くべきことに、たった一人の受験者からの具体的な指摘だった。

ある受験者が、ACP-120という試験の練習問題に取り組む中で、問題文に誤りがあると感じ、運営チームに連絡を入れた。具体的に問題とされたのは、現在稼働している「アクティブなワークフロー」の編集に関する複数選択形式の問題だった。練習問題の模範解答では、「複数の遷移が既に存在するステータスに、新しい遷移を追加することはできない」とされていた。しかし、受験者はAtlassianの公式ドキュメントを詳しく読み解き、「それは誤りだ。古いワークフローエディターではできなかったが、新しいエディターでは可能な操作である」と指摘し、その根拠を明確に示したのだ。

運営チームが公式ドキュメントを再確認した結果、受験者の指摘が完全に正しいことが判明した。ドキュメントには、「ステータスに移行先がない場合、新しい移行先を追加できる」という記述があった。この記述は、新しいワークフローエディターで可能になった「機能の追加」、つまり「以前は不可能だった操作が、今ではできるようになった」という変化を説明するものだった。しかし、問題作成者は、この記述を誤って解釈し、「それ以外の方法での移行先の追加は禁止されている」というような、誤った制約条件として捉えて問題を作り出してしまっていた。言い換えれば、「サポートされている機能」を「唯一サポートされている機能」だと誤って認識していたのである。

このたった一つの誤りに関する報告は、運営チームにとって非常に大きな意味を持った。なぜなら、一つの問題にこのような誤解に基づく欠陥があるということは、同様の解釈ミスが、他の数多くの問題にも潜在している可能性を示唆していたからだ。「サポートされていることを、唯一のサポートとして捉える」という思考の癖が、他の問題作成過程でも無意識のうちに発生していたのではないか、と運営チームは考えた。そこで、彼らはこの一つだけの問題を修正するのではなく、ウェブサイト上に存在するACP認定試験の全2,941問を、改めて「受験者の視点」で徹底的に見直すという、極めて大規模な品質向上プロジェクトを開始した。

この包括的な見直し作業では、受験者が実際に問題を解く時と同じプロセスをたどった。まず問題文と選択肢だけを読み、その後で保存されている正解のキーと解説を確認するという手順だ。この綿密なチェックを通じて、一度読んだだけでは正解できないような曖昧な問題、複数の選択肢が正解に見えてしまう問題、解説が公式ドキュメントの情報源よりも広範なルールを教えてしまっている問題、さらには問題文自体が答えを暗に示してしまっているような問題など、多種多様な不正確な箇所が発見された。

特に頻繁に見つかった誤りのパターンは、最初に報告された問題と同じ性質のものだった。つまり、公式ドキュメントが「ある機能が何を行えるか」を説明しているにもかかわらず、練習問題ではその機能を「何が行えないか」という誤った制約として出題しているケースである。例えば、「〜の場合のみ」といった限定的な条件を示す修飾語が問題文から省略された結果、本来誤りである選択肢が正しく見えてしまうといった事態も発生していた。また、正解の解説が、元々の情報源で述べられている内容よりも広範なルールを教えてしまい、誤解を招く可能性も指摘された。運営チームは、このような誤りを個別に修正するだけでは根本的な解決にはならないと考え、関連する全ての問題を特定し、最新の公式ドキュメントと照らし合わせて修正するか、あるいは問題プールから完全に除外するかの判断を下していった。

さらに、この改修作業は極めて厳格なプロセスで行われた。一度修正された問題バンクは、実際にライブで運用されている、受験者がその日に受験する可能性のある現在の問題プールと、一つずつ丁寧に比較されたのだ。その比較の結果、運営チームは驚くべき判断を下した。修正された初期バージョンの中には、21問がライブ版の現在の問題よりも品質が低いと判断され、さらに120問については判断が保留されたのである。これは、問題を書き換える際に、本来誤りであった選択肢から限定的な条件を不用意に削除してしまったために、結果としてその選択肢が正しくなってしまったり、問題文を短縮したことで、複数の選択肢が正解となり、答えが一意ではなくなってしまったりといった問題が発生していたためだ。また、修正された問題文と、古い問題文の選択肢を前提とした解説との間で不整合が生じているケースも見られた。ウェブサイトの自動テスト機能は、問題プールの構造や採点ルールに関する技術的な整合性はチェックできるが、問題文の「意味」や「内容」の正確性までは判断できないため、このような品質の低下を見落としてしまっていたのだ。

このような状況を受け、品質が低いと判断された、あるいは判断が保留された合計141問は、一度全て差し戻されることになった。そして、これらの問題は、一つずつ現在の問題文と最新の公式ドキュメントに照らして再検証され、再度修正が行われた。その結果、121問が再修正され、20問は議論を重ねるよりも品質を優先し、最終的に問題プールから完全に削除されることになった。最終的な検証と比較の結果、ライブ版から133問が削除され、残りの1,389問は、問題文、選択肢、または解説のいずれかの形で変更が加えられた。しかし、最も重要な点として、これらの変更された問題において、本来の正解の選択肢そのものや、選択すべき選択肢の数は一切変更されていない。この徹底した品質管理により、もし受験者が前回と今回で同じ問題に遭遇した場合でも、問題文が改善されているか、あるいは問題自体が削除されているかのどちらかであり、正解が入れ替わってしまうという混乱は起こらないよう配慮されている。

この大規模な既存問題の改修に加えて、問題プールのさらなる充実も図られた。これまでの問題更新では、品質向上に伴い問題数が減少する傾向にあったが、今回は各試験に100問ずつ、合計で500問もの新しい問題が追加されたのだ。新しい問題の作成も厳格なプロセスで行われた。20問ずつのバッチで作成され、それぞれのバッチは独立したレビューアーが、正解キーや公式ドキュメントを一切見ずに「ブラインド」で解答するという手順を経た。レビューアーの解答と正解キーが一致しない場合や、複数の正解候補が見つかった場合は、その問題は直ちに書き直され、再度レビューされる。また、新しい問題が既存の問題と内容的に重複していないかどうかも慎重に確認され、単なる問題数の水増しではなく、試験範囲を効果的にカバーする質の高い問題となるよう配慮された。

これらの改修と新規追加の結果、ACP認定試験の問題プールは大幅に強化された。現在のACP-120は837問、ACP-220は751問、ACP-420は502問、ACP-520は468問、ACP-620は432問となり、合計で2,990問に増加した。これは以前の総問題数2,606問から大幅な増加となる。これらの質の高い練習問題はleanzero.net/certificationsで無料で利用でき、実際の試験と同じ問題数と時間設定で模擬試験を受けられるようになっている。

ただし、この品質向上プロジェクトにおいても、全ての製品の動作がJiraの実際の環境で検証されたわけではない点には留意が必要だ。コストと効率を考慮し、ほとんどの製品動作は最新の公式ドキュメントに基づいて確認されている。また、Atlassianの公式ドキュメント自体に矛盾する記述がいくつか存在する箇所がある場合、運営チームはどちらか一方の記述を独断で正解とせず、その問題は保留リストに入れられている。現在、5つの試験全体で451件の問題が保留リストにあり、これらの問題は曖昧さが解消されない限り、問題プールに追加されることはない。

今回の徹底した品質向上プロジェクトは、一枚の表計算シートや大規模なデータ分析から始まったのではなく、たった一つの問題に関する受験者の具体的な報告から始まった。その一通のメールが、同様のタイプの誤りが他の多くの問題にも存在する可能性を浮き彫りにし、大規模な改善へと繋がったのだ。そのため、運営チームは、もし練習問題に疑問を感じたり、誤りがあると思ったりした場合には、受験者に対して、その問題、自身が考える正解、そしてその理由を具体的に報告するよう強く呼びかけている。このような詳細なフィードバックこそが、練習問題の品質をさらに高め、全ての受験者の学習体験を向上させるための最も貴重な情報源となるのである。