楽天グループ横断のクリエイティブ専門組織であるクリエイティブデザイン戦略部(CRD)に所属する「Usability Assurance Team (ユーザビリティ保証チーム) 」は、楽天グループのプロダクトにおけるユーザビリティ品質を保証することを役割として活動しています。 

Usability Assurance Teamについて

その中で、楽天グループにおけるリリース前の新規プロダクト・大規模リニューアルプロダクトを対象に、ユーザビリティ品質を定性的・定量的に評価し、基準を下回るサービスは提供開始前に可能な限り改善する仕組みである、 Usability Assurance(以下UA)を、必須のプロセスとして運用しています。

楽天グループではUAを必須のプロセスとして運用している

2013年頃からUAの仕組み化を構想し始め、全社的に導入した現在では、以下の効果が生まれています。  

  • 年間平均40〜50のプロジェクト(テスト対象は年間平均240〜300名)でUAを実施するほどに普及
  • アプリストアのLow Rating App(3点以下のアプリ)は数年で激減し、UX向上によるビジネス成果(転換率・売上)も向上
  • 定量的な品質指標として採用している「SUSスコア」の楽天グループでの平均も年々上昇し、定期的に実施している顧客調査におけるプロダクトの使いやすさの満足度指標も改善傾向 
  • UAの結果はすべて経営陣に報告され、ビジネスにおける意思決定の判断基準の⼀つとされている

楽天グループという巨大な組織において、なぜこのような仕組みをつくったのか、どのような変遷を経て今の形になっているのか、ご説明したいと思います。 

前述の通り、UAはプロダクトのリリース前にユーザビリティ品質を保証する必須のプロセスです。楽天グループにおけるデザインガバナンスの観点から、以下2点を目的に実施しています。 

  1. ビジネスリスク : 機会損失の防止
  2. ブランドリスク : 批判的な評判のリスク軽減 

これらの目的に対し、UAの結果を測るために「ユーザビリティテストによる課題把握」に加え、「SUS (システム・ユーザビリティ・スケール) スコアの測定」を行っています。

SUSとは : 「ユーザビリティ」を測定・可視化する世界的な手法の1つ。ユーザビリティについて10の質問をし、100点満点で得点を計算する。データや数字が重要視される楽天の⽂化の中で、定性的な結果把握だけでなく、結果のスコア化+⽬標基準を定めることを目的に採用している。

UAは、要件定義からユーザビリティテストの実施・SUS測定、改善後の効果検証などの8ステップで構成されており、このようなプロセスを年間平均40〜50のプロジェクトで実施しています。 

現在は上記に加え、楽天グループのデザインシステム「ReX」を活用したデザイン段階でのUXレビューの導入や、“リリース後”のプロダクトにUAを実施する「Fundamental UA」という仕組みの導入など、徐々にその役割を広げています。

では、なぜこのような仕組みを楽天グループに導入することにしたのか。そのきっかけは2013年まで遡ります。 

楽天グループは1997年の創業以来、Eコマースをはじめとして、トラベル、フィンテック、スポーツなど多岐にわたるサービスを展開し、事業・組織ともに成長を続けてきました。 

楽天は多岐にわたる分野で70以上のサービスを展開し、グループサービス利用者数は2023年時点で18億を超えている。

新たな事業やサービスが次々と立ち上がりグループの成長が加速すると共に、世の中がPCからスマートデバイスの時代へと変化する中、各プロダクトのUXやプロセスを改善していく必要がありました。 

2013年当時はリリーススピード及び定量データを重視するカルチャーが強いこともあり、リリース後のABテストに基づく改善は行われていましたが、ユーザビリティなど顧客視点での定性的な評価や改善の取り組みはあまり行われていない状況でした。

2013年時点のユーザビリティ品質に対する状況

このような状況の中で、圧倒的な規模とスピードで事業を展開し、生活者を支える楽天のサービスがより使いやすくなっていけば、そのインパクトは極めて大きいものになる。このように考え、「楽天のUXを強化する」というミッションをもとに、グループ横断でUXを改善する仕組みと組織づくりに取り組み始めました。 

既に多数の事業が存在し、規模も大きな組織の中で状況を変えていくためには「何から始めるか (=どこに楔を打つか)」が重要な視点です。 

当時の状況は、いわば蛇口から川の水がそのまま流れ出てくる状態でした。大量に貯まった水を、後からろ過するアプロ―チでは限界があります。つまり、最初からろ過された飲料水(高品質なリリース)が生まれる状況を作る必要がありました。  

一方、デザインプロセスの過程で任意のレビューを行ったり、ガイドラインを作るだけでは、組織全体を変える効力を持つことはできません。そこで、リリース前に明確な根拠に基づいた品質のジャッジを必須で行い、改善を促す「強力なゲート」のような存在がまず必要なのではないかと考えました。 

この「強力なゲート」のような存在が、現在のUAの仕組みの原点です。そして、リリース前の品質保証という機会を楔として、楽天グループ全体でのユーザビリティ品質向上へと繋げることを目指しました。 

しかし、リリース前の品質保証の仕組みを安易に導入しようとすると、運用段階での形骸化やハレーションが起こる可能性があります。 

全社規模の仕組みとして定着させるには、それに耐えうる強さが必要です。そして、その強さをもたらすために必要なものが、「大義」「ルール」「基準化」の3つであると考えました。 

大義とは、「なぜこの仕組みが必要なのか」という質問に対して組織に所属する従業員全員が当事者として腹落ちできる理由です。ユーザビリティが、楽天グループのビジネスやブランドに対して極めて重要な課題であることを、あらゆる場面で示し続けてきました。 

一方、大義だけでは不十分であり、組織の中で運用可能なルールが必要です。ルールには正当性に加え、一定の強制力が求められます。そのため、UAのプロセスの細部に至るまで明確なロジックを示すと共に、楽天グループ規程にUA必須化の記述を追加するなどの工夫を行ってきました。 

また、ユーザビリティという定性的な概念を扱う場合、組織に所属する従業員全員が同じ基準で良し悪しを判断できなければ形骸化する可能性があります。そのため、基準化を徹底してきました。先述の「SUSスコア」による数値化や基準値の設定が、これに当てはまります。 


ここからは、2013年の構想開始から現在に至るまでの変遷を「立ち上げ期」「成長期」「成熟期」の3つのフェーズに分け、当時の状況や具体的な取り組み、生まれた変化をまとめていきます。 

初期は当然ながら、社内でも「UAの存在や必要性を知らない人が多い状態」です。 

そのため、まずは社内の様々なプロジェクトに向き合い、成果を出しながら周囲に価値を感じてもらい、地道に実績を築いていきました。 

一般的に理解が曖昧な“UX”という言葉はあえて使わず、社内の各事業部に寄り添ってそれぞれの事業課題を解決していき、結果としてUXの重要性や、UAの仕組みが必要であることを肌で感じてもらう、いわば草の根活動を重ねて行っていきました。 

立ち上げ期の状況について

立ち上げ期で重要であった施策の1つが「UX Research Room」の設立です。実績づくりを行うにあたり、お客様を理解する「仕組み」が必要と考え、社内にそのための場を作りました。 

UX Reserch Roomとは、実ユーザーを弊社内インタビュールームに招き、Webサイトやアプリを使っている様子を見させていただいたり、お話をうかがったりすることで課題発見や共感からサービス改善を行う場です。

UX Reserch Room設立後には、役員に声をかけ、実際に見学してもらい、顧客の反応を肌で感じてもらう「役員キャラバン」を実施。楽天グループ役員の参加率は70%を超え、顧客理解の必要性を実感いただいた事業のトップ層から現場従業員へと拡散していただきました。 

また、実際にUX Reserch Roomを利用した従業員から別の従業員へと評判が広がるなど、ボトムアップでの認知拡大も徐々に進んでいきました。 

例えば、「楽天トラベル」で行ったユーザーリサーチの結果をもとに改善することで、CVR(転換率)向上や史上最多のクーポン発行数など、実際にビジネス貢献へとつながった事例も次々と生まれていました。 

左 : 楽天トラベルの旧スマートフォン画面、右 : 変更後のスマートフォン画面 (2018年頃の施策)

このような環境整備と地道な実績づくりを通じて、UXの重要性やUAの必要性が徐々に浸透し、結果として社長承認を経て、楽天グループにおけるUAの必須化を発表しました。 

UA必須化を発表して以降、徐々にUAを実施するプロジェクトも増えていきましたが、依然「UAを実施せずにリリースしてしまうプロジェクトが複数ある状態」でした。  

UAは楽天グループのデザインガバナンスの文脈で実施しているため、UAが実施されずリリースされるもの ( 新規プロダクト・大規模リニューアル ) がある、またはそれらに気付けない状態は、仕組みとして不十分です。  

そこで、対象のプロジェクトにおいて漏れなくUAを実施できる体制に向けて、仕組みをアップデートしていきました。 

成長期の状況

そのための施策の1つが、楽天グループ規程にUAの必須化を掲載することです。 

楽天グループ規定は、グループ共通のルールであり、グループ企業理念検証や、価値観・行動指針である楽天主義、法令遵守、労働観光、情報セキュリティ、品質管理、サステナビリティなどの多岐に渡る分野をカバーする様々なガイドラインなどを含んでいます。 

既に社長の承認を得ていたUAの必須化を、楽天グループ規定の項目の1つとして追加することで、徐々にグループ全体で守るべきルールとして運用できるようになっていきました。 

また、経営陣からリクエストを受け、UAの結果をメールで報告する体制に変更しました。 

具体的には、UA実施後にSUSスコアや主な課題、今後の対応、詳細なレポートを報告するようにしており、これらの結果がビジネスの意思決定の際の判断基準の一つとされています。 

これによって、経営陣は管轄サービスのユーザビリティについて理解し、改善に取り組んでいるか確認できる体制を整えることができたことに加え、現場ではユーザビリティをビジネス上の重要な指標として捉え、改善に取り組みやすくなりました。 

このような仕組みづくりを経て、対象となるプロジェクトでは漏れなくUAが実施できる状態となると共に、目標とするSUSスコアを上回るプロジェクトも増加していきました。 

さらに、UA以前にデザイナーが自分たちでユーザビリティテストを実施するケースや、元々UXデザインチームが存在しなかったサービスでUXデザインチームを組織し始める動きも増えていきました。 

このような状況を踏まえ、さらに高い基準でユーザビリティ品質を担保できるように発展的な取り組みも増加させていきました。 

成熟期の状況

その1つが、ReX Design Reviewの導入です。 

ReX(Rakuten Experience)とは、より良いUXを提供できる仕組みづくりや、顧客志向の視点を楽天グループ全社に浸透させていく取り組みの総称です。その一環として、サービスにおけるデザインの構造化&品質統一化を効率的に行うためのデザインシステムを構築しています。 

このデザインシステムを活用し、優れたUXの基盤である「アクセスしやすい」「利用しやすい」状態を担保するため、デザイン段階でのレビュー体制を整備したものがReX Design Reviewです。 

ReX Design Reviewの概要
デザインレビューの例

このReX Design Reviewも、楽天グループ規定に必須のプロセスとして掲載されており、グループにおけるユーザビリティ品質を向上させる重要な仕組みとなっています。 

また、UXリサーチのテストユーザーのリクルーティングを効率化するために、従業員パネル制度を設立しました。従業員パネル制度の概要は以下の通りです。

  • テストユーザーとして協力してくれる従業員を募集できるメーリングリスト 
  • 楽天グループ入社時にメーリングリストに自動追加され、自分の意思でいつでも退会可能 
  • 2024年9月時点で、日本全国5万人程度の従業員(間接雇用を含む)が登録されている 

従業員パネル制度の設立以前は、CRD独自で従業員パネルを管理しテストユーザーを募集していましたが、全社規模の制度とすることで、UA実施時のリクルーティング効率化を実現するだけでなく、他部署でのリサーチ活動にも積極的に利用され、年間150件程度のメールが送信されるようになっています。 

リリース前の品質保証という楔を打つことから始め、大義・ルール・基準化を軸に、約10年間の試行錯誤を経て築き上げてきたUAの仕組みによって、冒頭に示した通り、以下の効果が生まれています。 

  • 年間平均40〜50のプロジェクト(テスト対象は年間平均240〜300名)でUAを実施するほどに普及
  • アプリストアのLow Rating App(3点以下のアプリ)は数年で激減し、UX向上によるビジネス成果(転換率・売上)も向上
  • 定量的な品質指標として採用している「SUSスコア」の楽天グループでの平均も年々上昇し、定期的に実施している顧客調査におけるプロダクトの使いやすさの満足度指標も改善傾向 
  • UAの結果はすべて経営陣に報告され、ビジネスにおける意思決定の判断基準の⼀つとされている

現在のUAはあくまで、楽天グループにおけるサービス開発の最後の砦として品質保証を行うことを役割としていますが、今後はさらに上流工程での品質向上に注力していこうとしています。 

例えば、先述のReXによるデザインレビューに加え、事業部側でUA以前にユーザビリティ改善を行える体制の整備や、サービスデザインプロセスに活用できるツールキットの開発、研修・トレーニング機会の設置など、徐々に施策の幅を広げています。 

UA以前のデザインプロセスで品質向上し、UAで品質保証する体制へ

さらに言えば、将来的に「UAは必要ない」と言える状態になることが理想だと考えています。 

つまり、楽天グループにおけるデザインプロセスが洗練された結果、UAを行う前段階からあらゆるリリースの品質基準が高いレベルで満たされている状態を目指しています。 

そのような状態に至るまでには、越えるべき壁も多く残されています。しかし、生活のインフラとなる数多くのサービスを展開する楽天グループにおいて、UAが必要なくなり、楽天グループの全サービスも使いやすく、安心して便利に使えるという状態となれば、人々の生活と社会に更に大きなインパクトを生みだせると信じています。 

このような未来を創造すること目指し、今後も活動を続けていきます。  

現在私たちは、共に楽天グループにおけるUsability Assuaranceの仕組みをさらに進化させていく仲間を求めています。興味のある方はぜひ、お気軽にご連絡ください。 

このデザイン組織をもっと知る