Web Service QA Meeting June-2018 第1部参加レポート #WebQA

はじめに

先日、以下の勉強会に参加してきました。

lifull.connpass.com

第1部では事前に決めていたお題を3つ、第2部では会場から募った質問に答える形式でした。

私は都合により、第1部しか参加できませんでした…。

※酒が入った状態で書いたので、途中、話した内容と違う可能性があります。その場合、指摘いただけると嬉しいです!

目次

お題1「0からQAチームを立ち上げるまで」

登壇者

モデレータ
  • 米山 允章(以下、米山)
パネリスト
  • 山本 健(以下、番長)

    • スライドの画像は韓国旅行のときにサングラスをかけた写真
    • 実際は怖くないです
  • 鶴岡 洋子(以下、鶴岡)

    • ビールが好きです
    • 緊張するんでビールを飲みながら話します

テーマを決めた経緯

  • 米山
    • JaSSTで質問を集めたときに、もっとも投票が多かった質問
    • ただし質問にたどり着かなかったため、今回行う

QAを立ち上げた経験は?

  • 番長

    • 最初のQAとして1人で入ることが多くて、出来上がったチームに入ったことがない
  • 鶴岡

    • 今いるユニファは0から立ち上げるところに関わった

立ち上げ当時の状況やロードマップはあるか

  • 鶴岡

    • 入社時の社員数は20名ぐらい、サーバーサイドのエンジニアが4名、CEOもプレイヤーでした。
    • プロセスの把握、改善点を見つけてカイゼンしていった
    • QAってどういうお仕事を説明した。
      • キャッチコピー「かゆいところに手が届くQA」と言ってた
    • チケットを書いてた
    • 定期リリースにしたい!と言ったりした
    • 要求分析していなかったので、想いを言ってた
    • 「QA」ってこんなもんすよと説明した
    • 社長がMTGしてたら、「話聞かせて」といったり
    • JIRAのステータスの管理をしたり
  • 番長

    • 会社の10人目、はじめてのQAスタッフとして入った
    • 海外赴任していたスタッフがQAのイメージを既に持っていた
    • 最初は既存のフローに入って、どんな価値観でやっているか把握した
    • どういうカイゼンをすればよいか考えた
    • 文化がない状態なので、何をしていくべきか考えてた
    • 立ち上げ時には要求されることがコロコロかわる
      • それに対応するようにしてた
    • ロードマップの話は難しいな
  • 鶴岡

    • ロードマップの話は特にしてなかった
  • 米山

    • 0から立ち上げるのは不安なのかなと思ってた
    • これを聞いてみんな安心するのではないか

立ち上げ時に意識するべきこと。最初の一人に求められるスキル、人間性、経験

  • 鶴岡

    • QAとは何をするべき人なのか色んな人に伝える
      • QAはエンジニア以外にもかなり多くの人とかかわる
    • QAの価値を伝える
  • 番長

    • QAに対する意識がバラバラ
      • 以前に良いQAとか関わっている人は良い
      • 悪いQAに関わった経験がある人は「何だよ」と思って接してくる
    • フレンドリーに接することが大事
    • 最初は良い印象を持っている人と仕事していくことで、「なんだ、QAがいるあのチームいいじゃん」と周りが気づき始める
  • 鶴岡

    • 困っている人を見つけて、どんどん助けていく
  • 番長

    • プレスリリースを書いたりもした
      • リリースされたものの要件を知ってるから書きやすい
      • 既に出ていたプレスリリースを真似して書いた
  • 米山

    • プロダクトがローンチしたあとに入った場合は?
    • ローンチしたあとに入ると辛いのでは?
  • 番長

    • 遅らせる=悪となってしまうので、スピードは大事
    • これぐらい時間がほしいです、という話を予めしておくようにした
  • 米山

    • 2人目のQAはどういうタイミングでどういう人を選ぶ?
  • 鶴岡

    • 自分一人で回らなくなったタイミングで
    • 自分と真逆の人を選んだ
  • 米山

    • 真逆の人だと働きづらいのでは?
  • 鶴岡

    • 全然そんなことない
    • 自動化とかやってくれて助かってます
  • 番長

    • スキルとかばらして集めたほうが良い
    • ただどんなスキルであれ、献身的な態度の人が良いと思う

立ち上げが好き?立ち上げたら次に行きたくなる?立ち上げ中毒?

  • 番長

    • その話は転職芸人で…(笑)
    • さんざん悲劇に襲われていて、仕方ない感じで入る
    • 短くても4年ぐらいはいる
    • 立ち上げ時は、文化や自分が良いと思った体制を組めるのが楽しい
  • 鶴岡

    • その分勉強をする必要がある
    • 自分の理想としているQAができる
    • 私の場合は、立ち上げちゃったら抜けづらくなった
      • 責任感が出てきた
    • 中毒というわけではない

100人規模の大きい組織でQAをゼロから立ち上げるときに意識すべきことは?

  • 番長

    • きっとお金は稼げているプロダクトなので、きっとQA役になっている人がいるはず
    • おそらくQA役となっているであろうディレクターさんに「これは私がやるので」と言ってみる
  • 鶴岡

    • それまでQAがいないということは、QAの価値を上の人が分かってない可能性がある
  • 番長

    • いろいろと社内事情がつらそう…

グローバルの立ち上げで意識したほうが良いことは?

  • 番長

    • 一回関わったが、お互いの国のやり方に触らないようにした
  • 米山

    • 弊社もそうです
  • 番長

    • QAは細かい単位で入らないといけないので、「グローバルで一つの基準を作りましょう」は厳しい

最後に、立ち上げに入ろうとしている人にアドバイス

  • 鶴岡

    • 公の場では言えないことも多いので飲みに行きましょう
  • 番長

    • 辛くなったときにリセットボタンを押して、リフレッシュできるようにしておきましょう

お題2「キャリアプランとビジョンについて」

登壇者

モデレータ
  • 米山 允章(以下、米山)
パネリスト
  • 山本 久仁朗(以下、くにお)

    • いろいろ転職しているが、嫌で転職しているわけではない
  • 柿崎 憲(以下、柿崎)

    • ここにいる3人は転職を多くしている
    • お酒が2本目に突入しているので、いろいろ楽しいことになるかと思う
  • 山本 健(以下、番長)

テーマを決めた経緯

  • 米山
    • JaSSTで質問を集めたときに、キャリアに関する質問が多かったため

QAエンジニアのキャリアパスはどういうものがあるか?

  • 米山

    • QAメンバー → QAリーダー → 品質保証マネージャ → その後は?
    • CQOがまだ浸透していない気がします
  • くにお

    • うちの会社ではCTOになれる人材を作ろうとしている
    • 同様に、QAとかQCとかのスペシャリストができる人を作った上で、トータル的にデキる人を作りたい
    • 自動化などのエンジニアリング寄りもできる人を作りたい
    • ISTQBでもいろいろなドメインがあるので、そういう方向もあると思っている
  • 番長

    • だんだん、位があがっていくと、日本を考えると難しい
    • 自動化は流行っているし、マネージャが一段落した印象
    • いろんなポジションをできるほうが幸せだと思う
  • 柿崎

    • 僕はすでにCQOみたいな位置で仕事している
    • Web系に来たんだったら、キャリアパスって関係ないでしょ
      • てめーでつくれよ
    • いろいろ考えてみたが、どんどんステップアップしていくときって、人に対する影響範囲が広がっていく
      • それが一つのキャリアパスの形
      • マネジメント寄り、ビジネス寄りの話
    • QAエンジニアと名乗る以上は、技術を語れるようになるべき
    • 人数の規模が自分のキャリアパスを構築している
    • テクニカルであれば、新しいテスト技術を作って変えていくという方法もある

今のキャリアを想像していましたか?今後のキャリアプランを教えてください

  • くにお

  • 番長

    • 今は47
    • もともと別の業界を目指していた
    • もともと美術系の大学で、画家になろうと思っていた
    • 面白いものに関わっていきたい
  • 柿崎

    • 今のキャリアは全然想像していなかった
    • 20代後半まではチンピラのような仕事をしていた
    • 初めて品質保証に関わったのはSCEのとき
    • ソフトウェアテスティングの技術を教えてくれた人がいた
      • すごい運が良かった
    • その後はWeb系のテスターに入ったり
    • mixiに入ったあとは良い出会いが多かった
      • 人に会いに行く姿勢を教えてくれた人がいる
      • 今日誘ってくれた人に会うこともできた
    • 出会いの中でできたと思っている
    • 計画的偶発性理論
      • 人のキャリアの8割は偶然起きたことの結果
    • キャリアと考えると10年先とか考えることが多いと思うが、今を考えるべき
    • 新しい機会があったら実現する
      • こういうテスターになると思っていれば、それに強いひとに会いに行けば良いのでは
      • 自分が気づけなかった自分に気付ける
    • 中小企業は後継者不足で潰れることが多い
      • 変な中小企業を買って再建したい

キャリアパスに正解はないと思うが、どんなふうにメンバーに見せたらいいか悩んでいる

  • くにお

    • 転職繰り返しているので気づいていると思うが「無理をしない」ことが大事
    • 楽しく思える現場で楽しくやるのが一番大事
    • 納得する場所で楽しくやっていれば、下の子も楽しんでやってくれるのでは
  • 番長

    • Webの世界は面白すぎて悩む必要がない
    • 美術だとお師匠さんが引退しないとやれる機会が少ないので…
  • 柿崎

    • エンジニアの場合はゴリゴリプログラミングをやることになる
      • プログラミングをやらないとぼんやりする
    • Webディレクターにも同じような悩みがある
    • テクニカルな解決方法を教えることでキャリアアップになる
    • 内発的動機ができれば、キャリアアップできる
    • 「お前が歩いたところがキャリアパスだ」となる
    • どういう風に見せればよいかというと、一緒に悩む
    • 真摯にテクニックを教える
    • あとは「俺の背中を見ろ」と
  • くにお

    • 来た人には教えるが、来ない人には教えない
      • ROIが悪いので
    • みんなを救う気はない
    • やる気のある人は救いたい
  • 柿崎

    • 自分のところだと運良くみんなやる気がある

エンジニアからマネジメント側に移った時、大変でしたか?

  • 米山

    • 準備しておいたほうが良かったこととかありますか?
  • 柿崎

    • エンジニアとマネジメントはまったく別のスキルセット
    • 「マネージャよろしく」って言った瞬間にみんな潰れる
    • テクニックと別の部分がある
      • ぶっちゃけ、顔も見たくないやつと1on1をしなくちゃいけない
      • 裏でなにか言ってるやつにやらせなくちゃいけない
    • 「モチベーションを上げるとかわかんねえよ」とか言ってる
  • 番長

    • マネジメントに移るときは、部下の評価ができる権限をちゃんと貰ってください
    • 褒めたのに評価が上がらないとかのズレが…
  • 柿崎

    • 今まで、なんかあったんですね…

キャリアに対して悩める志士へ一言

  • くにお

    • 過去のスライドにキャリア3部作を作ったので、それを見てください
  • 番長

    • いちいち悩んじゃいけません
  • 柿崎

    • いろんな人に興味を持って会いに行きましょう

お題3「テストの生産性ってどう見てるの?」

登壇者紹介

モデレータ
  • 小山 竜治(以下、コヤマン
    • 半年前にfreeeへ
    • 今までは組み込み系とかをやってた
    • イケメン(中野さん)とタメ
    • JSTQBの公認講師
    • テスト自動化研究会でAutomaterのスキル基準のリーダー
パネリスト
  • 柿崎 憲(以下、柿崎)

    • QAテストの力が会社のインパクトに影響するを証明したい
    • サイバードの業績が出ているので、見ていただきたい
    • V字回復している
    • 社長が変わったのもあるかもしれないが、私の力です
  • 菅原 史晴(以下、菅原)

    • 34歳
    • QAテスト歴11年
    • 内製サービスのQAをやってる
  • 中野 直樹(以下、中野)

    • ししゃもが好きです
    • この瞬間まで乾杯を我慢してた。かんぱーい!

テーマを決めた経緯

  • ヤマン
    • 今回の参加者のうち、今年のJaSST'18 TokyoのWebJaSSTのセッションに参加した人は、全体の1/3ぐらい
    • 今回のテーマの質問があったが、投票が少なかった
    • JaSST'18 Tokyo終了後、中野さんも良い質問だと気づいた
      • 気づくのが遅いけど
    • DevOpsでスピードを求められる中で、テストがイケてるか考えると、旧来のだと重すぎる
    • それでもテストをしているというのは、テストに価値があると思っているからやっているはず
    • 何かしらの工夫をしているはず
    • 価値の証明ができないので、プロセスに入れましょう→重くなる、面倒になる
    • Web系ならではの工夫をもって証明しているはずだ
    • 僕が聞きたいんで、この質問を選んだ。

中野さんの場合

  • ヤマン

    • まずは中野さんに聞きたい
    • 何らかのメトリクスや説明資料を使っているのでは?
  • 中野

    • 「イケメン」をいじってるよね(笑)
    • 基本的に計測しているのは、
      • 本番での障害件数
      • 自動テストがきちんと要件を満たした状態で動き続けているか
      • リリース件数
    • Web系はテストを丸受けすることがない
    • テストのプロジェクトはものすごいインパクトがある
    • 技術的な指導だったりする
  • ヤマン

  • 中野

    • とっている
  • ヤマン

    • 金額とか、工数に換算している?
  • 中野

    • 一時やっていたが、今は止めてる
    • ビジネスアウトカムをQAのしごとにしちゃうと、儲かるプロダクトに関わっていれば良いことになってしまう
    • 納品していて、QAのおかげでお金になったとハッキリ分かればよいが、正直遠い
    • 腹落ち感が低いので止めた
    • 自分が携わっているプロダクトの場合、1年周期で波があり、障害件数も波があるので、昨年対比で見ている

柿崎さんの場合

  • 柿崎

    • お金を見てます
    • テストにどれぐらいの工数がかかってとか、プロダクトの比率とかも見てる
    • 単体でだけでなく、プロダクトとしてのコンディションを見るためにお金を見ている
    • サイバードはゲーム会社なので、お金がどれぐらい使われていてというのは今までは見てなかった
    • 欠陥の検出率も重要
      • 社内と本番の比率とか
    • Unitテストのカバレッジも見てたり
    • ありとあらゆるメトリクスを見てる
    • あとからどうやって考えるか大切
      • リリース後の故障発生率を経営陣に示したり
    • 定性的な話で言えば、品質の危機(メンテまつり)とかあって、ポシャったゲームもあった
    • 必ずしも信頼度成長曲線が正解ではないが、それらしいものを見せることができる
    • 今もそれは継続している
    • どっちかというと絶対値ではなく継続してみている
  • ヤマン

    • 柿崎さんらしく真面目な回答ありがとう
    • 売上が上がったって「ゲームが面白いからじゃん」と言われそう
  • 柿崎

    • 純粋に僕がガバナンスを効かせたら、リリース後直メンテに入る状況が止まった
    • 新規リリースの場合、こういう世界が来ますよ、というのが信頼度成長曲線を使って説明できた
    • OKとかNGとかを説明できた
  • ヤマン

    • バグの重要度とかリスクカバレッジとか考えて、リスクの高いものを優先的に取り除くようにしていた?
  • 柿崎

    • メンテ入りバグの変化をとってた
      • 新規リリースしたあと、メンテの事態になるまでの時間
    • メトリクスはシンプルなものを継続的に取るのが大事
    • パーンと数値が跳ね上がるのを気づくのが大事

菅原さんの場合

  • 菅原

    • メルカリだと、3つのプロダクトがある(アメリカ、イギリス、日本)
    • 私は日本のメルカリのオートメーションQAチームに居る
    • 日頃、E2Eの自動テストや、システムテストのインフラ部分を担当している
    • 特に生産性を測ることは具体的には今の所何もしてない
    • 何かを測る時、計測の仕方、入力をするという行為自体が生産性を落としている
    • マネージャのための仕事が一番イヤだなと思っている
    • 日本のメルカリのオートメーションQAではクラッシュ率とかはやってない
    • それをやっているんだったら、自動化とか、そういう勉強をしている
  • ヤマン

    • 捉え方によっては「自分がやっていることが正義」のように聞こえる
    • 対外的にどうやって自動化を説明している?
  • 菅原

    • 考えたことがない
  • 柿崎

    • あのさー
    • メルカリさんはスクラムして、お客さんに価値のある取り組みをやっているはず
    • テストの生産性をテストだけで考えるのはおかしい
    • テスト単体だけでなく、例えばお客さんに刺さる機能を作り上げるのならば、できるだけ多くのことを挑戦しているはず
    • ベロシティをやっていないの?
  • 菅原

    • 今のところではやっていない
    • プロジェクト開発の生産性というか、より無駄なことをしないような取り組みはしている
    • 一般な開発だとプロデューサーとかいろいろな人がかかるが、アサインするということが無駄だなと思っている
  • 柿崎

    • そうじゃなくて、お客さんにどれだけの価値を提供しているか考えるべき
    • アサインは直接的ではない
    • それでチームのアウトプットを考えないと

お題3まとめ

  • ヤマン
    • 続きは第二部や懇親会ということで…
    • まとめると「腹落ち」と「シンプルな指標にすること」は大事だなと思った

感想

  • 立ち上げるにしても転職するにしても、自分なりのQAとしての動き方を持つことは大事だなと感じた
    • それも1つに固執するのではなく、その状況を見ながら。
  • さらにそれを哲学としてではなく、他の人にも説明できることも大事だなと思った。