[리뷰] 실리콘밸리의 실험실
in Review on Review, Book, 실험, 기업, 혁신, 비즈니스, 질문, 온라인, 성공, 조직, 예시, 적용, 학습, 성장
한국경제신문출판사의"실리콘밸리의 실험실(스테판 H. 톰키 저/안진환 역)"를 읽고 작성한 리뷰입니다.
과학 분야의 실험 체계를 비즈니스에 적용하는 방법 및 그 중요성을 연구한 결과를 담은 책으로, AI 시대에 각 기업들이 반드시 갖춰야 할 이 시대 기업가들의 필독서라 생각한다.
과학과 연구분야에서 활용되던 실험이 비즈니스 분야에 얼마나 이식되었는지, 어느정도로 이식되었는지, 그 효과는 어떠한지를 연구한 결과를 담은 책이다.
즉, 저자는 전통적인 방식의 의사결정에 있어 직관과 감이 중요했다면 달라진 현재의 비즈니스 의사결정에서는 철저한 실험 및 검증을 통해 객관적인 의사결정을 하는 것이 중요한 시대가 되었음을 주장한다.
실험을 바탕으로 한 결과를 극단적으로 보여주는 결과는 아래 그림과 같이 S&P500 기업의 주가 대비 실험 조직들의 주가를 예시로 들고 있다. 
2008년도 기준지수 100을 기준으로 이후 실험문화를 정착시킨 조직의 기업가치가 얼마나 빠르게 급상승했는지를 보여주는 자료이다.
책의 구성을 요약하여 설명하자면 실험하는 조직이 왜 중요한지가 궁금하다면 책의 초반부를 읽으면 되고, 도대체 실험하는 조직이 무엇인지 궁금하고 그 사례를 살펴보고 싶다면 중반부를 읽어보면 된다.
만약 이미 실험조직을 잘 알고 있어 이를 현재 근무중인 기업에 도입하고 싶다면 후반부를 읽으면 되며, 여전히 실험의 중요성에 의문이 든다면 가장 마지막 장을 읽을 것을 권하고 싶다. 저자는 저자의 주장에 반박하는 의견들에 대해 가장 마지막 장인 7장에 요목조목 반박하고 있다.
나의 경우는 실험 조직이라는 것이 도대체 무엇이며 구체적으로 어떻게 적용되고 있는지 그 자체에 대하여 잘 알지 못했기에 중반부를 가장 흥미진진하게 읽었다. 만약 나와 처한 상황이 같은 독자라면 프롤로그 및 3장을 가장 먼저 읽을 것을 추천하고 싶다.
이 책에 실험조직의 여러 사례가 등장하지만 - 심지어는 스포츠 팀의 예시까지 등장한다 - 가장 흔하게 등장하는 기업은 MS와 부킹닷컴이다. 참고로 부킹닷컴은 처음들어보는 독자가 있을 수 있을텐데 세계적인 숙박 예약 업체라고 알고 있으면 된다.
비즈니스 분야의 용어나 책에 상당부분을 차지하는 통계 용어는 관련 사전 지식이 없다면 조금 이해하기 어려울 수 있기에 이 책에 등장한 가장 쉬운 예제를 소개해보며 어떻게 비즈니스에 실험을 적용하는지 소개해 보겠다.
MS에는 구글과 같이 Bing이라는 검색 서비스가 존재한다. 국내에는 주로 구글이나 네이버를 사용하지만 최근 미국 시장 내에서는 Bing의 사용 점유율이 상당히 높아졌다.
여담이지만 최근 ChatGPT까지 등장하였고 개발 주체가 OpenAI이고 이는 테슬라의 자회사이기에 MS와 거리가 멀다 생각할 수 있겠지만 사실 이 기관은 MS가 독점 투자하고 있는 것으로 알고 있다.
만약 ChatGPT의 기능이 상용화되어 Bing에 탑재되고 MS의 혁신이 지금이상으로 이어진다면 검색엔진 시장의 지각변동이 찾아와 Bing이 구글의 위상을 뛰어넘을 가능성이 크다고 생각한다.
아마 그런날이 온다면 이 책에서 소개되는 실험이 무수히 가동될 것임은 자명하다. 지금 소개할 실험의 한 예시는 MS의 Bing 검색엔진 서비스의 사소한 변화를 실험한 것이다.
아래 그림을 보면 알 수 있듯 상단의 그림은 대조군으로 현재 상태를 의미하며, 하단의 그림은 실험군으로 광고 업체의 우측에 설명이 추가되어 제목이 길어진 형태로 실험한 예시화면이다. 
즉, 이는 널리 알려진 A/B테스트이다. 어떤 통찰에 기인한 가설을 세우고 그 가설의 결과 사실인지 실험하고 검증하여 사실인 경우 실험군으로 의사결정하는 방식이다. 
다만 이 예시는 독자의 이해를 돕기 위한 가장 쉬운 예시일 뿐 MS에서는 이미 1만 건도 넘는 이러한 실험이 진행되었고 이에 따라 최적화된 객관적인 결과가 의사결정으로 도입되었다는 것이 주목할 부분이다. 
참고로 위 Bing 실험의 아이디어는 수백가지 제안 중 하나였기에 엔지니어가 바로 반영하지 않았고, 다른 엔지니어가 6개월이 지나서야 반영하였는데 시스템의 경고가 울릴 정도로 급격한 매출의 상승을 유도한 혁신적인 아이디어였음을 나중에야 알게 된다.
이처럼 실험은 매우 중요하다. 이 아이디어가 중요한지의 여부는 인간의 직관으로는 정확하게 판단을 내릴 수 없기 때문이다. 만약 이 아이디어를 무시했던 엔지니어와 같은 판단을 하는 기업의 운명은 비즈니스 경쟁 사회에서 도태될 수 밖에 없게된다.
이것이 바로 저자가 강조하는 실험의 중요성이다. 그리고 어쩌면 이는 AI를 필두로 변화하는 세상에 각 기업에 요구되는 가장 기본적인 소양일지도 모르겠다.
AI역시 실험에서 비롯된 통계와 머신러닝 진영에 크게 영향을 받았다. 이 책에는 실험과 관련하여 통계와 관련된 설명이 책의 상당 부분을 차지한다. 즉, 아래와 같은 용어들이다. 
이 도표에 등장하는 P값은 귀무가설을 검증하는데 필수적인 개념인데 이 책에 역시 이를 명확히 이해하지 못해 의사결정에 실수를 저지르는 조직의 대표가 예시로 등장한다.
책을 번외로 ChatGPT의 등장으로 요즘 주변 일반인들 사이에서도 이제 앞으로 AI를 얼마나 잘 활용하는지가 관련 직무에 대한 지식이나 노하우보다 중요시되는 시대가 다가온다고 농담처럼 주고 받는다. 즉, 직무적합성의 판도가 뒤집히는 시대가 멀지 않은 듯 하다.
같은 맥락으로 AI의 근간은 상당부분 통계로 이루어져 있고 실험 조직이 가능해지기 위해서는 AI의 기본 소양이 매우 중요한 시대가 될 것 같다는 생각이 든다. 주변의 일상 시그널들도 그렇고 이 책의 저자도 그렇게 말하고 있기 때문이다.
또 하나의 사례로 자주 언급되는 기업은 부킹 닷컴으로 이들은 10여년에 걸쳐 실험 중심의 의사결정과 문화를 회사 전직원이 갖춰오게 되었다. 실험 중심의 문화와 구성원의 가치관 반영에 관심이 있다면 5장을 정독할 것을 권한다.
더불어 비즈니스 실험을 위해 반드시 던져야 할 질문 7가지는 2장에 담겨있다. 각 질문이 차지하는 위상이 크나 일일이 언급하기엔 리뷰가 너무 길어지니 본 표를 참고하기 바란다. 
흔히 S/W 분야를 필두로 강조되어왔던 애자일 문화나 MVP 기법 등이 역시 이 책에서도 강조된다. 팀뉴질랜드의 요트 경기라는 재미있는 사례로 이들은 민첩한 대응으로 24시간마다 실험하고 이를 의사결정으로 피드백한다. 
이는 실험을 올바르게 적용하는 방법 중 하나인데 이에 대해 관심이 있다면 후반부를 정독할 것을 권하고 싶다.
개인적으로는 내가 몸담은 조직에 회의적이고 내게 이런 프로세스를 적용할 수 있는 권한도 없기에 후반부는 좀 설렁설렁 읽었지만 조직 혁신을 위한 구체적이고 엄격한 검증들로 채워져있으니 변화를 원하는 리더들에게는 큰 도움이 될 것이라 생각한다. 
AI 도래에 따른 시대의 변화는 물론 이미 실험조직들이 달성한 비즈니스의 성과와 가치를 돌이켜보더라도 실험의 중요성은 더할나위 없이 중요하다 생각한다. 어쩌면 앞으로의 조직의 미래는 실험을 도입하는지 여부에 달려있다고 해도 과언이 아니라 생각한다.
이 책에는 실험 체계의 도입에 있어 철저한 검증을 바탕으로 한 저자의 연구결과와 인사이트가 담겨있기에 이 주제에 관심이 있거나 조직의 혁신에 활용하고 싶은 독자에게 강력히 추천하는 바이다.
