게임을 시작해볼까?
당신은 주식 투자를 할 때 어떤 기준으로 결정을 내리는가? 재무제표를 분석하는가, 차트를 들여다보는가, 아니면 뉴스와 커뮤니티의 분위기를 따라가는가? 어떤 방법을 쓰든 한 가지 불편한 진실이 있다. 지금 이 순간에도 수백만 명의 투자자들이 당신과 정반대의 결론을 내리고 있으며, 그들 역시 나름의 근거를 가지고 있다는 것이다.
주식 시장은 단순한 ‘좋은 기업 고르기’ 게임이 아니다. 그것은 수많은 참여자들이 서로의 행동을 예측하고, 예측에 대한 예측을 다시 예측하며 맞붙는 거대한 전략 게임이다. 그리고 이 게임의 구조를 수학적으로 분석하는 학문이 바로 게임이론(Game Theory)이다. 1994년 노벨 경제학상을 수상한 존 내쉬(John Nash)의 이름을 딴 ‘내쉬균형’부터, 포커 고수들이 쓰는 GTO 전략, 버블과 폭락을 반복하는 시장 심리까지 — 게임이론은 투자의 세계를 완전히 새로운 눈으로 보게 해준다.
이 글에서는 게임이론의 핵심 개념부터 시작해, 도박과 주식 투자에 어떻게 적용되는지, 그리고 실전에서 바로 써먹을 수 있는 전략적 사고법까지 차근차근 풀어나간다. 게임의 규칙을 아는 사람과 모르는 사람의 차이는 생각보다 훨씬 크다.
1. 게임이론이란 무엇인가?
게임이론(Game Theory)은 서로 영향을 미치는 의사결정자들 사이의 전략적 상호작용을 수학적으로 분석하는 학문이다. 단순히 체스나 포커 같은 ‘게임’만을 다루는 것이 아니라, 기업 간 경쟁, 군사 전략, 협상, 그리고 금융 시장에서의 투자 결정까지 모든 전략적 상황에 적용된다.
게임이론은 1944년 수학자 존 폰 노이만(John von Neumann)과 경제학자 오스카 모르겐슈테른(Oskar Morgenstern)이 공저한 『게임 이론과 경제 행동(Theory of Games and Economic Behavior)』에서 체계적으로 정립되었다. 이후 1950년 존 내쉬(John Nash)가 ‘내쉬균형’ 개념을 발표하면서 현대 경제학과 투자 전략의 근본적인 분석 도구로 자리 잡았다.
💡 핵심 개념: 게임이론은 ‘합리적인 참여자들이 서로의 행동을 예측하며 자신의 이익을 극대화할 때 어떤 결과가 나타나는가?’를 연구한다.
게임이론의 핵심 구성 요소
| 구성 요소 | 설명 |
|---|---|
| 참여자(Players) | 의사결정을 내리는 개인, 기업, 또는 집단. 주식 시장에서는 개인투자자, 기관투자자, 외국인 등이 해당된다. |
| 전략(Strategy) | 각 참여자가 선택할 수 있는 행동의 집합. 매수·매도·보유 등의 투자 결정이 전략에 해당한다. |
| 보수(Payoff) | 각 참여자가 특정 전략 조합을 선택했을 때 얻는 결과(수익 또는 손실). |
| 정보(Information) | 각 참여자가 알고 있는 것. 완전정보 vs 불완전정보 게임으로 나뉘며, 주식 시장은 대표적인 불완전정보 게임이다. |
2. 투자자가 반드시 알아야 할 게임이론 핵심 개념
내쉬균형(Nash Equilibrium)
내쉬균형은 모든 참여자가 상대방의 전략을 주어진 것으로 간주했을 때, 어느 누구도 자신의 전략을 일방적으로 바꿀 유인이 없는 상태를 말한다. 주식 시장에서 내쉬균형은 매우 중요한 의미를 가진다.
예를 들어, 시장의 모든 참여자들이 특정 주식이 ‘적정 가격’에 거래되고 있다고 판단하는 상황을 생각해보자. 이때 어떤 투자자도 지금 가격에서 매수나 매도로 추가 이익을 얻을 수 없다고 인식한다면, 이 가격 수준이 바로 내쉬균형 상태이다. 효율적 시장 가설(EMH)의 배경에는 바로 이 내쉬균형 개념이 깔려 있다.
죄수의 딜레마(Prisoner’s Dilemma)
죄수의 딜레마는 게임이론에서 가장 유명한 모델이다. 두 참여자 모두 협력하면 최선의 결과를 얻을 수 있지만, 개인 합리성의 관점에서는 배신이 우월 전략(Dominant Strategy)이 되어 결국 둘 다 손해를 보는 상황을 설명한다.
주식 시장에서 죄수의 딜레마는 매우 빈번하게 발생한다. 대표적인 사례가 바로 공매도(Short Selling) 경쟁이다. 특정 종목에 공매도 세력이 몰릴 경우, 개별 공매도 투자자들은 서로 청산 시점에 대한 정보가 없기 때문에 모두가 손해를 보는 상황(숏 스퀴즈)이 발생할 수 있다.
📌 실전 적용: 2021년 게임스탑(GameStop) 사태는 전형적인 죄수의 딜레마 붕괴 사례다. 개인 투자자들의 집단 행동이 공매도 세력의 내쉬균형을 깨뜨리며 숏 스퀴즈를 유발했다.
반복 게임(Repeated Game)과 팃포탯(Tit-for-Tat) 전략
단 한 번만 이루어지는 1회성 게임과 달리, 반복 게임에서는 참여자들이 서로의 과거 행동을 학습하고 미래를 고려하여 협력적인 행동이 등장할 수 있다. 팃포탯 전략은 ‘처음에는 협력하고, 이후에는 상대방의 이전 행동을 그대로 따라 하는’ 전략이다.
주식 투자에서 반복 게임의 개념은 장기 투자자와 단기 투기자의 행동 패턴 차이를 설명해준다. 장기 투자자는 기업과 시장과의 반복적인 상호작용을 통해 신뢰를 쌓고 안정적인 수익을 추구하는 반면, 단기 투기자는 1회성 게임처럼 행동하여 시장 변동성을 높이는 역할을 하기도 한다.
제로섬 게임 vs 포지티브섬 게임
제로섬 게임(Zero-sum Game)은 한 참여자의 이익이 반드시 다른 참여자의 손실을 의미하는 구조다. 반면 포지티브섬 게임(Positive-sum Game)은 참여자 모두가 이익을 볼 수 있는 구조다.
도박은 전형적인 제로섬 게임이다(실제로는 카지노 수수료 등으로 마이너스섬에 가깝다). 반면 건전한 주식 투자는 포지티브섬 게임이 될 수 있다. 기업의 성장과 이익 창출이 주주 모두에게 돌아가기 때문이다. 이것이 도박과 투자를 게임이론적으로 구분하는 가장 본질적인 차이점이다.
3. 도박과 게임이론: 확률을 아는 자가 이긴다
카지노 게임의 게임이론적 구조
도박에서 게임이론을 이해하면 왜 장기적으로 카지노를 이길 수 없는지가 명확해진다. 블랙잭, 룰렛, 슬롯머신 등 모든 카지노 게임에는 ‘하우스 엣지(House Edge)’라는 구조적 불평등이 존재한다. 이는 카지노가 항상 우월 전략을 보유한 상태에서 게임이 진행된다는 것을 의미한다.
예를 들어 유럽식 룰렛의 하우스 엣지는 약 2.7%이다. 이는 장기적으로 참여자가 베팅 금액의 2.7%를 카지노에 헌납한다는 의미다. 게임이론적으로 표현하자면, 카지노와 도박자 간의 게임에서 내쉬균형은 도박자가 패배하는 상태에 형성되어 있다.
⚠️ 도박사의 오류(Gambler’s Fallacy): 과거의 결과가 미래의 결과에 영향을 준다고 믿는 착각이다. 게임이론과 확률론은 각 시행이 독립적임을 증명한다. 10번 연속 빨간색이 나왔다고 해서 다음에 검은색이 나올 확률이 높아지지 않는다.
포커: 불완전정보 게임의 정수
포커는 가장 고도의 게임이론이 적용되는 도박이다. 체스와 달리 포커는 상대방의 패가 공개되지 않는 불완전정보 게임이기 때문에, 확률 계산만으로는 승리할 수 없다. 블러핑(Bluffing), 팟 오즈(Pot Odds) 계산, 상대방의 전략 패턴 파악 등 복잡한 전략적 판단이 필요하다.
프로 포커 플레이어들이 사용하는 GTO(Game Theory Optimal) 전략은 게임이론의 혼합 전략(Mixed Strategy) 개념을 직접 적용한 것이다. 상대방이 내 전략을 알더라도 착취할 수 없는 최적의 혼합 전략을 구사하는 것이 GTO의 핵심이다. 이는 주식 투자에서 포트폴리오 다각화 전략과도 깊은 연관이 있다.
스포츠 베팅과 정보 비대칭
스포츠 베팅에서는 북메이커(Bookmaker)가 오즈(배당률)를 설정한다. 게임이론적으로 볼 때, 북메이커는 참여자들의 베팅 패턴을 분석하여 어떤 결과가 나오더라도 일정한 마진을 확보할 수 있도록 오즈를 조정한다. 이는 정보 우위(Information Advantage)를 가진 참여자가 지속적으로 이익을 취하는 구조다.
이 구조는 주식 시장에서 시장조성자(Market Maker)나 고빈도 거래(HFT, High-Frequency Trading) 업체의 역할과 매우 유사하다. 즉, 도박과 금융시장 모두에서 정보 비대칭성을 이해하는 것이 전략적 우위를 점하는 핵심이다.
4. 주식투자와 게임이론: 시장은 최대 규모의 전략 게임이다
주식 시장은 어떤 게임인가?
주식 시장은 수백만 명의 참여자가 동시에 참여하는 거대한 불완전정보 반복 게임이다. 각 참여자는 자신만의 정보와 전략을 가지고 있으며, 모든 참여자의 집합적 행동이 가격을 형성한다. 이 복잡한 게임에서 일관된 수익을 올리려면 게임이론적 사고가 필수적이다.
케인즈의 미인 대회 이론
경제학자 존 메이너드 케인즈는 주식 시장을 ‘미인 대회(Beauty Contest)’에 비유했다. 미인 대회에서 우승하려면 자신이 가장 아름답다고 생각하는 사람을 고르는 것이 아니라, 다른 심사위원들이 가장 아름답다고 생각할 사람을 예측해야 한다. 더 나아가, 다른 심사위원들이 평균적으로 어떤 판단을 내릴지를 예측해야 한다.
주식 투자도 마찬가지다. 주가는 기업의 ‘진짜 가치’보다 시장 참여자들이 그 기업을 어떻게 평가할 것인지에 의해 결정되는 경우가 많다. 따라서 성공적인 투자자는 단순히 기업을 분석하는 것을 넘어, 다른 투자자들의 심리와 행동을 예측할 수 있어야 한다.
📊 시사점: 게임이론적 관점에서 주가는 ‘기업 가치의 반영’인 동시에 ‘시장 참여자들의 기대에 대한 기대’다. 이 두 가지를 모두 이해해야 진정한 투자 우위를 가질 수 있다.
정보 비대칭과 신호 게임(Signaling Game)
신호 게임은 정보를 보유한 참여자(기업, 내부자)가 정보가 없는 참여자(일반 투자자)에게 신호를 보내는 상황을 분석한다. 기업이 배당금을 늘리거나 자사주 매입을 발표하는 행위는 대표적인 긍정적 신호다. 경영진이 회사의 미래에 자신 있다는 메시지를 시장에 전달하는 것이다.
투자자들은 이런 신호를 분석할 때 신호의 ‘비용’을 함께 고려해야 한다. 진짜 좋은 기업만이 감당할 수 있는 비용이 드는 신호(예: 높은 배당, 대규모 자사주 매입)는 신뢰할 수 있는 신호다. 반면 누구나 흉내 낼 수 있는 신호는 그 가치가 떨어진다. 이를 신호 이론의 ‘분리 균형(Separating Equilibrium)’이라 한다.
군중 심리와 쏠림 현상: 협조 게임의 함정
행동경제학과 게임이론이 만나는 지점이 바로 군중 심리다. 버블(Bubble)은 모든 참여자가 ‘지금 가격이 과도하게 높다’는 것을 알면서도, ‘다음 사람이 더 높은 가격에 사줄 것’이라고 기대하는 ‘더 큰 바보 이론(Greater Fool Theory)’이 작동하는 현상이다.
이는 죄수의 딜레마와 유사한 구조다. 모든 투자자가 합리적으로 행동하면(팔면) 버블이 붕괴되는 것을 알지만, 개인의 관점에서는 조금 더 버티는 것이 유리해 보인다. 이 집단적 합리성과 개인적 합리성의 충돌이 바로 버블과 폭락을 반복하는 금융 시장의 본질적인 속성이다.
5. 주식투자자가 게임이론을 반드시 알아야 하는 이유
이유 1: 시장의 구조적 이해
게임이론을 이해하면 주식 시장이 단순한 가격 발견 메커니즘이 아니라, 다양한 이해관계자들이 전략적으로 상호작용하는 복잡한 시스템임을 깨닫게 된다. 기관투자자, 외국인, 개인투자자, 시장조성자, 프로그램 매매 시스템 등 각 참여자의 전략과 유인구조를 파악하면 가격 움직임을 보다 입체적으로 해석할 수 있다.
이유 2: 역발상 투자의 논리적 기반
게임이론의 내쉬균형 개념을 이해하면 왜 ‘모두가 사려고 할 때가 팔 때이고, 모두가 팔려고 할 때가 살 때’인지를 논리적으로 설명할 수 있다. 시장이 과도하게 한쪽으로 쏠릴 때 내쉬균형은 급격한 반전을 예고하는 경우가 많다. 워런 버핏의 “남들이 두려워할 때 탐욕스럽게, 남들이 탐욕스러울 때 두려워하라”는 명언도 게임이론적 사고의 산물이다.
이유 3: 심리적 함정 회피
게임이론은 왜 대다수의 투자자가 잘못된 결정을 내리는지를 설명해준다. 처분 효과(Disposition Effect, 이익 실현은 빠르고 손실 확정은 늦추는 경향), 과잉확신(Overconfidence), 확증 편향(Confirmation Bias) 등은 모두 게임이론적 관점에서 비합리적 전략이다. 이를 인식하는 것만으로도 평균적인 투자자보다 우위를 점할 수 있다.
이유 4: 분산투자와 혼합 전략
포커의 GTO 전략처럼, 투자에서도 상대방(시장)이 내 전략을 알더라도 착취할 수 없는 포트폴리오를 구성하는 것이 중요하다. 게임이론의 혼합 전략(Mixed Strategy Nash Equilibrium)은 분산투자의 이론적 기반을 제공한다. 특정 자산에만 집중하는 것은 순수 전략(Pure Strategy)이며, 이는 상대방(시장 변동성)에게 쉽게 착취당할 수 있다.
이유 5: 경쟁 우위 분석
특정 기업에 투자하기 전, 그 기업이 속한 산업의 경쟁 구조를 게임이론적으로 분석하면 강력한 인사이트를 얻을 수 있다. 과점(Oligopoly) 시장에서의 가격 경쟁, 신제품 출시 전략, M&A 협상 등을 게임이론으로 분석하면 해당 기업의 미래 수익성을 더 정확하게 예측할 수 있다. 이는 단순한 재무제표 분석을 넘어선 질적 투자 분석의 핵심 도구다.
🎯 핵심 정리: 게임이론은 투자자에게 ‘내가 이기는 방법’이 아니라 ‘이 게임의 구조 자체’를 이해하게 해준다. 게임의 규칙과 참여자들의 유인구조를 이해하는 투자자만이 장기적으로 시장을 이길 수 있다.
6. 게임이론 기반 실전 투자 전략 5가지
전략 1: 메타-게임 사고
단순히 기업을 분석하는 것을 넘어, ‘지금 시장의 다른 참여자들은 무엇을 생각하고 있는가?’를 질문하라. 주가수익비율(PER)이 과거 평균에 비해 지나치게 높다면, 다른 참여자들도 이미 이를 알고 있을 가능성이 높다. 이때 내가 아직 모르는 것이 무엇인지를 파악하는 것이 메타-게임 사고의 핵심이다.
전략 2: 정보 비대칭 활용
시장 참여자들이 간과하고 있는 정보, 또는 잘못 해석하고 있는 정보를 발굴하라. 이것이 바로 워런 버핏이 말하는 ‘경쟁 우위(Competitive Advantage)’이다. 게임이론적으로 표현하면, 다른 참여자들이 모르는 정보를 가진 상태에서 게임을 하는 것이다. 단, 내부자 정보(insider information)의 활용은 법적으로 엄격히 금지되어 있음을 항상 유의해야 한다.
전략 3: 반복 게임의 관점에서 평판 관리
주식 투자는 일회성 게임이 아니다. 장기적 관점에서 일관된 투자 철학을 유지하는 것은 팃포탯 전략처럼 시장과의 신뢰 관계를 구축하는 과정이다. 감정적인 의사결정을 피하고, 미리 정해 놓은 기준에 따라 매수·매도를 결정하는 규율이 장기적 성과의 핵심이다.
전략 4: 우월 전략 회피 분석
시장의 ‘당연한 선택’이 있을 때 그 반대를 생각해보라. 모든 참여자들이 같은 방향으로 우월 전략을 구사하면, 내쉬균형이 전환되어 갑작스러운 반전이 발생할 수 있다. 2020년 코로나 팬데믹 초기 급락 후 반등, 2022년 금리인상 사이클 종료 시점 등이 대표적인 사례다.
전략 5: 손절 기준의 사전 설정
게임이론에서 ‘협박(Threat)’이 신뢰를 얻으려면 실제로 실행 가능해야 한다. 투자에서도 마찬가지다. 손절 기준을 미리 설정하고 반드시 실행하는 투자자는, 그렇지 않은 투자자에 비해 감정적 의사결정에서 자유롭다. ‘나는 -10%가 되면 반드시 판다’는 미리 결정된 전략은 후회 최소화와 손실 제한을 동시에 달성하는 게임이론적으로 합리적인 접근이다.
결론: 투자는 이기는 게임이 아니라 지지 않는 게임이다
게임이론의 핵심 통찰은 ‘완벽한 승리’보다 ‘지속 가능한 전략’의 중요성이다. 도박이 제로섬 혹은 마이너스섬 게임인 반면, 주식 투자는 올바른 접근 방식을 취한다면 포지티브섬 게임이 될 수 있다. 중요한 것은 게임의 규칙을 이해하고, 다른 참여자들의 행동을 예측하며, 감정이 아닌 전략에 따라 의사결정을 내리는 것이다.
존 내쉬는 ‘경쟁이 항상 최선의 결과를 만들지는 않는다’는 것을 증명했다. 주식 시장에서도 무조건적인 경쟁(단기 수익 추구)보다는, 시장과의 협력(장기 가치 투자), 자신의 감정과의 싸움(투자 규율), 그리고 게임 구조에 대한 깊은 이해가 결국 진정한 투자 성공으로 이어진다.
게임이론을 공부한 투자자는 단순히 ‘무엇을 살까’를 고민하는 것을 넘어, ‘이 게임에서 나의 전략적 위치는 어디인가?’를 항상 묻게 된다. 바로 그 질문이 평범한 투자자와 탁월한 투자자를 구분하는 출발점이다.
📚 추천 심화 학습
- 존 폰 노이만·오스카 모르겐슈테른 — 『게임 이론과 경제 행동』
- 실비아 네이사 — 『뷰티풀 마인드』 (존 내쉬 전기)
- 로버트 액설로드 — 『협력의 진화』
- 리처드 탈러·캐스 선스타인 — 『넛지』
👉 위기를 기회로 바꿔 줄 반도체 승부주 “남들 던질 때 담으세요!”