【上級編】GTO Part2 〜混合戦略と純粋戦略〜

さて、前回はナッシュ均衡・エクスプロイト・GTOとは一体どんなものなのか、ざっくりと説明したよ。

今回は具体的なGTOを一緒に見てみようか。

プリフロップのBU vs BBにしようかな。BUがオープンしてSBがフォールド、そこでBBのGTOは？っていうスポットだね。

よくあるスポットだから、どんなGTO戦略なのか気になるんじゃない？

まずは場面設定を紹介するね。

今回はこんなオープンレンジ（VPIP40）を想定したよ。

これでGTOを計算する材料はすべてそろったね。
さあ、これがBBのGTO戦略だよ。

青がフォールド、緑がコール、赤がレイズ（3ベット）だよ。BBはこんなふうにプレイすれば、BUからエクスプロイトされることはないんだ。

例えば、[A7o]は青一色だから常にフォールドすべきみたいだね。
[TT]は赤一色だから常に3ベット。

[A5s]は赤と緑が混じってるから、レイズでもコールでも良いんだってさ。でも、緑より赤のほうが幅が大きいから、3ベットをより頻繁にすべきみたいだよ。

やっぱ初めて見るとそういうリアクションになるよね。
どう？何がわかんない？

その複数のアクションが混じっているハンドが今日の本題なんだ。
これを混合戦略っていうんだよ。

逆に一つの色で塗られてるところは純粋戦略。

OK。次の章で詳しく説明していくね。

さて、混合戦略と純粋戦略をどう考えればいいのか。
ここではジャンケンを使って説明してみようかな。

そうそう。チンアナゴちゃん、もしジャンケンでグーばっかり出す人がいたらどうする？

うん、そうすれば相手をエクスプロイトできそうだよね。
でも、相手はチンアナゴちゃんの戦略を察知して、今度はチョキを多めに出してくるかもしれないよ。

そう、それがジャンケンのナッシュ均衡で、混合戦略になってるんだね。
お互いにグー・チョキ・パーを1/3ずつの割合で出せば、相手にエクスプロイトされることはないんだ。

一言で言えば、ジャンケンには手の相性があるからだよ。
グーはチョキに勝てるけどパーには負けるみたいにね。

「グーしか出さない」みたいな戦略は相手にパーばかりを出される（手の相性をうまく利用される）から、エクスプロイトされてしまうんだ。

逆に言えば、ジャンケンにエクスプロイトされないような戦略（ナッシュ均衡）があるのなら、それは必ず複数の手を混ぜて出すようになってるはずなんだ。

そうじゃないと、手の相性を利用したカウンター戦略を必ず使われちゃうからね。

ということで、ナッシュ均衡にはそもそも混合戦略が必要不可欠なんだね。ジャンケンやポーカーのようなゼロサム・ゲームの場合は特にね。

さて、今までの話は入り口で、ここからが本題なんだ。
混合戦略で一番大事なポイントだよ。

混合戦略と期待値の関係だよ。
part1で僕はナッシュ均衡をこう定義したんだ。

その通りだよ。だからこそナッシュ均衡は「エクスプロイトされない戦略の組み合わせ」になってるんだったね。

さて、じゃあ実際のところ、ナッシュ均衡に基づいた混合戦略を使ったとき、相手の戦略の期待値はどうなってるんだろう？

もちろん相手はいろいろな戦略を持ってるはずだけど、「戦略を変更してもそれ以上期待値を上げることができない」のだから、相手の戦略はすべて期待値が同じになってるんだよ。

ここが重要なポイントなんだ。

OK。ジャンケンの戦略とはすなわち「グー・チョキ・パーの手を出す頻度」のことだよね。

例えば、「グーしか出さない」「チョキ多め」とかね。

それらの戦略と混合戦略（グー・チョキ・パーが1/3ずつ）が戦うことを考えてみようか。例えば、「グーしか出さない」戦略vs混合戦略の期待値はどうなってるだろう？

そのとおりだね。例えば勝ちを1点、負けを-1点、あいこはやり直し（0点）と考えるなら、「グーしか出さない」の期待値は1/3*1+1/3*0+1/3*(-1)=0なんだ。

じゃあ次はこれ。2回に1回はチョキ、4回に1回ずつグーとパーを出す「チョキ多め」の戦略だとどうかな？混合戦略と「チョキ多め」が戦ったときの期待値を考えてみよう。
場合分けが多いから期待値を表にしてみたよ。

そうなんだよ。混合戦略に対してどんな戦略を使っても、期待値は同じ（この場合はゼロ）になるんだ。

相手がナッシュ均衡に基づいた混合戦略を使ってるなら、それに対してこちらはどんな戦略を使っても期待値は一緒なんだよね。
だったら、こちらも混合戦略を使うしかないんじゃないかな。

どうせ期待値は一緒だけど、そのほうがエクスプロイトされる心配がないからね。

たくさん説明したから、ここで一旦まとめておこうかな。
こんな話をしてきたよ。

そうだね、そろそろポーカーの話もしないとね。
さっきのGTO戦略の混合戦略を一つピックアップしてみようか。

[A5s]は赤（3ベット）と緑（コール）の混合戦略だったね。右下に書いてある数字がそれぞれのアクションの期待値（EV）なんだ。0.01のズレがあるのは計算上の誤差だよ。

混合戦略は相手の戦略の期待値を等しくするんだったね。
[A5s]を常に3ベットやコールに回しても、それ以上期待値を上げることができないんだ。なぜなら、相手（BU）もGTO戦略に基づいた混合戦略を使っているからね。

逆に言えば、3ベットもコールも期待値は同じなんだから、プレイヤーはどちらを選択してもいいんだ。

ただし、3ベットを選択したほうが分散が大きくなることと、厳密には混合戦略の頻度を正確に再現する必要があることには注意だよ。

純粋戦略もジャンケンで説明してみようか。
実はね、ジャンケンにはグー・チョキ・パーのほかに第4の手があるんだ。

うん、僕が今考えたんだ。「ピン」といって、ピン芸人なんかの「ピン」＝「1」がその由来だよ。グー・チョキ・パー・ピンと覚えてね。

ピンはグーには勝つけど、チョキとパーには負けるんだ。

そうなんだよ。
さて、グー・チョキ・パー・ピンのナッシュ均衡を考えてみようか。

そうなんだよ。ピンとパーはどちらもグーに勝てる手だけど、パーのほうはピンに一方的に勝てるからね。だからピンはパーの下位互換なんだ。

だから、どんな割合だろうとピンを出す相手に対しては、グーを少なめにしてパーとチョキを増やせばエクスプロイトできそうだよね。

そういうことだよ。ナッシュ均衡は必然的に混合戦略になるって話をさっきしたよね？でもね、中にはそもそもその戦略を取るor取らないこと自体がエクスプロイトされる原因になるようなケースもあるんだ。

そういう場合はエクスプロイトされないほうの選択を常に取ることになるよね。それを純粋戦略というんだ。

まさにそういうことだよ。出来の悪いピンを入れるとエクスプロイトされてしまうからね。万年補欠でいてもらうことになるんだ。

でもね、その逆もあり得るんだよ。つまり、混合戦略を取るよりも常にその手を出すほうが期待値が高いような場合だね。
これはポーカーの純粋戦略も同じだよ。ほら、これを見てごらん。

[TT]は3ベットが100％の純粋戦略だよ。ポーカーの純粋戦略は最も期待値が高いアクションが一つだけだよ。[TT]は常に3ベットしないと、相手にエクスプロイトされてしまうんだ。

もう一つ見てみようか。
今度は純粋戦略でフォールドすべきハンドだよ。

そういうこと。[A7o]は常にフォールドすべきで、プレイするとエクスプロイトされてしまうんだね。

そうだよね。ジャンケンぐらい簡単なゲームだと「あ、ピンは出したらダメだ」ってすぐにわかるんだけどね。

それに比べて、ポーカーはものすごく複雑なゲームなんだ。GTO計算機の力を借りないと、何がピンなのかすらわからないのさ。

さて、最後にもう一度GTOについてまとめておこうかな。

OK。じゃあ次回はGTOを実戦で使うときに必要な知識について触れようかな。特に混合戦略の頻度・エクスプロイトについてだね。