关于最强AlphaGo Zero是如何制作的真相就在这里

AlphaGo Zero是谷歌子公司Deepmind程序的新版本。

从空白状态开始，没有任何人工输入，AlphaGo Zero能够快速自学围棋，并以100：0的比分击败了“前辈”。

历史。 2017 年 10 月 19 日凌晨，在国际学术期刊《自然》上发表的一项研究中，谷歌旗下公司 DeepMind 报道称，新版程序 AlphaGo Zero：从空白状态，无需任何人工输入，即可快速自行学习围棋，并以 100：0 的分数击败“前辈”。

一旦DeepMind的**公布，TPU的销量可能会大幅增加。 其100：0的记录被怀疑是“制造”。

1] 经过 3 天的训练，他以 100：0 的比分击败了他的兄弟 Alphogo Lee，在训练 40 天后击败了他的另一个兄弟 Alphogo Master

它是如何工作的。 “摒弃人类体验”和“自我训练”并不是Alphago Zero最大的亮点，关键是采用了新的强化学习（强化学习算法）和算法的新发展。 [1]

Alphago Zero只有4个TPU，人类经验为零，只有3天的自我训练和490万次自我游戏。 但它以 100：0 的记录击败了它的前辈。 [1]

老版的alphago，虽然魔力不大，但斧头和凿子的痕迹却是可观的。 就像一个机器人女友，虽然她有一张惊艳的脸，但她有一只机械手，声音和谷歌娘一样冷酷（误误）。 理想的Go AI应该是简单、优雅、自然的，就像死屋（雾）的妻子荒垣结衣一样。

而新版的alphago确实创造了一个栩栩如生的gakki（错误地）。 具体来说，与原来的alphago相比，Alphago Zero有以下改进： 1.将策略网络和价值网络合并，形成一个既能输出策略P又能输出值V的新网络。

新网络的结构已得到简化。 新策略价值网络的输入特征平面数量从 48 个减少到 17 个。 其中，与围棋知识相关的输入特征（自由、梯子）已被移除。

2.新策略价值网络只需要通过强化学习进行训练，不需要监督学习。 也就是说，不需要输入人类大师的棋局作为初始训练样本，而只需随机滴入初始训练样本即可。 3、优化蒙特卡罗搜索树，主要是为了消除快速上线策略，节省大量实际计算成本。

快速移动的策略还需要输入大量人类已知的围棋知识，例如如何杀死大眼睛（nakade，例如直死点）。

三、D. 四、五等棋类唯一一招式的刀柄）。消除快速移动的需要也省去了输入这些知识的麻烦。 4、将卷积网络改为残差网络，提高训练效率。

剩下的是一个从头开始训练的神经网络和AlphaGo Zero，它使用MCTS算法进行游戏，该算法简单得令人难以置信。 说起来容易做起来难。 这些改进似乎很容易想到，因为Alphago Zero是研究人员的理想女神。

而第一个版本的alphago还不够女神，不是因为研究者不想，而是因为他暂时做不到。 例如，在 AlphaGo Fan 版本中，神经网络的输入由 48 个特征平面组成。 这两个平面表示移动是否是成功的标志，以及移动是否是成功的逃生。

从技术上讲，主要创新如下：从多网络到单网络。 最初的阿尔法围棋使用两个网络，决策网络用于最佳移动，价值网络用于评估当前情况的优缺点。

这一次，AlphaGo Zero将两个网络合二为一，新的网络同时输出移动P和情况得分V。 从卷积网络到残差网络（再次拜拜开明神） **作者证明，架构的改变对结果的影响非常大！ 请参考下面的对比表。

“dual”表示组合网络，“sep”表示单独的网络，“conv”表示一般卷积网络，“res”表示残余网络。 使用相同的训练样本和相同的训练步骤，Dual-Res 的 ELO 得分比原 Alpha Go 的 SEP-CON 架构高出 1000 多分，这表明新的网络架构提高了网络的表达能力，更容易训练。 <>