【综述】小明和小李马上要去打AI了,那么星际AI到底是什么呢? 社区新闻

Hao 2020-6-21 13:02 3765

利益相关,强化学习researcher一名,也是这次智源人工智能大会星际对战的官方技术解析人员。


感觉这次大家对星际AI的情况比较感兴趣,正好比赛还没有开始,所以这里简单做一个介绍。


先更新到2点之前,比赛开始之后就去进行技术解说了,等整理完技术稿后再回来更新。


一、强化学习


关于强化学习(Reinforcement Learning)的技术细节,这里就不过多介绍了。相对于深度学习中的CV和NLP而言,RL的数学要求较高,不是很容易入门。如果大家对强化学习感兴趣的话,可以去看Sutton & Barto 的那本经典的教材, Reinforcement Learning: An Introduction。也可以关注我和另一位复旦小伙伴一起做的RL零基础教学项目,大概这个画风,我之后更新github链接。

image.png


但是这些,都不是作为一名强化学习er重要的因素,强化学习的真正力量,来自于强大的雅达利游戏 。

image.png


在强化学习中,智能体(agent)的训练需要在一个环境(environment)中。通过跟环境的不断交互和训练,智能体才能够成长。这就好像会长(agent)经过在星辉国际(environment)多年的摸爬滚打(train)之后,终于成长为了张哥(更强的agent)。


而这个environment,我们一般是使用gym,一个集成了大量雅达利游戏的环境。一般来说发paper的话,都是用gym。当然,这个环境也可以是SC1,SC2,Dota。


image.png

之所以要使用游戏环境来进行强化学习的训练,主要是因为这个环境比较稳定,不容易出错(因此我们不会使用育碧游戏作为我们的训练环境),且可以重复进行。


二、强化学习与星际争霸


实际上在最早的时候,大家是用SC1的环境来进行强化学习的训练的。这主要是因为是某位大佬hack了SC1,然后把它的部分底层API,也就是部分的接口调取了出来。这就是大名鼎鼎的BWAPI,https://bwapi.github.io/

image.png


在此基础上,越来越多的工具可以来进行SC1的强化学习开发。做过深度学习的都知道Pytorch,它和TensorFlow是现今最火的深度学习框架之一。而它的前身就是torch。基于torch,有一个专门的SC1的开发框架,这就是TorchCrafthttps://github.com/TorchCraft/TorchCraft

image.png



大家如果想去看AI在SC1上的对战的话,可以去https://www.sscaitournament.com/ 这个网站看。张哥可以多去去,定能实力大增,干翻女帝。

image.png


后来,官方发现大家这么关注SC和RL的结合,那么我们干脆开放接口算了,也就是s2client-proto 和 s2client-api

image.png


2017年的时候,deepmind宣布开发星际二AI失败(觉得好艰难...),然后他们就开放了pysc2机器学习平台。这极大的降低了在SC2上进行RL开发的便利性(以后有机会我录一个0基础在pysc2上训练RL的视频)。这也使得相关的开发达到了一个高潮。不过实际上,如果发paper的话,大家还是习惯使用sc1的环境。这主要是因为在RL researcher看来,SC1和SC2的环境没有本质上的区别,而星际二运行起来所占用的系统资源比较高,就很烦。这也导致了在SC2上开发相应AI的工作很少(相对于SC1)。


顺便说一个小的tips,由于pysc2的一些天然的缺陷,AI在人口较多,而单位重合度较高的时候(比如含泪甩飞龙的时候)有一定的概率会出错。所以感觉AI更适合机械化而不是生化。


如果大家想去看SC2的AI的比赛的话,可以去Starcraft 2 AI Ladderhttps://sc2ai.net/ 看看。

image.png





最后于 2020-6-21 14:56 被tager编辑 ,原因:
最新回复 (32)
全部楼主
  • 云子87 猛男
    1 举报 2
    涨知识
    2020-6-21 13:03 回复
  • clllln 精英猛男
    1 举报 3
    2020-6-21 13:05 回复
  • 尼娅还有大家 精英猛男
    1 举报 4
    2020-6-21 13:09 回复
  • teapotspirit 精英猛男
    1 举报 5
    是在施工么
    2020-6-21 13:11 收起回复
    Hao: 是的
    2020-6-21 13:13回复
  • 贾曼卡尔 精英猛男
    1 举报 6
    不一般
    2020-6-21 13:11 回复
  • clllln 精英猛男
    1 举报 7
    哈佛二五仔强啊
    2020-6-21 13:14 回复
  • toncula 猛男
    1 举报 8
    先🐴
    2020-6-21 13:17 回复
  • Hao 拟态猛男
    1 举报 9
    先写到这里,要去开会了。比赛马上开始
    2020-6-21 13:28 回复
  • 坏事儿 混元体猛男
    1 举报 10

    我看到你乳峰了,喂喂91处

    2020-6-21 13:31 回复
  • wsculy 猛男
    1 举报 11
    要是能搞个ai天天陪我练,感觉星际瞬间就变好玩了
    2020-6-21 13:32 回复
  • 拂晓的火鸡tbhha 混元体猛男
    1 举报 12
    (比如含泪甩飞龙的时候)
    2020-6-21 13:32 回复
  • 不加班的臭鳜鱼 精英猛男
    1 举报 13
    为什么我明明每个字都认识,却偏偏看不懂呢?
    2020-6-21 13:43 回复
  • 1 举报 14
    楼主写的真好(假装自己看得懂)
    2020-6-21 13:48 回复
  • Hao 拟态猛男
    1 举报 15
    这个赛前介绍太真实了吧,完全捧读...
    2020-6-21 14:02 收起回复
    夏一可死毒舌_: 上去把那个主持拖下来,你去自己读啊
    2020-6-21 14:03回复
  • sherdencooper 猛男
    1 举报 16
    支持一波技术贴,lz可以贴出repo链接大家可以去star下
    2020-6-21 14:04 收起回复
    Hao: 之后po出来
    2020-6-21 14:08回复
  • 小明在星际 混元体猛男
    1 举报 17
    2020-6-21 14:08 回复
  • Hao 拟态猛男
    1 举报 18
    开始了
    2020-6-21 14:08 回复
  • 小明在星际 混元体猛男
    1 举报 19
    感谢楼主的科普哇
    2020-6-21 14:08 回复
  • thraaaaash2 混元体猛男
    0 举报 20
    2020-6-21 14:09 回复
  • 莲花草啊 混元体猛男
    0 举报 21
    2020-6-21 14:12 回复
  • superXMR 视频作者
    1 举报 22
    眼睛:好像看懂了
    大脑:闭嘴,你不懂
    (PS: 楼主解释的比那些一上来就专业词汇A脸,还自称科普的好理解多了)
    2020-6-21 14:16 回复
  • EVANIMARIA 精英猛男
    0 举报 23
    精英二五仔suki
    2020-6-21 14:18 回复
  • Hao 拟态猛男
    0 举报 24
    这次的可视化做的还挺不错
    2020-6-21 14:34 回复
  • 大小老婆我来了 混元体猛男
    0 举报 25
    虽然一开始的介绍有点棒读,但是后面的听起来就舒服,果然专业的就是不一样
    2020-6-21 14:36 回复
  • 打一枪就跑 混元体猛男
    0 举报 26
    2020-6-21 14:36 回复
  • 全葬大海 猛男
    0 举报 27
    刚看了学习服务器装机 四路泰坦 pcie4.0.好的放弃.
    2020-6-21 14:39 收起回复
    Hao: 简单的程序的话,其实自己的电脑也可以
    2020-6-21 14:59回复
  • Hao 拟态猛男
    2 举报 28
    聊天流是提前设定好的,它自己并不会聊天...感觉启元这种做法不太好,会让人误解AI的能力
    2020-6-21 14:43 回复
  • Dendrobium 精英猛男
    0 举报 29
    你这AI是资源作弊 了吧  有种的把rep放出来
    2020-6-21 15:30 收起回复
    Hao: 按理来说不可能会资源作弊。只能说有特殊的运营技巧。我去问问能不能要到rep
    2020-6-21 15:34回复
    Dendrobium: 回复 Hao: 要是rep放出来 我愿意花钱买 我TM就不信这里面没猫腻
    2020-6-21 15:41回复
    Hao: 回复 Dendrobium: 理论上说,没有办法实现改资源这种操作,暴雪没有提供这种API···
    2020-6-21 15:47回复
  • 都瓦克因 精英猛男
    0 举报 30
    为时已晚,有机体
    2020-6-21 15:37 回复
返回