距 NIPS 2018 召开另有不到一个月的时候，NIPS 2018 的各类手艺应战赛也靠近序幕。正在上周竣事的 2018 野生智能假肢应战赛(AI for Prosthetics Challenge)https://www.crowdai.org/challenges/nips-2018-ai-for-prosthetics-challenge中，来自中国百度的手艺团队一举击败环球的 400 多个参赛团队，以 9980 分的成就独占鳌头，抢先 二名高达 30 多分。

野生智能假肢应战赛是由斯坦福年夜学神经生物尝试室与EPFL 结合举行的强化进修赛事，旨正在经由过程将强化进修利用到人体腿部骨骼仿实摹拟模子的练习，从而加速人体假肢范畴的相干研讨，并首创该范畴的研讨的新方式。

自本年 7 月份启动以来，来自环球 400 多手艺团队都介入此中。此中既有上届冠军、由 “RNN之父”Juergen Schmidhuber 创建的 NNAISENSE，也有阿里巴巴、Yandex 等巨子。百度本年初次加入强化进修范畴角逐，就正在强手如云的团队里脱颖而出，一举独占鳌头，并抢先 二名30多分。 二到五名别离被NNAISENSE，Yandex，阿里巴巴等取得。不言而喻，百度正在强化进修范畴占有了较着的上风，冠军含金量颇高。

本年的角逐中，赛会构造者供给了一小我体骨骼-高仿模子，该模子是斯坦福国度医学病愈研讨中间研发的 Opensim 高仿模子，具有人类腿部尽年夜大都实在骨骼、枢纽和肌肉的邃密仿实。参赛者需求按照该模子中多达 100 个以上的状况，来决议模子肌肉的旌旗灯号，然后节制该模子的肌体行走。

正在客岁的 一次应战赛上，角逐法则环绕谁能让模子肌体行走速率 快。现在年除将全部模子活动节制从2D改成3D外，还引进带有假肢的模子，同时模子的假肢不成节制，模子肌体行走的速率也有要求，而且还需求正在 二轮角逐中依照事前未知的指定速率停止切换。

相较而下，本年的角逐难度再次增添。好比对模子肌体有用信息的判定上，因为现实状况空间和行动空间浓密而且很是年夜，致使基于强化进修的算法没法精确掌控模子肌体的行走姿式;更进一步，因为法则要求不竭切换速率，更增添了模子节制难度。

正在此次角逐中，百度起首经由过程上千台机械的 CPU 集群来加快摹拟情况，操纵 RPC 机造停止机械间通讯，从而能正在高机能GPU长进行高效的模子练习。其次，操纵Target Driven Deep Deterministic Policy Gradient (Target Driven DDPG)，使得模子可以或许应对较年夜空间和持续行动空间的应战，终究也使得一个单一模子可以或许进修多种速率和姿势。 三，正在算法层面，经由过程 multi-head bootstrapping，可以或许更高效的对庞大的解空间停止摸索(Exploration)，同时还将扭转稳定性等各种特点处置体例，和不竭尝试累计的各种 reward shaping 方式利用此中。恰是那些关头手艺的综合利用，让百度能以 9980 的高分一举夺冠，有参赛者暗示，那是一个他们难以信赖的分数。

究竟上，早正在本次角逐之前，百度已将强化进修手艺利用于信息流保举、告白揭示、搜刮排序等年夜范围产业级场景。而本次角逐中所揭示出的手艺气力，再次证实了百度正在强化进修相干手艺上的堆集，也可以或许进一步推行到庞大机械人节制、主动驾驶等更多产业范畴。

与此同时，百度会将这类才能经由过程 PaddlePaddle 开源平台赋能更多开辟者。基于 PaddlePaddle 的强化进修框架 PARL 将正在本年四时度正式公布，届时将为更多深度进修范畴开辟者供给强而有力的手艺支持，也进一步深化百度构建AI完成生态的决计。