业务需求

随着深度学习技术的快速发展，互联网公司已普遍应用人工智能技术来提升运营效率和服务水平，同时降低成本。

携程作为中国最领先的在线旅游服务公司之一，已经将AI领域中多种主流技术，如计算机视觉、自然语言处理、机器翻译、语音识别和处理等，应用在智能客服平台、搜索排序、智能导览等多个应用场景中。此外，携程还通过自主研发的机器翻译技术为客户提供翻译服务，给全球用户带来极大便利，进一步推动了携程的国际化的进程。

在服务用户量不断增长的背景下，为了保证用户始终拥有最好的体验，携程不断优化AI算法和更新AI模型，使用的模型复杂度不断提升，计算量持续增加，因此携程对GPU算力的需求在不断增长。而传统的GPU使用方式是算法工程师与GPU设备1:1配比——算法工程师在编写代码、调整模型时，GPU处于Standby状态，这就导致部分GPU算力处在闲置状态，整体利用率偏低。

因此，构建一个弹性、动态、灵活、高效的软件定义GPU算力资源池，就成为了携程节省硬件投入、提升业务并发能力、提高人员效率的必要方案。

解决方案

趋动科技猎户座（OrionX）AI算力资源池化解决方案，为携程带来了创新的资源分配和管理方案：

①OrionX帮助携程将现有的近百片企业级GPU卡横向打通，构建了软件定义的AI算力资源池，解耦了原先算法工程师与GPU静态配比的传统方式。从此，这个近百片卡的大资源池实现透明共享，算法工程师们可以即时、按需、自助的获取需要的GPU数量，生产力与生产效率成倍提升。

②在资源管理与运维上OrionX同样帮助携程实现了人员与效率的提升。由于资源池具备了软件定义的特性，资源的申请与回收，增加与减少都能够自动化秒级实现，运维无压力；与携程现有的Kubernetes AI训练产品体系深入融合，一个界面管理所有资源，大大降低学习成本。

客户收益

> 把GPU的静态分配变成动态分配，GPU使用率获得4倍以上提升

> 单卡的小资源变成近百片卡的共享大资源池，获取算力不再是瓶颈，AI开发得到加速

> AI应用与GPU硬件解耦，算法工程师不必再为硬件配置的差异忙碌奔波，可以更专注于上层开发

> GPU资源按任务秒级自动分配和释放，运维无压力

> 具备全局资源池性能监控，与现有云平台深入融合，监控管理极为便捷

> 提供restful API，与云管平台结合实现精细化管理与调度，实现GPU资源在全局范围内的动态超卖，GPU利用率进一步提升

AI算力资源池化极限推高GPU资源利用率

携程通过在人工智能领域的领先布局和能力结合，一直引领在线旅游市场。对比全球其他在线旅游企业，携程在创新科技方面的投入比重接近40%，远超全球其他同类企业。

其发力点主要在以下三个方面：

第一，对消费者使用习惯进行分析，使产品推送更精准、客户预定决策更省时；

第二，不断提升服务的智能化、便捷化，向个性化服务转型，致力于满足客户所有需求；

第三，将智能语音、视觉技术能力应用在更多的旅游场景下，为用户提供更有趣的交互方式、更丰富的产品内容、更便捷的用户体验。

人工智能的助力，可以简化预订流程，让用户用最少的时间，和最便捷的操作找到需求的产品。

在全力发展人工智能应用的同时，强大的GPU算力以及灵活的使用方式是不可或缺的支撑。众所周知，当前GPU的使用方式是一人一卡的静态分配，平台部门在GPU资源管理时通常使用K8S进行资源调度，应用部门通过资源申请获取相应资源，由于GPU的高价值属性及固定配置，容易成为资源和任务分配的瓶颈。

经过双方的紧密合作，携程通过OrionX的高级开发接口，对调度及监控完成二次开发，将 OrionX vGPU 技术无缝融合进原有Kubernetes AI训练产品体系。GPU的使用方式由以前一人一卡的静态分配，变为运行时根据任务负载动态秒级分配和回收，在不破坏算法工程师原有体验及效率的情况下，透明实现了GPU使用率提升4倍以上。借助RDMA高速网络及OrionX池化技术构建了一个大规模的资源池，结合携程二次开发的精细化调度，实现了对GPU资源的动态超卖。通过RDMA构建的大规模资源池，相比于单机层面，OrionX提供了更大的超卖调度域，大大降低了超卖场景下局部热点峰值叠加的风险，进一步提升了利用率，并逐渐推广到推理服务场景，为携程提供源源不断的算力支撑。

“趋动科技的OrionX算力资源池化方案在容器化、云原生的技术浪潮中极具先进性，通过与Kubernetes良好的可集成能力，OrionX成为携程AI训练产品体系重要的组成部分。”

——携程平台部门技术专家