谷歌云AI预测服务全面开通,支持托管在机器学习框架中的训练模型

作者:Yu 来源:原创 2020-09-30

  10月1日消息,据外媒报道,谷歌近日宣布其人工智能平台的一个关键组成部分——AI预测服务的全面可用。该服务支持托管使用流行的机器学习框架,包括TensorFlow、XGBoost和Scikit-Learn训练的模型。

  人工智能预测服务作为机器学习管道的最后一个阶段,它在云中托管经过训练的机器学习模型,以推断新数据的目标值。

  部署在AI预测服务中的经过训练的模型作为REST端点公开,可以从任何支持HTTP的标准客户端调用这些端点。

  AI平台预测服务是基于谷歌Kubernetes引擎(GKE)后端,旨在通过新的硬件选项,如谷歌计算引擎机器类型和NVIDIA GPU,提高可靠性和灵活性。

  虽然该服务基于谷歌Kubernetes引擎,但AI预测服务隐藏了配置、管理和扩展集群的复杂性。数据科学家和工程师可以专注于商业问题,而不是管理基础设施。

  在一般可用性下,AI预测服务支持高内存和高cpu机器类型上的XGBoost和Scikit学习模型。在后台,服务根据流量和请求自动扩展和收缩基础设施。

  该服务与谷歌云控制台和Stackdriver紧密集成,以跟踪和可视化资源指标。与模型的GPU、CPU、RAM和网络利用率相关的性能指标可以深入了解性能特征。

  通过添加对VPC控件的支持,用户可以定义一个安全边界,并部署在线预测模型,这些模型只能访问该边界内的资源和服务,或者另一个桥接边界内的资源和服务。由于预测服务端点对VPC是私有的,所以数据保留在私有网络中,而不必通过公共网络。

  通过AI预测服务部署和公开的模型支持在线和批量推理。在线预测被优化以最小化服务预测的延迟,而批预测被优化以处理作业中的大量实例。与立即发送结果的在线预测不同,批处理预测将推断输出写入存储在谷歌云存储桶中的文件。

  据悉,谷歌在AI平台服务(PaaS)上投入了大量资金,整合和增强了各种服务,包括云ML引擎。通过与GKE和Kubeflow的紧密集成,该服务已经发展成为支持数据准备、转换、培训、模型管理、部署和推断的端到端平台。

发布
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录