发布于:2024-07-06 08:57:06 来源:火狐直播在线看 点击量:14次
8月24日,浪潮信息正式对外发布大模型智算软件栈OGAI。OGAI (Open GenAI Infra)“元脑生智”,是为大模型事务供给AI算力体系环境布置、算力调度保证及模型开发办理能力的全栈全流程的智算软件栈。OGAI由浪潮信息根据大模型本身实践与服务客户的专业经历而开发,旨在为大模型研制与使用立异打造高效生产力,加快生成式AI工业立异脚步。
大模型是当时通用AI工业开展立异的中心技术。目前国内已发布的生成式AI模型超过了100个,“百模争秀”的格式初现。但大模型从研制到使用的各环节中,仍然面对许多应战,如大模型算力的体系全栈问题、兼容适配问题、功能优化问题等。
OGAI是浪潮信息从当时大模型算力建造、模型开发和使用落地的实践的需求动身,秉承全栈全流程、算力充沛开释、实战验证提炼的规划准则打造而成。OGAI由5层架构组成,从L0到L4别离对应根底设施层的智算中心OS、体系环境层的PODsys、调度渠道层的AIStation、模型东西层的YLink和多模纳管层的MModel。
L0层智算中心OS:面向大模型算力服务的智能算力运管渠道,满意多租户以裸金属为主的弹性AI算力运管需求。其间,高效的裸金属服务支撑分钟级布置上千规划裸金属节点并按需进行弹性扩展,完成异构核算芯片、IB、RoCE高速网络、高功能存储等环境一键获取,并完成核算、网络、数据阻隔以保证事务安全。
L1层PODsys:开源、高效、兼容、易用的智算集群体系环境布置计划。聚集智算集群布置场景,从OS、驱动到体系监控可视化、资源调度等集群体系环境要素全方面掩盖,选用最安稳和广泛兼容的软件版别,经过一系列脚本东西简化布置进程,缩短算力上线周期,并可向企业用户更好的供给施行装置服务和集群功能校准的专家服务。
L2层AIStation:面向大模型开发的商业化人工智能算力调度渠道。针对大模型练习中常见的练习中止难题,可完成练习反常快速定位,断点主动续训:经过快速定位芯片、网卡、通讯设备反常或毛病,完成大局练习暂停坚持,热备算力主动弹性替换,健康节点快速CheckPoint读取,完成断点主动续训。
L3层YLink:面向大模型数据办理、预练习、微调的高效东西链。聚集于大模型的数据办理、预练习、微调等开发进程,集成了浪潮信息在大模型研制中的自研东西和开源东西,如数据处理东西包(Y-DataKit)、大模型练习东西包(Y-TrainKit)和大模型微调东西包(Y-FTKit)等等,经过这一些多样且完善的工程化、主动化东西,加快大模型的练习和开发功率。
L4层MModel:供给多模型接入、服务、评测等功能的纳管渠道。中心组件包含数据集办理、模型纳管和评测,能够便利开发者和研究人员更好地办理多版别、多类型的根底大模型与使命模型,并经过多样化的评测数据集与评测使命,对多个模型进行生成准确率、推理推迟、推理安稳性等目标做全面评价。
浪潮信息高档副总裁、AI&HPC总经理刘军表明:“OGAI供给完善的工程化、主动化东西软件仓库,将协助更多企业顺畅跨越大模型研制使用门槛,充沛开释大模型立异生产力。浪潮信息将经过智算体系软硬件高度协同进行继续立异,继续培养昌盛元脑生态,推动完成‘助百模,智千行’,加快生成式AI工业立异。”
想爆料?请登录《阳光连线》()、拨打新闻热线,或登录齐鲁网官方微博(@齐鲁网)供给新闻线索。齐鲁网广告热线,诚邀合作伙伴。
高标准学校建造、结对帮扶......潍坊让孩子们在海拔4000米的学校任意奔驰
“好品山东 商行全国”促消费系列活动发动 融媒推介节目《好品山东》同步推出
山东省党政代表团在重庆调查对接东西部协作作业 愈加坚决扛牢政治责任 不断创始鲁渝协作作业新局面
闪电调研走一线|专访胶州市委副书记 市善于冬泉:继续推动高水平对外开放 助力山东打造对外开放新高地
“2023金秋双节直播季”电商活动五光十色 山东9月份网络零售额增加29.7%
山东省党政代表团在重庆调查对接东西部协作作业 不断创始鲁渝协作作业新局面
全国首条零碳才智高速——济青中线济潍段正式通车 山东高速公路通车路程打破8200公里
上一篇:【48812】企业架构的组成
下一篇:【48812】IT架构