【中国信通院人工智能开发平台第三轮功能评测开始报名】
一、评测背景
在政策和市场需求的双重驱动下，商业化人工智能开发平台发展迅猛，与此同时，产品良莠不齐、缺乏统一标准、供需不匹配等问题给用户方和产品方都带来了极大的挑战。首先，AI平台等基础设施的搭建成本和门槛较高，需要技术专家花费大量时间维护开发环境，即使是采购或者合作共建，也要花费大量的精力做产品选型和验证性测试（POC）；其次，AI模型开发的技术门槛较高，对开发者的AI知识和业务经验要求高，且开发过程往往需要反复迭代和试错，对AI平台的完备性、易用性和流程化提出了很高的要求；此外，在生产环境中，AI的运维管理较为复杂，不仅开发应用流程长，还涉及数据、算法、模型等多要素的版本管理和交互，以及数据科学家、IT工程师等多种角色的协作。
为进一步标准化和规范化人工智能开发平台建设、树立行业基准和标杆，助力应用开发建设项目选型验收、全方位提升行业服务能力，中国信息通信研究院现正式启动人工智能开发平台第三轮功能评测。
二、评测对象
评测面向人工智能开发平台供应商和人工智能开发平台应用方提供业界人工智能平台最全面的功能评测。对于产品方，评测可以客观地评价企业AI开发平台的技术水平，横向对标企业技术能力现状，圈定国内AI开发平台企业第一梯队的行业地位，为产品提升技术和产品能力提供参考；对于用户方，评测在重点考察AI开发平台功能的基础上，系统评估企业应用AI开发平台的成熟度水平，同时横向对标垂直领域用户的应用情况，为产业界树立平台应用示范，为用户方提升应用水平提供参考。
三、评测依据
评测依据《人工智能开发平台系统的功能要求》标准，围绕人工智能开发平台的数据处理、模型构建、模型部署、支撑与服务等4个能力域，共23个能力项开展。评测参考标准文件中的智能化分级策略，根据AI开发平台的功能丰富度和系统成熟度，设定了五级预期评价结果，分别为：基础级、增强级、专业级、领先级和旗舰级。4个能力域全部通过评测的企业，平台按各个能力域评测情况综合考量获得相应等级。
中国信息通信研究院自2021年起推出人工智能行业最全面的人工智能开发平台功能评测体系，现已面向11家企业完成累计23个能力域的产品能力评测和应用成熟度评测。
人工智能开发平台功能评测体系（如图1）
人工智能开发平台功能评测情况一览（如图2）
四、评测流程
1、确认评测意向，签订商务合同
企业确认评测意向，并进行商务合同确认。
2、对接评测细节，敲定评测时间
签订商务合同后，向参评企业提供明确的测试用例，供参评企业进行内部评估及评测环境准备。
3、现场专人评测，访谈审查演示
参评企业针对测试方法完成内部评估，确认可以实际进行评测后，可与技术咨询联系人商议具体的评测时间，评测排期有限，先到先得。完成排期后，测试人员将在排期期间内通过人员访谈、资料审查和参评企业人员演示的方式完成评测。
4、组织专家评审，针对结果答辩
本轮评测周期结束后，将召开专家评审组会议，对完成评测的企业、测试报告及评测结果进行评审。
5、举办成果大会，颁发证书报告
本轮评测证书和报告拟定于2022年6月底“可信AI成果发布会”上颁发。
6、1对1能力提升，评测答疑解惑
面向参评企业提供评测解读以及能力提升咨询。
五、评测时间安排
1、评测报名：2022年2月至2022年4月底
2、评测执行：2022年4月至2022年5月底
3、专家评审：2022年6月上旬
4、证书颁发：2022年6月底可信AI成果大会
六、评测联系人
董老师
15910462421（微信同号）
donghao@caict.ac.cn
丁老师
18310905691（微信同号）
dingxinhui@caict.ac.cn
一、评测背景
在政策和市场需求的双重驱动下，商业化人工智能开发平台发展迅猛，与此同时，产品良莠不齐、缺乏统一标准、供需不匹配等问题给用户方和产品方都带来了极大的挑战。首先，AI平台等基础设施的搭建成本和门槛较高，需要技术专家花费大量时间维护开发环境，即使是采购或者合作共建，也要花费大量的精力做产品选型和验证性测试（POC）；其次，AI模型开发的技术门槛较高，对开发者的AI知识和业务经验要求高，且开发过程往往需要反复迭代和试错，对AI平台的完备性、易用性和流程化提出了很高的要求；此外，在生产环境中，AI的运维管理较为复杂，不仅开发应用流程长，还涉及数据、算法、模型等多要素的版本管理和交互，以及数据科学家、IT工程师等多种角色的协作。
为进一步标准化和规范化人工智能开发平台建设、树立行业基准和标杆，助力应用开发建设项目选型验收、全方位提升行业服务能力，中国信息通信研究院现正式启动人工智能开发平台第三轮功能评测。
二、评测对象
评测面向人工智能开发平台供应商和人工智能开发平台应用方提供业界人工智能平台最全面的功能评测。对于产品方，评测可以客观地评价企业AI开发平台的技术水平，横向对标企业技术能力现状，圈定国内AI开发平台企业第一梯队的行业地位，为产品提升技术和产品能力提供参考；对于用户方，评测在重点考察AI开发平台功能的基础上，系统评估企业应用AI开发平台的成熟度水平，同时横向对标垂直领域用户的应用情况，为产业界树立平台应用示范，为用户方提升应用水平提供参考。
三、评测依据
评测依据《人工智能开发平台系统的功能要求》标准，围绕人工智能开发平台的数据处理、模型构建、模型部署、支撑与服务等4个能力域，共23个能力项开展。评测参考标准文件中的智能化分级策略，根据AI开发平台的功能丰富度和系统成熟度，设定了五级预期评价结果，分别为：基础级、增强级、专业级、领先级和旗舰级。4个能力域全部通过评测的企业，平台按各个能力域评测情况综合考量获得相应等级。
中国信息通信研究院自2021年起推出人工智能行业最全面的人工智能开发平台功能评测体系，现已面向11家企业完成累计23个能力域的产品能力评测和应用成熟度评测。
人工智能开发平台功能评测体系（如图1）
人工智能开发平台功能评测情况一览（如图2）
四、评测流程
1、确认评测意向，签订商务合同
企业确认评测意向，并进行商务合同确认。
2、对接评测细节，敲定评测时间
签订商务合同后，向参评企业提供明确的测试用例，供参评企业进行内部评估及评测环境准备。
3、现场专人评测，访谈审查演示
参评企业针对测试方法完成内部评估，确认可以实际进行评测后，可与技术咨询联系人商议具体的评测时间，评测排期有限，先到先得。完成排期后，测试人员将在排期期间内通过人员访谈、资料审查和参评企业人员演示的方式完成评测。
4、组织专家评审，针对结果答辩
本轮评测周期结束后，将召开专家评审组会议，对完成评测的企业、测试报告及评测结果进行评审。
5、举办成果大会，颁发证书报告
本轮评测证书和报告拟定于2022年6月底“可信AI成果发布会”上颁发。
6、1对1能力提升，评测答疑解惑
面向参评企业提供评测解读以及能力提升咨询。
五、评测时间安排
1、评测报名：2022年2月至2022年4月底
2、评测执行：2022年4月至2022年5月底
3、专家评审：2022年6月上旬
4、证书颁发：2022年6月底可信AI成果大会
六、评测联系人
董老师
15910462421（微信同号）
donghao@caict.ac.cn
丁老师
18310905691（微信同号）
dingxinhui@caict.ac.cn
1、MC分级标准是什么？
①按精度等级可分为在某特定领域内具有最高计量学特性的基准和通过与基准比较来定值的副基准，或具有不同精度的各等级标准。
②按组成结构可分为单个的标准器，或由一组相同的标准器组成的、通过联合使用而起标准器作用的集合标准器，或由一组具有不同特定值的标准器组成的、通过单个地或组合地提供给定范围内的一系列量值的标准器组。
③按适用范围可分为经国际协议承认、在国际上用以对有关量的其他标准器定值的国际标准器，或经国家官方决定，承认在国内用以对有关量的其他标准器定值的国家标准器，或具有在给定地点所能得到的最高计量学特性的参考标准器。
④按工作性质可分为日常用以校准或检定测量器具的工作标准器，或用作中介物以比较计量标准或测量器具的传递标准器，或有时具有特殊结构、可供运输的搬运式标准器。
⑤按工作原理可分为由物质成分、尺寸等来确定其量值的实物标准或由物理规律确定其量值的自然标准。上述分类不是排他性的，例如，一个计量标准可以同时是基准，是单个的标准器，是国家标准器，是工作标准器，又是自然标准。