MLPerf组织发布的推理基准测试（Benchmark）MLPerf Inference v0.7结果，总共有23个组织提交了结果，相比上一个版本（MLPerf Inference v0.5）的12个提交者增加了近一倍。

 

 

结果显示，今年5月NVIDIA（Nvidia）发布的安培（Ampere）架构A100 Tensor Core GPU，在云端推理的基准测试性能是Intel CPU的237倍。

 

 

MLPerf Inference V0.7部分结果截图 

 

的AI推理测试结果意味着，NVIDIA未来可能在AI推理和训练市场都占据领导地位，给云端AI推理市场拥有优势的Intel带来更大压力的同时，也将让其他追赶者面临更大挑战。

 

MLPerf推理基准测试进一步完善的价值

 

与2019年的MLPerf Inference v0.5版本相比，的0.7版本将测试从AI研究的视觉和语言的5项测试，扩展了到了包括推荐系统、自然语言理解、语音识别和医疗影像应用的6项测试，并且有分别针对云端和终端推理的测试，还加入了手机和笔记本电脑的结果。

 

扩展的测试项从MLPerf和业界两个角度都有积极意义。

 

 

MLPerf Inference v0.5测试项

 

 

MLPerf Inference v0.7数据中心测试项

 

 

MLPerf Inference v0.7边缘端测试项

 

任何一个基准测试都需要给业界具有参考价值的指标。MLPerf基准测试是在业界缺乏对AI芯片公认的评价标准的2018年诞生，因此，MLPerf组织既需要给出各方都认可的成绩，还需要根据AI行业的发展完善评价标准。

 

不过，AI行业发展迅速，AI模型的参数越来越多，应用的场景也越来越广泛。评价AI芯片和系统的推理性能需要涵盖可编程性、延迟、准确性、模型大小、吞吐量、能效等指标，也需要选择更具指导价值的模型和应用。

 

此次增加的推荐系统测试对于互联网公司意义重大。在王喆的《深度学习推荐系统》一书中提到，2019年天猫“双11”的成交额是2684亿元，假设推荐系统进行了优化，整体的转化率提高1%，那么增加的成交额大约为26.84亿元。

 

另外，MLPerf Inference v0.7中增加医疗影像3D U-Net模型测试与新冠大流行以及AI在医疗行业的重要性与日俱增密切相关，比如一家初创公司使用AI简化了超声心电图的采集工作，在新冠大流行初期发挥了作用。

 

基准测试从v0.5到v0.7，能够为要选用AI芯片和系统的公司提供更直观和有价值的参考是MLPerf基准测试的价值所在，比如，帮助金融结构的会话式AI更快速回答客户问题，帮助零售商使用AI保证货架库存充足。

 

与此同时，这也将促进MLPerf组织在业界的受认可程度，从接近翻倍的提交成绩的组织就能看出来。

 

GPU云端推理性能是CPU的237倍

 

过去几年，云端AI训练市场NVIDIA拥有优势，云端AI推理市场被Intel赚取了大部分利润是事实。这让不少人都产生了GPU更适合训练而CPU更适合推理的认知，但MLPerf的推理测试结果可能会改变这一观点。

 

MLPerf Inference V0.7的测试结果显示，在数据中心OFFLINE（离线）测试模式下，赛灵思U250和IntelCooper Lake在各个测试模型下与NVIDIAT4的差距不大，但A100对比CPU、FPGA和自家的T4就有明显的性能差距。

 

 

在SERVER模式下的推荐系统DLRM模型下，A100 GPU对比IntelCooper Lake有237倍的性能差距，在其他模型下也有比较显著的差距。值得注意的是，Intel的Cooper Lake系统的状态还是预览，其余三款芯片的系统都已经可用。

 

 

A100 GPU的优势也在边缘推理中也十分明显。在单数据流（Singel-Stream）测试中，A100对比NVIDIAT4和面向边缘终端的NVIDIAJetson AGX Xavier有几倍到十几倍的性能优势。在多数据流（Multi-Stream）测试中，A100对比另外两款自家产品在不同AI模型中有几倍到二十多倍的性能优势。

 

 

在边缘OFFLINE模式下，A100对比T4和Jetson AGX Xavier也有几倍到二十多倍的性能优势。

 

这很好地说明A100的安培架构以及其第三代Tensor Core优势的同时，也表明了NVIDIA能够覆盖整个AI推理市场。

 

在此次提交结果的23家公司中，除了NVIDIA外还有11家其合作伙伴提交了基于NVIDIA GPU的1029个测试结果，占数据中心和边缘类别中参评测试结果总数的85％以上。

 

从提交结果的合作伙伴的系统中可以看到，NVIDIAT4仍然是企业的边缘服务器推理平台的主要选择。A100提升到新高度的性能意味着未来企业边缘服务器在选择AI推理平台的时候，可以从T4升级到A100，对于功耗受限的设备，可以选择Jeston系列产品。

 

特别值得注意的是，NVIDIA GPU首次在公有云中实现了超越CPU的AI推理能力。

 

临界点到来？AI推理芯片市场竞争门槛更高

 

五年前，只有少数的高科技公司使用GPU进行推理。如今，NVIDIAGPU首次在公有云市场实现超越CPU的AI推理能力，或许意味着AI推理市场临界点的到来。NVIDIA还预测，基于其GPU的总体云端AI推理计算能力每两年增长约10倍，增长速度高于CPU。

 

 

另外，NVIDIA还强调基于A100高性能系统的成本效益。NVIDIA表示，一套DGX A100系统可以提供相当于近1000台双插槽CPU服务器的性能，能为客户AI推荐系统模型从研发走向生产的过程，具有极高的成本效益。

 

 

同时，NVIDIA也在不断优化推理软件堆栈，进一步提升在推理市场的竞争力。

 

感受到影响的会是Intel，但在云端AI推理市场体现出显著变化至少需要几年时间，因为企业在更换平台的时候会更加谨慎，生态的护城河此时也更能体现出价值。

 

但无论如何，我们都看到NVIDIA在AI市场的强势地位。雷锋网七月底报道，在MLPerf发布的MLPerf Training v0.7基准测试中，A100 Tensor Core GPU，和HDR InfiniBand实现多个DGX A100 系统互联的庞大集群DGX SuperPOD系统在性能上开创了八个全新里程碑，共打破16项纪录。

 

安培架构A100在MLPerf的训练和推理成绩表明NVIDIA不仅给云端AI训练的竞争者更大的压力，也可能改变AI推理市场的格局。

 

NVIDIA将其在云端训练市场的优势进一步拓展到云端和边缘推理市场符合AI未来的发展趋势。有预测指出，随着AI模型的成熟，市场对云端AI训练需求的增速将会降低，云端AI推理的市场规模将会迅速增加，并有望在2022年超过训练市场。

 

另据市场咨询公司ABI Research的数据，预计到2025年，边缘AI芯片市场收入将达到122亿美元，云端AI芯片市场收入将达到119亿美元，边缘AI芯片市场将超过云端AI芯片市场。

 

凭借强大的软硬件生态系统，NVIDIA和Intel依旧会是AI市场的重要玩家，只是随着他们竞争力的不断提升，其他参与AI市场竞争的AI芯片公司们面临的压力也随之增加。

 

深圳市信通吉电子有限公司（简称信通吉KingTong），企业总部位于香港，成立于2010年，在香港设立业务和进出口中心，并加入了HKI、TBF、Seekic、ICsource 等各大平台。公司在深圳宝安区、深圳福田区设立办事处和现货仓储点，为满足不同客户需求设立了电源事业部、配套事业部和海外事业部。公司致力推广电源管理芯片、内存储器、二三极管、ESD静电管产品，产品涵盖：电源管理芯片、接口芯片、数字隔离器、模数转换器、精密放大器、仪表放大器、微控制器、传感器、静电保护元件TVS/ESD等已有超3000+型号产品现货，6000+型号订货资源，产品广泛应用于：消费电子、能源、通信设备、医疗器械、仪器仪表和测量、电机控制系统、安防、过程控制和工业自动化、工业4.0、物联网、媒体播放器、数据处理及储存等领域。

 

十年来，信通吉KingTong一直秉承“质量撑起永不落的太阳“的宗旨，以诚取信，以质取胜，服务至上的为国内外多家厂商提供了各种元器件配套服务，与之建立了长期的合作关系。奠定了在国内电子产品应用领域的地位。

 我们正在做的事情：十年芯程，一路原装，现货供应！

优势现货：SN65LBC176DR、SN65LBC176ADR、SN75LBC176DR、SN75LBC176ADR、SN75LBC184DR、SN65LBC184DR、SN65176BDR、SN75176BDR、SN75176ADR、DS75176BM、DS75176BTM、SN65HVD07DR、SN75HVD07DR、SN65HVD08DR、SN75HVD08DR、SN65HVD10DR、SN75HVD10DR、SN65HVD11DR、SN75HVD11DR、SN65HVD12DR、SN75HVD12DR、SN65HVD72DR、SN65HVD75DR、SN65HVD78DR、SN65HVD251DR、SN65HVD485EDR、SN65HVD3082EDR、SN75HVD3082EDR、SN65HVD3082EDGK、SN65HVD3085EDR、SN65HVD3085EDGK、SN65HVD1786DR、AT24C01C-SSHM-T、AT24C02C-SSHM-T、AT24C04C-SSHM-T、AT24C02D-SSHM-T、AT24C04D-SSHM-T、AT24C08C-SSHM-T、AT24C16C-SSHM-T、AT24C32D-SSHM-T、AT24C64D-SSHM-T、AT24C128C-SSHM-T、AT24C256C-SSHL-T、AT24C512C-SSHD-T、AT93C46DN-SH-T、AT93C56B-SSHM-T、AT93C66B-SSHM-T、LM2575SX-3.3、LM2575SX-5.0、LM2575SX-12、LM2575SX-ADJ、LM2575T-3.3、LM2575T-5.0、LM2575T-12、LM2575T-ADJ、LM2576SX-3.3、LM2576SX-5.0、LM2576SX-12、LM2576SX-ADJ、LM2576T-3.3、LM2576T-5.0、LM2576T-12、LM2576T-ADJ、LM2576HVSX-5.0、LM2576HVSX-12、LM2576HVSX-ADJ、LM2576HVT-5.0、LM2576HVT-12、LM2576HVT-ADJ、LM2596SX-3.3、LM2596SX-5.0、LM2596SX-12、LM2596SX-ADJ、LM2596T-3.3、LM2596T-5.0、LM2596T-12、LM2596T-ADJ、LM2596T-3.3、LM2596T-5.0、LM2596T-12、LM2596T-ADJ、LM2594MX-3.3、LM2594MX-5.0、LM2594MX-ADJ、LM2594MX-12、LM2595SX-3.3、LM2595SX-5.0、LM2595SX-12、LM2595SX-ADJ、LM1084ISX-3.3、LM1084ISX-5.0、LM1084ISX-ADJ、LM1085ISX-3.3、LM1085ISX-5.0、LM1085ISX-ADJ、LM1086ISX-3.3、LM1086ISX-5.0、LM1086ISX-ADJ、LM1084IT-3.3、LM1084IT-5.0、LM1084IT-ADJ、LM1085IT-3.3、LM1085IT-5.0、LM1085IT-ADJ、LM1086IT-3.3、LM1086IT-5.0、LM1086IT-ADJ、LM1086CSX-3.3、LM1086CSX-5.0、LM1086CSX-ADJ、LM2940T-5.0、LM2940SX-5.0、LM2940CSX-5.0、LM3940IMPX-3.3、LM321MFX、TLV333IDBVR、OPA330AIDBVR、OPA333AIDBVR、OPA2348AIDR、OPA2277UA、OPA277UA、LM317S、LM317T、LM317AEMPX、LM317EMPX、LM317MDTX、LM317AMDTX、LM317LCDR、LM317LIDR、LM317LMX、TLC555IDR、TLC555CDR、LMC555CM、LM555CMX、LM7805CT、LM7808CT、LM7809CT、LM7812CT、LM7815CT、LM78L05ACZ、LM285Z-1.2、LM285Z-2.5、LM385Z-1.2、LM385Z-2.5、LM336Z-2.5、LM336Z-5.0、LM385M3X-1.2、LM385M3X-2.5、LM385MX-1.2、LM385MX-2.5、LP2951ACMX、LP2951CMX、LP2951ACMX-3.3、LP2951CMX-3.3、M358ADR、LM358DR、LMV358MX、LM358MX、LMV358MMX、LMV358IDR、LMV358IDGKR、LM258DR、LM293DR、LM293ADR、LM393DR、LM324DR、LM324ADR、LM2903DR、MC33063ADR、MC34063ADR、NE5532DR、NE5532ADR、RC4558DR、RC4580IDR、MAX232DR、MAX232IDR、MAX232CDR、MAX232EIDR、MAX232ECDR、MIC29302WU、MIC29302AWU、MIC29301-5.0WU、MIC29301-3.3WU、MIC29151-3.3WU、LM2937ES-5.0、LM1875T、OP07CDR、OP07DRZ、OP07CSZ、PCA82C250T、PCA82C251T、PCF8563T/5、LM1881MX、LM4871MX、LM331MX、LMV822MX、LMV722MX、LM386MX-1、LM340MPX-5.0、LM311M、LM567CM、LM567CN、LM741CM、LM741CN、LMC7660IMX、LP2980AIM5X-3.3、LP2980IM5X-3.3、LP2980AIM5X-5.0、LP2980IM5X-5.0、LP2980IM5X-ADJ、MAX3232IDR、MAX3232CDR、LM386N-1、LM1117MPX-1.8、LM1117MPX-2.5、LM1117MPX-3.3、LM1117MPX-5.0、LM1117MPX-ADJ、LM1117IMPX-3.3、LM1117IMPX-5.0、LM1117IMPX-ADJ、OPA2313IDR、OPA2374AIDR、LM324MX、LMV324MX、LMV824MX、NE555DR、EP1C4F324C8N、EP10K10TI144-4、EP10K30ABC356-1、EP10K30EFC484-3、EP1C12F256C8N、EP1C12F324C8、EP1C20F324C7N、EP1C20F400C8N、EP1C3T100C8N、EP1C3T144CB、EP1C4F324I7、EP1C4F400C8N、EP1K100FC484-3、EP1K30F256-3、EP1K30QC208-3、EP1K30TC144-2、EP1K50FC484-3N、EP1M120F484I6、EP1S10B672C7、EP1S10F672C7、EP1S20F672C7、EP1S20F780C7、EP1S25F672C8、EP1S25F780C7、EP1S30B956C6、EP1S30F780I6、EP1S30F780I6N、EP1S40GF1020I6、EP1SGX40GF1020I6、EP20K100EFC672-2X、EP20K160EQC208-8、EP20K160EQC240-3、EP20K200BC356-3、EP20K200EFC484-3、EP20K200EFI484-2X、EP20K200FC484-1、EP20K200FC484-3V、EP20K300EBC652-1、EP20K300EFC672-2X、EP20K400BC652-1XV、EP20K400EBC652-1、EP20K400EBI652-2X、EP20K400EFC672-2X、EP20K60EFC672、EP2A15F672C9、EP2S15F672C3、EP2S30F672C5N、EP2TC32、EPC1441TI32、EPC2TC32、EPC4QC100、EPF10K100ABC356-3、EPF10K100ABC356-3、EPF10K100ABC600-1、EPF10K100AFC484-2、EPF10K100ARC240-3、EPF10K100EFC484-2、EPF10K100EQC240-3、EPF10K100EQC240-3、EPF10K100QC208-3、EPF10K10ATC144-2、EPF10K10ATC144-3、EPF10K10ATC144-3、EPF10K10ATC144-4、EPF10K10ATC144-5、EPF10K10QC208-3、EPF10K10TC144-3、EPF10K10TC144-3、EPF10K130EFC484-3、EPF10K130EFI484-2、EPF10K130EQC240-3、EPF10K200EFC672-1、EPF10K200SBC600-3、EPF10K200SRC240-3、EPF10K20RC208-4、EPF10K20TC144-3、EPF10K250ABC600-2、EPF10K30ABC356-1、EPF10K30AFC484-1、EPF10K30AQC208-3、EPF10K30AQC240-3、EPF10K30ATC144-2、EPF10K30ATI144-3、EPF10K30BC356-4、EPF10K30RC208-4、EPF10K30RC240-4、EPF10K40RC208-3、EPF10K40VRC208-4、EPF10K50BC356-3、EPF10K50EFC256-3、EPF10K50EFC256-3、EPF10K50EFC484-1、EPF10K50EFC484-2、EPF10K50EFI256-2、EPF10K50EQC240-2、EPF10K50RC240-4、EPF10K50SFC484-2X、EPF10K50SQC240-3、EPF10K50VBC356-1、EPF10K50VBC356-2、EPF10K50VQC240-3、EPF10K50VRC240-3、EPF10K70RC240-3、EPF1K30TC144-1、EPF3064ATC100-7、EPF6010ATC144-1、EPF6016AQC208-1、EPF6016ATC100-1、EPF6016ATC144-3、EPF6016BC256-3、EPF6016QC208-2、EPF6016QC240-3、EPF6016TC144-3、EPF6024ABC256-3、EPF6024AFC256-2、EPF6024AQC208-2、EPF6024ATC144、EPF6024ATC144-1、EPF81188AQC208-3、EPF81188AQC240-4、EPF81188ARC240-3、EPF81500AQC240-2、EPF81500ARC240-2、EPF8282ATC100-2、EPF8282ATI100-3、EPF8282AVTC100-4、EPF8282TC100-2、EPF8452AQC160-3、EPF8452ATC100-4、EPF8536ARC208-5、EPF8636AQC160-3、EPF8636AQC208-4、EPF8636ARC208-4、EPF8820ABC225-4、EPF8820AQC160-4、EPF8820AQC208-3、EPF8820ARC208-4、EPFC484AA、EPM10K100ABC600-2、EPM10K100BFC256-1、EPM1270F256C5N、EPM240T100C5N、EPM3032ATC-10、EPM3032ATC44-10、EPM3064ATC100-10、EPM3064ATC44-7、EPM3128ATC100-5、EPM3128ATC100-7、EPM3128ATC144-10、EPM3256AFC256-7、EPM3256ATC144-10N、EPM3512AQC208-10、EPM5130QC-1、EPM570F256C5N、EPM570T144C5N、EPM6016AQC208-3、EPM6016ATC144-3、EPM7032AETC44-10、EPM7032ATC44-10N、EPM7032QC44-15、EPM7032STC44-10、EPM7032TC44-15、EPM7032VTC44-15、EPM7064AETC100-10、EPM7064AETC44-7、EPM7064AETI100-7、EPM7064BFC100-3、EPM7064BTC100-3、EPM7064BTC44-3、EPM7064QC100-10、EPM7064STC100-6、EPM7064STC44-10、EPM7064STI100-7、EPM7064TC44-7、EPM7096QC100-10、EPM7128AEFC100-7、EPM7128AEFC256-7、EPM7128AETC100-10、EPM7128AETI100-7、EPM7128ATC100-12、EPM7128EQC100-20、EPM7128QC100-15、EPM7128STC100-15、EPM7128AETC144-5、EPM7128ATC144-6、EPM7128ATI144-10、EPM7128BFC256-4、EPM7128BTC144-4、EPM7128QC160-20、EPM7128SQI160-10、EPM7160EQC100-10、EPM7160EQC160-15、EPM7160EQI100-15、EPM7160STC100-10、EPM7192EQC160-20、EPM7192QC160-15、EPM7192SQC160-10、EPM7256AEFC100-7、EPM7256AEFC256-10、EPM7256AEFI256-7、EPM7256AEQC208-10、EPM7256AETC100-10、EPM7256AETC100-7、EPM7256AETC144-7、EPM7256AETI100-7、EPM7256AFC256-7、EPM7256AFI256-10、EPM7256ATC100-7、EPM7256EQC160-12、EPM7256ERC208-12、EPM7256SQC208-7、EPM7256SRC208-7、EPM7512AEBC256-6/-7、EPM7512AEBC256-7、EPM7512AEFI256-10、EPM7512AEQC208-10、EPM7512AETC144-10、EPM7512AETC256-7、EPM81500ARC240-4、EPM81500ARC304-4、EPM8282ATC100-4、EPM8282ATC-4、EPM8452ATC100-4、EPM8820ATC144-2、EPM9480QC208AA、EPM9480RC208-15、EPM9560ABC356-10、EPM9560ARC208-10、EPQC240AA、EPX780QC132-10、EPX8160QC208-10、EPX880QC132-10、HC20K600FC672AA、IM9T-BUFGH、MPM9480QC208AB、XC7Z010-1CLG400C、XC7Z010-1CLG225C、XC7Z015-2CLG485I、EP2C5T144I8N、EP2C5T144C6N、EP2C5T144C8N、EP2C5T144C7N、EP2C5T144I8N、EPF10K20RC208-3N、EPF10K20RI240-4N、EPF10K50VQI240-2、EPF10K20RI240-4N、EPF10K50VQC240-3、EPF10K30RI208-4N、EPF10K20TI144-4N、EPF10K50EQC208-1、EP3C5E144C8N、EP3C40U484I7N、EP3C80F484C6N、EP3C16F484I7N、EP3SE80F780I3N、EP3SL200F1152C3N、XC7K480T-2FFG1156I、AD9767ASTZ、EP3C5U256C8N、EP2C35U484C6、EP2C35F672C7N、EP2C35F484I8N、EP2C35F672C8N、EP2C35F672I8N、EP2C35F484C7N、EP2C35F484C7N、5SGXMA4H2F35I3LN、EP3C5E144I7N、EP3C55F484I7N、EP1C3T144C7N、EP1C3T144I7N、EP1C3T100C8N、EP1C3T144C8N、EP2C35F484C7N、EP2C35F484C7N、5SGXMA4H2F35I3LN、EP3C5E144I7N、EP3C55F484I7N、EP1C3T144C7N、EP1C3T144I7N、EP1C3T100C8N、EP1C3T144C8N、EP3C40F324I7N、EP4CE30F23I7N、TLP185GB、TLP181、AD7740YRMZ、G3VM-352C、C8051F350CQ、2SC5439、2SA1162-GR、TLP721、2SK3569、SSM3K15F、2SC5356、TK31N60W、2SC2655-Y、RN1409、RN1401、TLP621、TLP2601、TLP3052、TLP285、2SJ349、2SK2613、2SK2610、SSM3K17FU、2SK2961、2SK3878、TLP521-4GB、TPD4144AK、TL2FL-DW1、SN74HCT138DR、SN74HCU04N、SN74LS09N、CD74HC238E、SN74HC4053N、AD7740YRMZ、SN74LVC573APWR、LM337LZ、SN74ALVC164245DGGR、SN74HC148N、SN74HC238N、SN74HCT14DR、AD9767ASTZ、AD9761ARSZ、AD9763ASTZRL、XC5VSX95T-2FFG1136C、EPM240T100C5N、ADM705ARZ-REEL7、AD8602ARZ-REEL7、ADUC836BSZ、AD5541ARZ-REEL7、HCPL-2232-000E、AD8307ARZ-RL7、AD9233BCPZ-125、ADXL345BCCZ-RL7、ADA4841-1YRJZ-R7、ADA4851-1YRJZ-RL7、ADA4851-1YRJZ-REEL7、ADM3483EARZ-REEL、ADM3485EARZ-REEL、ADUM1301ARWZ-RL、AD8692ARMZ、AD8692ARZ-REEL7、MAX5048BAUT+T、AD5410AREZ、AD5412AREZ-REEL7、OP27GPZ、ADP2114ACPZ-R7、AD823ARZ、AD823AARZ-R、AD8607ARZ-REEL7、OP295GPZ、AD5328BRUZ-REEL7、OP07CSZ-REEL、ADW71205YSTZ、AD8606ARZ、AD8606ARMZ-R7、AD8609ARUZ-REEL、AD8606ARZ-REEL7、AD8601ARTZ-REEL7、AD7730BRZ-REEL、AD7710ARZ-REEL、AD7790BRMZ-REEL、AD7788ARMZ-REEL、