在先期技术攻关基础上，国防科技大学申报了国家科技部“十二五”863计划，并于2011年12月通过立项评审，天河二号攻关战役正式打响。翌年3月，该校与广东省、广州市、中山大学签署合作协议，通过军民融合式发展，共建广州超级计算中心。各方的大力支持，为天河二号的研制注入强劲动力，使研制工作迈入“快车道”。
在国家重大专项支持下，科研人员自主研制出当前国内主频最高的新一代“飞腾－1500”CPU。它的芯片只有拇指盖大小，却相当于13亿个晶体管在工作。4096个这样的芯片构成的服务阵列，蔚为壮观。
世界超算的发展历程表明，计算能力每提高一个量级，都需要体系结构的创新和关键技术的突破。超算要突破亿亿次级决不是量的简单叠加，而是全系统质的跨越。
体系结构是高性能计算机的“筋骨”。独具匠心的“异构融合体系”在天河一号中获得成功。研制人员在此基础上，再辟蹊径自主创新了新型异构多态体系结构，设计了微异构计算阵列和新型并行编程模型和框架，并在高速互联、新型层次式加速存储架构等方面取得了一系列创新和突破。
随着系统规模扩大，用电量随之大增。有人惊呼，照此发展下去，每台超级计算机需配备一个专用发电厂，才能满足其满负荷运行。天河二号通过采用综合化能耗控制，实现了层次式优化框架、自适应能耗控制算法等电源设计，有效提高了系统的能效比。
一个对比令人惊叹：与天河一号相比，天河二号执行相同计算任务的耗电量只有前者三分之一。