1982年8月，刘华清同志被任命为海军司令员。他与海军新一届领导班子同心协力，消除派性，果断处理历史遗留问题，整顿党委班子，整顿部队作风。他依据积极防御战略方针，提出“近海防御”海军战略，确定海军作战方针；他定位海军建设目标，提出要建立一支精干顶用的具有现代战斗能力的人民海军；他强调海军装备建设的指导思想要从数量型向质量型转变，从沿岸型向近海型转变，主张大力发展与近海作战相适应的中大型舰艇、核潜艇及航空母舰，组织指挥水下发射运载火箭、核潜艇深潜试验等，使海军装备水平有了很大提高；他按照仗怎么打、兵就怎么练的思路创新训练内容和方法，领导制定《海军师以上首长机关训练大纲》等，组织首次西太平洋海域远航合成训练、首次南极考察等活动，书写出海军训练史上的崭新篇章；他从实际出发，在海军战场建设上贯彻“保障战备、兼顾生活、注重质量、厉行节约”的方针，推动建设适应现代战争要求的海军作战指挥、兵力驻屯和后勤保障三大体系；他始终把院校建设放在海军建设的重要地位，要求把培养、选拔和使用人才相结合，做到编配有据，进出有序，汰庸擢贤，并提出对舰艇部门长进行通科培养，从年轻优秀的飞行员中培养大型水面舰艇舰长；他积极推动建立海军装备论证中心和海军学术研究所等科研机构，注重发挥海军院校在科研工作中的优势；他强调要以海上保障为重点，逐步建立与装备和部队发展相同步、与现代海上作战相适应的平战结合、岸海一体、机动快速的后勤保障体制；他大力推进人民海军与各国海军的交流，组织首次驱逐舰编队出访南亚三国。在担任海军司令员期间，刘华清同志以科学的态度和稳健的措施，全面推进海军编制体制、教育训练、装备管理、后勤保障、战场建设、政治工作及基层建设等改革，海军的面貌发生了很大变化，综合作战能力有了显著提高。
上世纪80年代末，刘华清同志开始参加中央军委领导工作，随后成为军队领导人和党的第三代中央领导集体成员。他高举中国特色社会主义伟大旗帜，坚决贯彻毛泽东军事思想、邓小平新时期军队建设思想、江泽民国防和军队建设思想，坚决执行中共中央、中央军委的战略部署，为建设强大的现代化正规化革命军队，为探索具有中国特色的国防和军队建设道路作出了重大贡献。
1987年11月，刘华清同志任中央军委委员、副秘书长。当时，国防科技装备管理体制问题突出，全军武器装备失修严重。邓小平同志对他说：“调你来就是抓装备，抓现代化！”他不负重托，把治理整顿和强化管理有机结合，对一些久拖不决的问题和需要尽快攻关的重大关键技术难点大胆拍板。他提出了建立总装备部、加强武器装备集中统管的建议和方案；他按照“区分档次、保证重点”的思路集中解决装备失修问题，力保在役装备处于良好状态；他主持制定了加快空军建设发展规划和具体实施方案，组织自主研制空中加油机，结束了国产飞机不能空中加油的历史。1989年8月，他针对国际环境变化和我国科技工业存在的体制不顺、管理多头的状况，向中央提出了独立自主，加快武器装备发展的建议，受到中央的高度重视。
在此期间，他还参加组织加快和深化军队改革工作的论证，参与组织修改《加快和深化军队改革的工作纲要》。他从捍卫国家主权和领土完整、维护国家安全和发展利益的高度，强调要增强海洋领土意识、注重经略海洋。他主持起草了《关于加强南沙斗争的建议》，参与指导南沙防卫斗争，取得赤瓜礁海战的胜利，指导完成设置南沙永暑礁海洋观测站、驻防南沙华阳礁等礁盘和修建西沙永兴岛机场等重大任务，显示了中国军队捍卫南海主权的决心，为维护国家海洋权益作出重大贡献。
1989年11月，刘华清同志任中共中央军事委员会副主席。1990年4月，他任中华人民共和国中央军事委员会副主席。1992年10月，在党的十四届一中全会上，刘华清同志当选为中共中央政治局委员、常委，进入新一届中央领导集体，继续任中央军委副主席，协助军委主席江泽民同志主持中央军委日常工作。