国民党军的政治工作大致经历了三个时期：北伐时期为政工新生期，国共内战时期为政工消沉期，抗战时期为政工复兴期。第一期的对象是北洋军阀，因军阀没有政治头脑，没有政治眼光，没有政治技术，而北伐时期的政工人员绝大部分由共产党员充任，故政工朝气蓬勃，成效显著。
南京国民政府成立后，军委会政治部于1927年8月被撤销。不久，成立政治训练部，主导军队政治工作，但其职责仅为宣传与联络，政工沦落为“替军队贴标语”的地步。济南惨案发生后，蒋介石将原因归咎于政工人员贴标语惹祸，遂将军以下之政训机关一律撤销。其后新军阀混战不断，各军离合向背无常，政工完全停顿。对这一阶段的军队政工，时人有过如下评述：
自十七年完成北伐，至二十年“剿匪”，为时三年，可谓整个陷于停顿状态中，其失败原因：一则由于在初创时期，政工制度含有监军作用，因政工人员使用不当，事无巨细，辄取管理与干涉态度，使军事长官对部属失去处分自由，致引起反感；再则中央以共党操纵民运，清共后为正本清源计，断然将民运工作停止，自是政治工作即失其重要的一环，因此政工人员不敢再与民众接触，从而军民隔离，分道扬镳，结果贪污盛行于上，反动派操纵播弄于下，所有过去民众对政治工作人员的信仰与同情，完全丧失；清共后，政工干部减少，部队又加扩充，原有政工干部不敷，乃起用未经训练人员，其缺乏政工志趣与技术，复无党的认识与革命热情，因之本身腐化日益加深，不惟不足帮助部队，反而妨害部队，故于国军克服济南后，总裁乃毅然撤销各级政工组织。
对此，蒋介石也抱有同感。他在1929年2月曾对军队的党务和政工进行检讨：
现在国民革命军军队里的党务和政治工作，几乎可以说是没有了。党的军队，虽然还挂上革命军的名称，但从前革命的精神和属性差不多全失去了。
军队的政治工作不能做，甚至党务也有名无实，或毫无党务可言。这是什么道理呢？其中的原因：第一，从前做党代表和政治工作的人员差不多都是共产党，或受了共产党理论和宣传影响的人，后来共产党对本党的阴谋暴露之后，因为反对共产党，就对政治和党务工作人员也不信任了！第二，是军队里带兵官长，本来就对党代表和政治工作人员怀有成见，只是没有机会来反对，自从有了反共的机会，他们不仅是对党代表和政治工作人员要反对，连党代表的制度以及政治工作的计划也要全部取消了！……所以后来的政治工作没有一点效力，并且在军队中发生不好的影响！
30年代初，为配合“剿共”，国民党军先后设立海陆空军总司令部“剿匪宣传处”、训练总监部“剿匪训练处”、军事委员会政训处等机构，但国民党军的政工一直处于衰微低落状态。
抗战爆发后，国共再次合作，政工制度再度复兴。1938年2月，国民政府军事委员会设立政治部，总管军队政治工作，以陈诚为部长，周恩来、黄琪翔为副部长，下设秘书处、总务厅、第一厅（负责军队和军事学校的政治训练）、第二厅（负责民众运动及国民军事训练）、第三厅（负责宣传）。贺衷寒、康泽与郭沫若分任第一、第二和第三厅厅长。抗战初期，第三厅任用了不少共产党员和左派知识分子，既体现了国共合作精神，也有借重共产党人之处。但与北伐时期不同的是，中共党员没有直接参与战时国民党军队的政治工作。
1938年3月，军事委员会通令：陆海空军各部队一律设置政治部及团连指导员，并规定政工人员的职责为主持军队政治训练，督促军民合作。抗战时期，国民党军队的政工机构多次改制：开始是按部队层级，自战区、行营、集团军、军、师、团、营、连，逐级分设政工机构。后鉴于层级过多，分工过细，人员经费缺乏，乃以师政治部为重心，师以上的军、集团军不设实级的政工机构；其后军、师两级的政工机构又多次调整，或军实师虚，或军虚师实。只有战区设政治部和团、连设指导员则基本未变。故战时国民党军队政工大体为：军委会政治部→战区政治部→军政治部→师政治部→团指导员室→连指导员。人员编制，战区政治部一般有上百人，军政治部七八十人，师政治部十多人，团、连数人。随着政工机构的扩大，国民党军队政工人员的数量亦迅速增加。抗战前夕，全国军队政工人员仅3000多人，到1940年初即增至3万人。
1940年，张治中接替陈诚担任军委会政治部部长，主持战时政治工作达五年之久。他认为部分政工人员在对日作战中，具有与官兵同生死、共患难的精神。自1940年至1944年五年间，在湘北、中条山、浙赣、鄂西、常德、中原、衡阳、桂林等八次战役中，政工人员共阵亡434人，受伤492人，失踪560人。但抗战愈至末期，政工本身力量与客观原因相互激荡，矛盾愈益加深，困难愈益扩大，以致缺点毕露，功用尽失。其主要原因，在于政工人员的出路和待遇远不如职业军官。战时职业军官升迁快速，而政工人员则受种种限制，升迁无望。至于政工人员的待遇，表面上与部队长官一致，实际上则显有轩轾，如武器、马匹、车辆等项，均不配给政工人员。由于政工人员待遇低，升迁慢，职权小，一般军官视政工为畏途，不惟高级军官多不愿转任政工，即军校出身之初级军官，亦视政工为毫无出路之工作而加以鄙弃，导致政工干部来源极度缺乏。而现有政工人员觉得个人前途黯淡，情绪低落，不安于位，从而导致政工人才缺乏，素质下降。中下级政工干部补充尤感不易，连级指导员经常空缺，只好由副连长或排长兼任。而连排长因本身职务过繁，多无暇兼顾，以致基层政治工作经常处于空虚状态。
抗战胜利后，在军队国家化的目标下，军队的政工制度日趋衰微。1948年2月，国防部新闻局与民政局合并改称政工局，但军队的政工却一直陷于瘫痪局面。国民党的军队“在思想上失去了重心，在意志上丧失了灵魂，不但不知道如何而战，甚至不知道为何而战”。
1949年国民党败退台湾后，蒋介石在检讨军事失败时认为，军事的溃败与政工有着密切的联系：自从党代表制取消，政治部改成部队长的幕僚机关以后，军队的监察即无从实施，同时因为政工人事的不健全，故政训工作亦完全失败。……又由于政工人员本身程度的低落，对于主义的认识不够，于是官兵皆缺乏政治训练，对敌作战就意志薄弱，战斗精神完全丧失，尤其对民众则不知爱护联系，甚至恣意骚乱，以致军风纪荡然无存。这种没有灵魂的军队自然非走上失败道路不可。因此，他提出：“从长官公署以至连排，要构成一个公正无私的监察系统，要选择最优秀的干部来充任政工人员，务使命令贯彻，纪律严明。而要做到这一步，首先要从改革政工制度做起。”
蒋介石的得力大将陈诚也认为，必须重建政工制度。他说：“三十八年一年，整个大陆易手，我们研究失败的原因，当然最重要的就是军队不能打仗，而军队何以不能打仗？归纳起来，原因有三：一、军官吃空，贪污；二、军中渗入共谍；三、士气低落。因此，进一步研究如何消灭这三种原因，以图恢复军队新生。当时众议咸同，就是重建政工制度。”
