充宪兵连为宪兵营，并于黄埔军校成立宪兵训练所。

到了北伐时期，蒋jie石将原宪兵营整编为三个独立连，另成立宪兵团，随军北伐。

济南惨案后，南京政府慎重中日外交绝续，于1929年5月1日，在南京组成临时宪兵司令部，选任黄埔军校训练部主任为司令，率宪兵一、二团开赴山东，接收青岛、济南，任务完成后，于同年十二月将宪兵司令部撤销。宪兵两团，归首都卫戌部节制。

1932年1月16日，宪兵司令部正式成立于南京，以谷正伦为司令，其采日、德宪兵之精华，融合革命潮流与国情之需要，颁《宪兵令》及《宪兵服务规程》，明订宪兵主掌军事警察，兼掌行政警察、司法警察。

这类宪兵归属谷正伦下辖指挥，还有一类秘密宪兵是谷正伦也指挥不动的。这类秘密宪兵的前身，大体可以上溯到北伐战争时期的叶挺“铁军”。

随着国民政府统治的巩固，蒋jie石于1928年开始对全国200万军队进行选拔，经过层层严格筛选，组成了一支8000人左右的卫队。

这支倾尽国力组建的卫队成员，个个身怀绝技，以一当百。这支卫队，对内则称为委员长特别卫队，对外则叫做中国宪兵。

据传闻，在围剿红军最为关键之际，国民政府不止一次动过调动中国宪兵进攻苏区的念头，但蒋jie石担心伤亡过大，得不偿失，才使这项决定终被搁浅。