晚清的军队建设一直是极为敏感的问题，在剿灭了太平军和捻军后，那些湘淮旧军改编的防军和练军在日本陆军、义和团之乱和八国联军的打击下，表现极为拙劣，几乎可以用溃不成军来形容。由此，按照西方的方法编练新军也就成了当务之急。1894年底，清廷委派胡燏棻在天津马厂一带募兵训练，开始编练了新军3个营。这支小部队麻雀虽小，五脏俱全，各兵种如步兵、骑兵、炮兵和工兵都齐了。由于样子看上去还不错，清廷便让他扩大规模。由此，胡燏棻便于第二年移驻距天津东南70里处的新农镇，也就是后来著名的小站（练兵）。小站原是淮系周盛传、周盛波所统领盛军的练兵场，在消灭捻军后，盛军在此驻扎了20多年。后来甲午战争爆发，盛军开赴前敌，因为平壤之战时盛军继任统帅卫汝贵临战溃逃而被处斩，盛军亦由此全部溃散。胡燏棻便在此地编就新军10营，包括步兵3000人，炮队1000人，马队250人，工程队500人，共计4750人，号称定武军。

定武军在编制、训练、战术、武器等方面完全摈弃了以往练军和湘淮旧军的习惯，而是”全盘西化“，完全按照西法操练，其中又以德国陆军为主要模式并聘请了一些德国军官担任教习。就当时而言，定武军是一支全新的部队，它不仅武器装备新，阵法训练也全是按照德国操典进行。可惜的是，这支新军建军刚一年，还没有焕发出它的全部生机，它的开创者胡燏棻就被调离前去督办津卢铁路，而他的接替者便是大家所熟悉的袁世凯。袁世凯出身官宦世家，他年轻的时候两次参加科举都宣告落第，于是便放弃功名，投靠了嗣父袁保庆的拜把兄弟吴长庆。吴长庆当时统率庆军六营驻防在登州，督办山东防务，袁世凯去后便在庆军营务处任会办一差。1882年8月，朝鲜局势动荡，清廷派庆军入朝鲜弹压，由此袁世凯在朝鲜帮办军务的时候崭露头角，以整顿军纪和镇压兵变有功，为朝鲜国王所看重，并获得清政府奖叙五品同知衔。袁世凯在朝鲜充分展示了他的军事才能，他帮朝鲜训练了一支5000人的德式新军，令朝鲜上下大为慑服。

袁世凯在这些事件中的出色表现，给李鸿章等朝廷大员留下了深刻的印象。后来，袁世凯便被清廷任命为”驻扎朝鲜总理交涉通商事宜“的全权代表，一举成为朝鲜的”监国“大员，而此时的袁世凯不过26岁。但是，在甲午战争爆发前，朝鲜风云变幻，袁世凯见势不妙，最终设法找了个机会落荒而逃，回到天津。在编练定武军的胡燏棻被调去督办津卢铁路，袁世凯乘机上下活动了一番，于是便得到了接替胡燏棻前往小站练兵的机会，这也是他真正的发迹之始。1895年12月，袁世凯到小站正式接管了定武军，随后又在山东、河南等地招来了2000多名淳朴强健的农家子弟，将原定武军的兵额招足到7300人，并将之改名为新建陆军。为了把新建陆军建成一支模范军，袁世凯花重金聘请了包括退役军官沙尔在内的十几位德国教习，并规定全军使用统一的新式步枪、马枪和快炮，其中大都为德制或奥制的标准化枪械。袁世凯治军严厉，管理极严，他本人在军营中也是以身作则，日则督操，夜则巡营，从不懈怠。

有一晚袁世凯巡营，偶然发现一士兵偷食鸦片，他当场拔出佩刀将之手刃，全营为之震惊，自此营中再无人敢食鸦片。袁世凯平时都和普通士兵一样，着军服、扎皮带、穿马靴、挂佩刀，一副赳赳武夫的样子。在平时的训练中，袁世凯经常亲临现场观看操练，某次阅兵时突然下起大雨，他手下的军官要给他打伞，他坚决不让，说：”士兵都在雨中，我怎么就不能淋雨？“在建军之初，袁世凯也刻意制造亲善士兵的形象，每次发饷时，他都亲自监督营官，把军饷足额发到士兵手中，以杜绝旧军队吃空额、克扣军饷的劣习。不仅如此，袁世凯还经常深入各营接近下级军官和士兵，甚至连棚头这样的小头目都能叫出名字，这一点很不简单。在袁世凯的努力下，新建陆军的面貌焕然一新。到操场上和兵营里一看，满目都是洋教习、新进军官、精神饱满的士兵、崭新的枪械大炮，战马嘶腾，果然是一支训练有素、纪律严明的模范军。当然，也不是没有隐患。这支军队有袁世凯太多的痕迹，据说当时各军营都供有袁的长生禄位牌，灌输”袁大人是我们的衣食父母，我们要为袁大人卖命“的思想。

还有人说，每天上下操集合时，官长都要问士兵：”咱们吃谁的饭？“士兵们齐声回答：”咱们吃袁宫保的饭！“官长又问：”咱们给谁出力？“士兵们又齐声回答：”咱们替袁宫保出力！“如此一来，这支新建陆军便成了袁家军，官兵们”只知有袁宫保，不知有大清朝“。袁世凯虽有成绩，但其为人相对跋扈了点，因此招来很多人特别是满清贵族的妒忌，一时间谣言四起，说袁世凯要反清叛逆云云。据说当时袁世凯的顶头上司兵部尚书荣禄也听信谣言，前去小站查看，一旦发现有谋反迹象的话，就立刻剪除袁世凯。不料荣禄去了小站后，发现袁老四训练的这新建陆军还真是军容整齐、器械鲜明、壁垒一新，当时就给荣禄留下了极为深刻的印象。荣禄做了一辈子的军人，从来就没有见过这么现代化的新式部队，爱才之心油然而生，回去后不但未对袁世凯痛下杀手，反将他引为心腹，大加重用。由此，袁世凯便投到了荣禄的门下。众所周知的是，袁世凯靠出卖维新志士而染红了自己头上的顶戴。

在戊戌政变后，袁世凯得到了慈禧太后和荣禄的信任，恰好又时值乱世，枪杆子里出官衔，袁世凯就靠着这支部队，机会接踵而至。1899年，袁世凯被清廷派往山东镇压义和团，由此也做上了山东巡抚，成为封疆大吏，当时袁世凯不过40刚出头。在庚子之役，荣禄的武卫军几乎全军覆没，唯独袁世凯的武卫右军不仅完整保存下来，还趁机扩编到2万人。袁世凯庚子年弹压山东义和团的手腕，不但保住一方平安，也为洋人们极口称赞。《辛丑条约》签订后，李鸿章鞠躬尽瘁，死而后已，临死前还特地向朝廷举荐袁世凯。由此，1901年11月，袁世凯继李鸿章之后署理直隶总督兼北洋大臣，一跃而成为中外瞩目的实力派人物。当上直隶总督的袁世凯，依旧重点关注练兵事宜。1903年11月，经过一番努力，慈禧太后终于同意了袁世凯设立练兵处的建议。练兵处成立后，名义上庆亲王奕劻是总理大臣，袁世凯为会办大臣，但实权全部掌握在袁世凯和他的亲信手中。在清廷的支持下，袁世凯最终练成北洋陆军六镇，除第一镇因是旗兵不能控制外，其余五镇都是袁世凯一手带出的嫡系部队。

为了检验练兵的成果，1905年10月，北洋军举行了中国历史上第一次大规模的正式野战演习，这就是历史上所称的”河间秋操“。清廷当时对这次演习非常重视，委派了袁世凯和铁良为阅操大臣，并邀请了各国驻华武官、中外记者和各省代表前往观操。为了搞好这次演习，袁世凯从北洋六镇中抽调了两万多精兵强将，分成两军进行对垒，随后又在河间一带会合大操并举行阅兵典礼。这次会操还引起了国外军事界的注意，他们在重新评估了中国的这支新军后，给予了很高的评价。这一次还不过瘾，第二年10月在彰德府又举行了一次更大规模的军事演习。

这次则是由北洋军（第五镇及第一混成协）与张之洞编练的湖北新军第八镇及河南第二十九混成协进行对垒演习，历史上称之为”彰德秋操“，这次仍由袁世凯和铁良充当阅操大臣。两次演习都很成功，袁世凯编练的新军的确不错，无论是战斗力和精神面貌都有了极大的提高，慈禧太后在高兴之余，又不免有些担忧。的确，袁世凯是很能干，他不但兵练得好，在直隶搞新政也很突出，比如开矿办厂、修筑铁路、创办巡警、整顿地方吏治及兴办新式学堂等方面，都走在了各省的前列。但是，袁世凯又太能干了，而且他是个汉人，他那庞大的北洋军事政治集团，已经渐渐如脱缰之马，清廷的缰绳似乎有点套不住他了。