9月中旬，阎锡山要求八路军帮助防守平型关，阻止日军南进。周恩来、彭德怀同意了阎的要求。23日，八路军总部命令第一一五师侧击向平型关前进的日军。
当天，聂荣臻率部赶到上寨，与林彪带领的第一梯队会合了。在上寨师部门口的土场上，聂荣臻和林彪各自端着饭碗，蹲在地上边吃饭边交谈。聂荣臻讲了第二梯队行军的情况，并急切地询问前线的敌情。林彪告诉聂荣臻，国民党第六集团军原来要求第一一五师增援灵丘正面作战，为此，他亲自乘军用卡车到距日军仅5公里的灵丘城，侦察敌情，了解友军情况，还看了平型关一带的地形。今天，接到总部命令，在平型关侧击日军。现在，友军不战自退，纷纷撤至乎型关以南，灵丘城今天己告失守。阎锡山来电说，日军将于近日大举进攻平型关。林彪提出，可以考虑利用平型关以北险要的地形打一仗。
饭后，林彪在油灯下摊开地图，同师参谋长周昆、作战科长王秉璋把平型关周围的地形和初步的作战设想逐一作了说明，征询聂荣臻的意见：这一仗打不打？
聂荣臻考虑到，当前日寇气焰嚣张，友军锐气尽失，这一仗，事关军威民心，非同小可。在洛川会议上，他虽然拥护毛泽东基本的游击战的方针，但还有不放松有利条件下的运动战这一条。因此，他果断地说：“打！为什么不打呢？利用这么好的地形，居高临下，伏击气焰骄纵的敌人，这是很便宜的事嘛。现在不是打不打的问题，而是要在与日本侵略军的第一次交锋中，打出八路军的威风来，给全国人民的抗日情绪来一个振奋！”上寨的夜，寒风刺骨。在平型关侧翼山地打一个大仗的部署，就这样决定下来，并电告了八路军总部。国民党军队方面信誓旦旦地表示要协同作战。
担任平型关正面防御任务的阎锡山部队，还主动将8个团以上兵力的“平型关出击计划”，交给了一一五师，以示“精诚合作”。
9月24日，一一五师在上寨镇小学校的上坪上召开了营以上干部战斗动员大会。
在干部会上，林彪宣布了作战部署：独立团、骑兵营绕到平型关东北截断敌人交通线，阻止敌人增援；以三四三旅两个团为主攻，三四四旅一个团到平型关北面断敌退路，一个团作师的预备队。攻击部队全部在平型关东侧山地设伏，准备给敌人以猛烈打击。
聂荣臻进行了政治动员，强调了为什么要打这一仗，为什么必须打好这一仗的问题。他的语气是坚定有力的：这一仗必须打胜！在“恐日脖和“亡国论”到处流行的时候，党中央和全国人民都在盼望着八路军出师后的第一个捷报。中华民族正在经历着巨大的考验，我们共产党人一定要担当起救国救民的重任！聂荣臻又向团、营干部们强调，他们面对的是武器精良、训练有素的日军第五师团。板垣征四郎中将指挥的第五师团武士道精神很强，在日军中颇有名气。等待他们的，将是一场恶战，必须作好充分的准备。
与会的团、营干部，都是从长征路上走过来的钢铁好汉，听了作战部署和政治动员，群情激愤，恨不得立即杀上战场，与日本强盗决一死战。
开完会，林彪、聂荣臻又组织与会干部进行了现场勘察。聂荣臻爬上满目秋色的山梁，但见群山之上，婉蜒着古老雄峻的内长城，平型关座落在群山之间。这一带山势不高，但是山连山，峰接峰，利于部队隐蔽。聂荣臻看到，从平型关山口至灵丘县东河南镇，是一条由东北向西南伸展的狭窄沟道，地势最险要的是沟道中段，长约10多公里，沟深10到100多米不等。这条峡谷古道宽不过三五米，仅容一辆卡车单行，古道两侧，是刀削似的危岩绝壁，再上面是比较平缓的沟岸。在这里埋下伏兵，不愁消灭不了进入伏击圈的日军。
察看地形归来，林彪告诉聂荣臻，据侦察员报告，日军已经进至蔡家峪以东地区，有于明日进攻平型关的可能。他们把情况又作了一番详细的研究，随后用电话下达了出击的命令：三四三旅本晚24对出发，进入距敌预计经过的汽车路仅二三里地的白崖台一线设伏，三四四旅随后开进。
当天晚上，一一五师主力部队从上寨、下关赶到离平型关30余里的冉庄一带，隐蔽集结，进行战斗准备，待机歼敌。天不作美，突然下起了罕见的暴雨，气温骤降，秋寒袭人。林彪、聂荣臻的作战决心毫不动摇：不能贻误来之不易的良好战机，就是天上下刀子也得出击！午夜，部队冒雨向预定地域进发。战士们既无雨衣，又无斗笠，只得任凭狂泻的暴雨湿透征衣。在风雨交加中，队伍沿着山间小径和泥泞的山沟穿行。随暴雨接瞳而至的，是慑人心魄的山洪。战士们只得把枪和子弹挂在脖于上，手拉手或拽着马尾巴从齐腰甚至齐胸深的急流中趟过去。大家的手脚都冻僵了，牙齿敲得咯咯响。
作为指挥员，聂荣臻心里系着全师干部战士的安危，密切地关注着部队与山洪搏斗的情况。陈光的三四三旅走在前面，两个团都平安地越过一道激流，走在后面的徐海东的三四四旅只过去了一个多团，剩下的人马却被越来越汹涌的山洪挡祝有几个战士杀敌心切，急干涉过急流，被凶狂的山洪冲走，不幸遇难。
聂荣臻与林彪商量，已经过河的三四四旅一个多团按预定方案使用，没有过河的部队不再强渡，以免不必要的牺牲。林彪同意这个意见。
1937年9月25日，聂荣臻在平型关东侧一个不引人注目的山头上，和林彪一起指挥了威震中外的平型关大战。
雨过天晴，曙色初露。部队经过一夜风雨行军，按预定时间赶到了目的地。聂荣臻站在指挥阵地上，举起望远镜，纵观由平型关至东河南镇那条5公里长的沟道，但见沟道里空无一人，两侧的山崖上，凋零的树木在秋风里瑟瑟发抖，枯黄的草丛上，雨珠闪着寒光。他知道，就在沟侧潮湿冰冷的草木深处，正埋伏着几千颗愤怒的心。
在十里长沟埋伏的，是由杨得志、陈正湘率领的六八五团和由李天佑、杨勇率领的六八六团。徐海东的三四四旅六八七团，奉命隐蔽地穿过沟道通路，占领了东河南以北的高地，以便切断敌人后路。六八八团停止了强渡，作为师预备队暂未开入战地。
杨成武的独立团和刘云彪的骑兵营已分别向平型关东北和以东开进，配合主力作战。
林彪单腿跪在聂荣臻身旁的草地上，也在用望远镜观察设伏的阵地和沟道通路。他俩看到部队隐蔽得不露一丝破绽，完全与山峦草木融合在一起，不由得满意地相视一笑。站在一旁的苏静不失时机地举起照相机，拍摄了这两位于型关战斗的组织者和指挥者在前沿阵地指挥的照片。
抓紧战前的空隙时间，林彪和聂荣臻对前来受领任务的六八五、六八六两个团的领导人讲明敌情：日军前梯队有儿十辆卡车载着敌兵已于拂晓前通过老爷庙、关沟，估计已抵达国民党军队防守的山下。由灵丘开进的敌第二梯队现在正经蔡家峪、小寨，向老爷庙前进。六八六团负责消灭老爷庙至蔡家峪一线之敌。六八五团待六八六团打响后，即向进入伏击圈的敌人冲击。
两个团配合，从首尾两端夹击敌人。聂荣臻还简明扼要地强调了一下战场注意事项。两个团的指挥员便疾速地返回阵地。大战一触即发。激战前的战场，出奇地平静。中国有句成语，叫“清君入瓮”。日军要进至平型关前，必走这条十里长沟，而这帮凶狠暴戾、不可一世的强盗只要落入这个有几千伏兵的“巨瓮”，等待他们的将是灭顶之灾！
上午7时许，日军板垣师团第二十一旅团的辎重和后卫部队进入了伏击圈。100多辆汽车载着日本兵和军用物资率先开道，200多辆骡马大车拉着九二式步兵炮、炮弹和给养跟随其后，压阵的是骑着高头大洋马的骑兵。日本兵脚穿皮鞋，头戴钢盔，身穿黄呢大衣，毫无战斗准备。山沟里，汽车的马达声，马蹄的得得声，大车的轱辘声，响成一片。聂荣臻从望远镜里清楚地看到那些日本军官神态骄横，麻痹到了极点，连两侧的警戒都不放，他们错误地认为中国军队都是像他们遇见的那些国民党军队一样，一触即溃，做梦也没想到有一支从天而降的八路军队伍在此严阵以待。
伏击部队的报告同时汇集到师部：敌军已经全部进入伏击圈，光沟道里就挤满了1000多名敌人。林彪和聂荣臻立即下达了攻击命令。顿时，沉默的群山怒吼了！满贮深仇大恨的枪弹和迫击炮弹带着啸音飞向敌群，手榴弹雨点般地飞进沟道，炸得日本侵略军鬼哭狼嚎，血肉横飞。日军汽车撞汽车，人挤人，马狂奔，指挥系统一下子就被打乱了。
“敌人很顽固呵！”聂荣臻发现日军正利用汽车作掩护，进行顽抗，并且组织兵力抢占有利地形，连忙跟林彪商量说：“这块肥肉块大，不好一口吃掉，得分而食之。”
林彪回答说：“是这样。部队得冲下沟道公路，将敌人切成几段，分段吃掉它！”他们果断命令部队出击，杀入敌阵地，并指令六八六团团长李天佑派出一个营，冲过公路，抢占在设伏前因怕暴露目标而来不及占领的老爷庙制高点，以便两面夹击敌人。
山谷间骤然响起激昂的冲锋号声和惊雷般的冲杀声。八路军勇土呐喊着向敌人扑去，同敌人展开了白刃肉搏战。战斗进行得异常惨烈。聂荣臻透过望远镜看见那群经过武士道训练的日军虽然失去指挥，被分隔开来，仍然利用汽车和沟坎，进行顽抗。八路军干部战士前仆后继，以更加猛烈的攻势对付顽固到极点的敌人，连伤员也与敌军伤兵扭打在一起，互相用牙齿咬，用拳头打。六八六团副团长杨勇在激战中负了伤，仍继续指挥部队作战。六八五团一连连长曾贤生，带领战士们冲入敌群，在肉搏中壮烈牺牲。清理战场时，人们发现有位战士与敌人拼刺刀时，双方的刀同时刺入对方的胸膛，一齐倒在血泊中。由于敌人的刺刀长，八路军的刺刀短，这位无名的战土定是迎着敌人的刺刀将敌刺死的。经过一番激战，老爷庙制高点等有利地形全被八路军占领。
中午时分，被堵截在辛庄、老爷庙、小寨村一线山谷中的1000多名日军全部被歼灭。八路军缴获步枪1000余支，机枪20多挺，击毁汽车100多辆，马车200多辆。板垣组织的增援部队被独立团和骑兵营阻击在灵丘以北和以东地区，独立团还在灵丘与涞源之间的腰站，击毙了增援的日军300余名。
从另一路进攻平型关的日军惊恐万状，向原定为国民党阎锡山部队阻击阵地的东跑池方向突围。奇怪的是，原先表示要以8个团以上的兵力出击的国民党阎锡山部队，始终袖手旁观，按兵不动。林彪和聂荣臻曾派人前去联络，请他们协同作战，但他们仍然隔岸观火，无动于衷。林彪和聂荣臻遂令部分部队打扫战场，其余部队乘胜向东跑池之敌发起攻击。
血战后的十里长沟，日军人仰马翻，尸体狼藉。燃烧的汽车，遗弃的武器，散落的文件、作战地图、写有“武运长久”的日本军旗及各种罐头食品，满地皆是。聂荣臻走下山谷察看，发现了一个很严重的问题：八路军部队对日军的武士道精神估计不足。干部战士们仍然用国内战争时期对待白军的办法来对待日军，以为日军被击溃之后一听到“缴枪不杀，优待俘虏”的喊话就会举手投降，其实不然，反而吃了亏。有的战士去背日军的重伤兵，被一口咬掉耳朵；有的战士为躺在地上的日军包扎伤口，反被开枪打死。八路军因此付出了血的代价，教训是极其深刻的。在激战和打扫战场中牺牲的200多人，大多是经过长征的老战士。聂荣臻为他们的牺牲痛惜不已。他当即向打扫战场的部队下达了紧急指示：对于顽抗到底的敌人，坚决消灭！
突然，从离聂荣臻不远的一个山洞里传出几声沉闷的枪声，警卫员阮寿贤急忙拉着聂荣臻闪到隐蔽处。原来，一个日本兵钻进了山洞，不但不投降，还向外打冷枪。几个战士朝洞里射击，总也打不着他。聂荣臻气愤地说：“丢手榴弹，炸死他！”随着一颗手榴弹在洞内爆炸，山洞里终于沉默了。
听说八路军打了大胜仗，附近的老百姓欢天喜地，都自动跑来帮助搬战利品。日军的百余辆汽车和车上运载的摩托车都是崭新的，可是八路军无人会驾驶，聂荣臻只好以极为惋惜的心情命令部队将其烧毁。至于缴获的大量武器弹药、军需用品和战马大车都全部运走了。从日军的机密文件和作战地图上，聂荣臻发现，与一一五师血战半日而败北的，原来是以武士道精神著称的板垣师团的二十一旅团。
八路军忍着饥渴和恶战之后的极度疲劳，扑向准备从东跑池突围的敌人，占领了东跑池北面和南面的制高点，使国民党军队阵地前的日军面临被歼灭的命运。二三千名日军多次反扑，均被击溃。在这关键时刻，作为友军的国民党军队理应合力围歼敌人，然而他们却躲在其阵地里，始终不露面，使八路军与日军形成对峙。更令人愤慨的是，黄昏之后，国民党军队竟主动放弃了平型关西北面的制高点团城口。林彪和聂荣臻考虑到部队已十分疲劳，敌人大队援兵将至，遂令部队撤出战斗，立即转移。
首战平型关，威名天下扬！平型关大捷，震惊中外。这是八路军出师华北前线的首战，也是中国抗战以来打的第一个大胜仗。在“抗战必亡”的谬论甚嚣尘上之时，这一仗一下子就粉碎了“日本皇军不可战胜”的神话，打出了中华民族的志气，提高了共产党和八路军的声威，大大增强了全国人民抗战的决心和信心。而它在军事上的重要意义是，部分地破坏了日军的作战计划，迟滞了日军的进攻，使慌乱败退的国民党军队得到喘息的机会，战线渐趋稳定。聂荣臻对这次大捷留下了难以磨灭的印象。1987年，他年事已高，还欣然命笔，感慨赋诗：“集师上寨运良筹，敢举烽烟解国忧，潇潇夜雨洗兵马，殷殷热血固金瓯。东渡黄河第一战，威扫敌倭青史流。常抚皓首忆旧事，夜眺燕北几春秋！”①部队从平型关下来之后，即往五台方向转移。战士们虽然疲惫至极，心情却异常兴奋。他们穿着缴获来的日军衣服和皮鞋，扛着崭新的日本三八大盖枪，一个个神采飞扬。行军途中小憩，聂荣臻与战士们围坐在一起，品尝着日本罐头、饼干等战利品，谈笑风生。
山西五台城边，有个风景秀丽的小山村——河东村，成了一一五师师部的所在地。聂荣臻住在小学教员王希禹的家中。乡亲们知道八路军旗开得胜，纷纷赶来慰问。聂荣臻笑脸相迎，热情接待，向大家介绍了平型关大捷的战斗经过和辉煌战果，极大地鼓舞了五台人民。
八路军前方总部就住在离河东村不远的南茹村。聂荣臻与林彪一起赶到南茹村，向总部汇报平型关大战的情况。朱德兴奋地拉着他们的手说：“你们打得好，打得好啊！出师第一仗就击破了‘皇军’不可战胜的神话，‘恐日帛和‘亡国论’都是错误的。”9月26日，毛泽东致电朱德、彭德怀：“庆祝我军的第一个胜利。”同时指出：八路军要“向恒山山脉及其东、西、北三方向突击，展开敌人侧面游击战争的计划，暂时当无执行的条件，要待敌人更深入，后方更空虚时才能执行。”9月30日，林彪、聂荣臻致电毛泽东、朱德、彭德怀，总结平型关战斗获胜的主要原因是：集中使用兵力和采取了突然袭击的作战方式①。
①林彪、聂荣臻给“朱彭并告毛主席”的电报，1937年9月30日。原件存中央档案馆。