8月4日，日军第68、第116师团对衡阳第3师及预10师阵地发起总攻。5日，第58师团(从长沙增援到来)由衡阳西北投入战斗，猛攻第190师阵地。激战至6日拂晓，第190师退守小西门及其以北的城垣。当日夜，日军第58师团一部从城西北角突入城内，西南方面岳屏山、天马山等阵地亦为日军第116师团突破。
7日6时起，日军集中炮火先对守军进行了约2小时的炮火准备，尔后发起冲击。守军阵地大都被毁，官兵伤亡惨重，五桂山、接龙山等阵地先后失守。但第3师及预10师的官兵仍顽强抵抗。为了抵抗日军进攻，所以的马夫、伙夫、文书、轻伤员等等，凡是能扛起枪的都上了前线。
第10军此时尚有数千人，但因弹尽粮绝、伤员众多，而日军大兵压境，全军危险重重。苦守了四十多天，没有了补给，吃饭都成为了成绩，阵地上几处池塘的鱼鸟，都被捕食一空，天空的鸟儿都不敢飞过衡阳上空。地里的野菜早曾经连根都吃光了，油盐也成为了绝迹，很多兵士都是用清水煮菜根过活。
这类环境简直是过活如年，对得救的盼望，由失望而失望，末了由失望而仇恨。8月7日凌晨，方先觉召开紧急集会，评论辩论三个计划:是包围?是苦守?是降服佩服以待机会?其时团以上的军官大多都觉得伤员浩繁，弹药奇缺，曾经无能力包围，除已死殉国外，只有投降一途。
就在世人议论纷纷之际，方先觉觉得部下6000多人有三分之一以上的重伤员，义务其实严重。因而走入阁房偷偷哭了起来，集会无果而散。当天凌晨后半夜，第三师火线的一个团投降了日军。8月8日凌晨，日军用坦克从北门冲入，方先觉看到日军坦克入城，命令开炮轰击。但炮兵批示官张作祥含泪失声说:“报告军长，仅有两发炮弹，已打进来一发，敌军有10余辆坦克，若何阻敌冲入?”
方先觉知大势已去，因而敕令顾问孙鸣玉拟出末了一份电报，信心以死殉国。电报内容为:我军现已弹尽援绝，敌今晨自北门冲入，我已无可堵之兵生等信心以死报国，不负钧座作育之至意，此电为末了之一电，来生再见。学生方先觉、孙鸣玉、周庆祥、容有略，葛先才、饶少伟等敬仰。
就在世人走投无路，不知所措之时，主降的第三师师长周庆祥带着日军联络官来到了军部，日军联络官恭恭敬敬给方预言家敬了一个礼后说:“咱们司令官横山勇请方军长到司令部会谈。”方先觉怒目而视，右手伸向腰间，意欲拔取手枪，而手枪已于昨晚被王副官等人取走，防止其自杀。
此时众将士分为两派，主战者说不能去，主降者则通通抓着方先觉的手喊:“事已至此，军长你带着咱们走一条活路吧!”
方先觉皱了皱眉，末了还是答应前去与横山勇见面。方先觉以有前提降服佩服为前提，避免部下被日军屠杀。横山勇则表示日军会信守许诺，给予降服佩服的兵士以和平军的身份对待。
8月8日，这是苦守衡阳的末了一天，也是最关键的一天，方先觉与横山勇谈好前提后宣布降服佩服。日军进城以后，第10军被改编为“先和军”（取方先觉的“先”字和伪和平军的“和”字），任命方先觉为军长。