便是在曹操挟天子以令诸侯间，此时的袁术也不堪寂寞。若说当今诸侯运气最好，便是刘备，一跃而成徐州的主人。然而他的好运也到此为止，前些年被曹操大败的袁术已经恢复了元气，觊觎徐州。
却说在去岁时，天子东归，然几无所食，袁术见此，以为代汉之机已到，召集部署商议：“今刘氏微弱，海内鼎沸。吾家四世公辅，百姓所归，欲应天顺民，于诸君意如何？”
众人听了，不敢忤逆，唯独主簿阎象说道：“昔周自后稷至于文王，积德累功，三分天下有其二，犹服事殷。明公虽奕世克昌，未若有周之盛，汉室虽微，未若殷纣之暴也。”
袁术不啃声，心中却是非常恼怒。不过此时他也还算清醒，当今诸侯中他的势力不算最强，故此，他盯上了和扬州相邻的徐州。
建安元年六月，袁术从淮南起兵十万伐刘备，以纪灵为将。刘备使司马张飞镇守下邳，亲自率军进至盱眙，淮阴一线，迎战袁军。
十万浩荡大军来到淮阴石亭，此时的刘备心中是复杂的。虽说他坐稳徐州后，联络各大世家，爱护百姓，颇有口碑。但事实上徐州经过曹操的两次讨伐，能征之士早已死了大半。他让关羽抓紧练兵，但仅仅一年，这些新兵却没有到能直接上战场的地步。
只道是纪灵看向刘备，大笑：“吾乃袁公帐下纪灵是也，今起十万兵取徐州，尔等可有一战之将。”
却道是关羽骑马来战，大喝一声：“河东关羽前来战你！”
只道是纪灵擅使六十五斤重三尖两刃刀，他提兵迎战，同关羽大战三十合未见胜负。然而纪灵却是越打越心惊，他自诩为江淮勇将，除了孙策之外，其余人皆不放在眼中。然而关羽的武艺让他心惊，手中的三尖两刃刀逐渐招架不住。
纪灵咬咬牙，见到关羽又是一刀劈来，不退反进，挡住了兵刃。他大喝一声：“杀啊！”
只道是数万人马来攻，刘备带兵迎战。关羽勇猛，打的纪灵狼狈，然而纪灵有亲兵相救，数万兵马更不是刘备等新兵能够抵挡。好在这一年来，刘备和关羽在军中素有威名，使得徐州兵马还不至于崩溃，勉力抵挡。
纪灵缓了口气，见到全军已经乱成一团，心中不由起了退兵的打算，想要重新计划好再来。不一会儿，袁军鸣金，如潮水般退去，刘备不由暗松了口气。
后，两军相守月余，各有胜负，僵持不下。然而，便是在刘备在前方抵抗袁术时，后方却是有了矛盾。
却道是袁术来袭时，也派遣使者来到徐州各处世家中。而相比于没有根基的刘备，诸多世家更想要投靠四世三公之望的袁术。其中以曹豹为首的曹家，更是坚定不移的投降派。
然而下邳却有着一位坚定不移的死忠派。
张飞听到消息，曹豹与袁术使者有勾结，不由大怒：“亏大哥还倚重这厮，却不想是吃里扒外的小人。”
说罢以后，他便带领亲兵去曹府，打算与他算账。虽说张飞不是粗人，然而他却无比性烈，不一会儿，他便来到曹豹府邸之前大肆砸门。曹豹所在的曹家乃是徐州当地一流世家，他从未想过有人会在徐州寻曹家的麻烦。
只听张飞大喝道：“曹豹，出来！”
听是张飞的声音，曹豹的眉头不由皱了皱，他是知道张飞的脾气的，性子烈，脾气差。在袁术没有打入下邳的情况下，还是先不要得罪张飞为妙。
他带着亲兵打开门，堆着笑脸道：“不知何阵风吹得三将军来，曹某有失远迎，还请恕罪。”
张飞冷笑，道：“曹将军，吾且问你，有袁术使者来曹家，是与不是！”
曹豹闻言，心中不由暗惊，表面却不认，说：“本将军从未听过有何使者来此，三将军多想了。”
张飞却犹自不闻，依旧喝道：“吾再问你，汝有意勾结袁术，献上徐州，是与不是！”
曹豹被这一喝吓了脸色，夺了心神。见到张飞面色狞狰，不由吓了一跳。然而，他毕竟是久经沙场的宿将，被张飞吓住，让他却是觉得开始丢脸。他深呼一口气，冷笑道：“俗话说得好，良禽择木而栖，忠臣择主而仕，今袁……”
他话未尽，却是瞪大眼，不可置信的看向张飞。
只见张飞嫌恶的摆摆手，将手中的刀丢弃在一旁。他命令左右，说：“来人，将此贼的头颅传遍各处，让他们知晓背叛的下场。”
不得不说，张飞的本意是好的。他想要杀鸡儆猴，给刘备一个安稳的后方。但错就错在，他的行为太过于鲁莽，更是大大低估了曹家在徐州的影响。只道是各处世家开始骚乱，率领私兵围攻太守府。他们的逻辑很简单：张飞今日能一言不合杀了曹豹，他日就可以杀了他们，为了避免至此，他们只能先下手为强了。
徐州大乱，张飞马不停蹄的去平叛。
只道是中郎将许耽与曹豹交好，曹豹死后的消息传出，他欲要为之报仇。时原陶谦麾下的骑都尉臧霸，曾募兵抵抗黄巾军。与孙观、尹礼等人拥兵驻屯于开阳，自成一股独立势力。
他亲自去开阳，说服臧霸袭取下邳，更兼有世家内应，张飞兵败逃走，下邳被臧霸、孙观等人占领，臧霸还俘获了刘备的妻子。刘备闻知，急忙带兵回救，因诸多军士乃是徐州本地人，更有不少是世家之人，于是还未到下邳，世家将领纷纷叛逃，刘备军中不战自溃。
经此一役，刘备几乎要翻不过身。然而此时的他还并未放弃，而是收拢散兵，与袁术军再战于广陵，又大败，驻扎在广陵郡海西县。不过，并不是所有人都放弃了刘备。
糜竺曾言刘备：“使君宽仁有度，能得人死力，乃人主之姿。”在刘备妻子都被俘获的情况下，他特意将妹妹嫁给刘备，又将两千名下人及金银货帛资助刘备的军队，使面对危难的刘备重新振作。
刘备无不感激：“子仲素履忠贞。”
然而，此时的刘备军粮断绝，退无所归，却是道臧霸忽然派人修好，送回刘备的妻子与粮草兵甲，使其屯于小沛。臧霸并不是个好人，但是他绝对是聪明人，徐州乃四战之地，他并无雄才可守，不如让刘备来当一方的盾牌。
刘备对此无不应允，尽管从徐州牧沦落至此，但是至少得一处可慢慢喘息。然而不久后，纪灵再率步骑三万相攻。刘备向臧霸求救，臧霸不允，只道是纪灵兵临城下。
“大哥，让俺上吧。”
此时的张飞大概也知道犯了大错，失了下邳，让刘备几乎无城可守，无处可去。他很想要去做点什么，去弥补刘备。
刘备见到张飞这番模样，心中又有心酸，也有感动。却道城墙下的纪灵邀战，张飞气急，也是顾不了刘备，亲自率领千骑只取纪灵。
只道是纪灵见到张飞来袭，听闻过他丢失下邳的名声，不由轻视。然而暴怒的张飞却仿佛杀神般，无数士兵围困于他，他却是直至杀出一条血路。纪灵见到张飞浴血的模样，心神不由大骇，他欲要后撤，却见张飞已经杀来，丈八蛇矛直取纪灵头颅而去。
纪灵连忙抵挡，然而不过十余合却已经力竭。他心中大惊，先是关羽，后又张飞，怎么刘备帐下的将领一个比一个悍勇。他心中生了惬意，却是不想再和刘备为敌。
只道是张飞杀退纪灵，开始在中原大放异彩。刘备算是勉强得到安息之地。