為了一個國際觀瞻，為了能博取西方列強一點吝嗇的正義同情之心，能夠在談判桌上爭上幾句，88師只得留下部分守軍維持在閘北蘇州河北岸的存在。當然，掩護大部隊，拖延日軍的腳步也是其應有之責。在孫元良師長的命令下，就以第524團第1營為基干，配屬必要的特種部隊，組成了一個四百多人的加強營。對外號稱一個團，八百人。由中校團附謝晉元、少校團附上官志標，和少校營長楊瑞符率領。選擇的堅守地點就是在四行倉庫。
此時的上海市區已經被打得成了一片廢墟。據統計閘北100的房屋被毀損，其他地區的毀壞程度也高達六七成。但就隔著一條窄窄的蘇州河，公共租界卻是燈火通明、燈紅酒綠，歌照唱，舞照跳，好萊塢的電影照放，儼然是戰爭之外的“東方夜巴黎”。大批的難民涌入租界，給本已十分畸形繁榮的租界帶來了更大的刺激。
四行倉庫是位于上海閘北區蘇州河西岸的一座鋼筋混凝土建筑，在新垃圾橋（今西藏北路橋）西北沿，修建的相當牢固。是四間銀行──金城、中南、大陸、鹽業共同出資建設的倉庫，所以稱為“四行”。它建于1931年，占地0.3公頃，建筑面積2萬平方米，屋寬64米，深54米，高25米，是該地區最高的建筑。由于先前被當作第八十八師師部，因此倉庫中貯存了大量食物、救護用品及彈藥。
這為守軍創造了條件，總兵力423人，每人裝備一支中國仿造毛瑟88或毛瑟98式步槍，300發7.92毫米毛瑟子彈，兩箱手榴彈，一頂德制M1935式頭盔，一副防毒面具及食物袋。整營共裝備有27挺輕機槍，大部分為ZB26式輕機槍（布倫式輕機槍），接近每班一挺。4挺24式水冷馬克沁機槍以及一個迫擊炮排。
四行倉庫就在蘇州河邊，隔著幾米寬的蘇州河對岸就是租界。對于這種地方，日本人也是相當頭疼，飛機、重炮、艦炮全部不可使用。萬一落點誤差集中租界，那可就會引來國際糾紛，西方紅毛鬼正因為日本的不聽話而挑刺呢，不可沒事找事！這樣，日軍的進攻就只能依靠輕武器來攻擊，進攻力度和手段都大打折扣。
10月26日當晚各連陸續抵達四行倉庫，在謝晉元、楊瑞符的指揮下，為了壘造工事，守軍就用倉庫內的沙袋、裝玉米、大豆和其他貨物的麻袋搶筑工事。一連沿西藏路部署在四行倉庫右翼，三連在左翼交通銀行大樓對面，二連在在中央擔任四行倉庫外圍之守備。機槍連除以兩挺布置在樓頂擔任防空其余分配一、三兩連完成全營火力網的編成。蘇州河北路有原為防御租借內歐美軍隊的防御工事，但工事的槍眼是向現在中國守軍方向開的。為了防止日軍利用，中國守軍便在其中埋下炸藥，以備日軍進入其中，對我軍造成威脅。
此時，中國軍隊后撤的消息已經傳到了租界，所有的中國民眾心頭都陰沉沉的。從26日開始，一隊隊疲憊的中國軍隊陸續向上海西郊退卻，讓隔著蘇州河看到的市民倍感失望，我們敗了！知道嗎？在閘北還有軍隊在保衛！聽說就在四行倉庫，真呃！四行倉庫大樓頂上都壘起了沙包了！剎那娘，小日本以為我們全退了，咱們還有軍人在呶！
女童子軍楊惠敏聽到這個消息，不顧凌晨4點的夜色，急步向著四行倉庫跑去。新垃圾橋頭的英國士兵封鎖了橋面，但還保持著和中國軍人的聯系。面對裝備落后、拼死抵抗的中國軍人，普通的英軍士兵還是同情與欽佩的。楊惠敏詢問英軍士兵，得知真有中國守軍在此堅持守衛，馬上寫了個紙條搭在英軍支援香芋的袋子里送了過去，內容就是問有什么可以幫助的。很快，回信的紙條到了，守軍要求能弄些吃的和彈藥。楊惠敏馬上向上海商會求助，但上海商會沒有得到軍方的要求，大伙都不相信。
上午7時日軍第3師團開至上海北站，午后1時開至四行倉庫附近。沿途守軍已經后撤，日軍來的很快。打頭的十多名日軍尖兵，一路偵察著向前推進。接近防御工事時，由于認為中國守軍一全部撤離了市區，所以根本就是敷衍差使，被守軍一頓火力射擊，這個班組的鬼子被全部殲滅了。跟著2點鐘，日軍又摸過來50多名，正遇上外出偵察的尹求成排偵察兵，兩邊對射了一陣，日軍遂知道此處還有成建制的守軍在守衛。接報的日軍馬上開來一個中隊，在輕重機關槍的掩護下展開攻擊。三連連長石美豪面部中彈貫穿了腮幫，但他繼續指揮戰斗，跟著腿部又再次中彈。趁著守軍救援連長的混亂，約有七十多鬼子靠到了倉庫西南墻根中國軍隊火力死角。可是由于倉庫封閉的很是牢固，鬼子一時也難以突破。守軍當然不能放任鬼子研究破墻辦法，派出戰士爬上樓頂，直接向墻根投擲迫擊炮彈及手榴彈，炸死日軍七名，傷約二三十名。其余的鬼子兵四處逃竄，被打退了下去。
心有不甘的鬼子馬上想到了火攻，向著儲存燃料及木材的倉庫西區投擲燒夷彈放火。但由于這倉庫乃是鋼筋水泥結構，燃料燒盡火就很快被撲滅了。27日的戰斗基本就此結束，有兩名守軍陣亡，四人受傷。部隊到晚上九點才抽出空來做飯，大家餓得前心貼后背了！晚飯就一點英軍扔過來的芋頭，大家分著多少吃了點。
28日一大早，謝晉元用從楊惠敏處得到的上海商會的電話號碼與上海商會聯系。請求給予援助。上海商會得到了中國守軍仍在閘北的消息后相當激動，這個消息很快通過電臺傳遍全城。上海市民向守軍捐獻了十多卡車給養。卡車于夜間抵達四行倉庫附近，守軍用沙袋筑墻到卡車旁，將給養拖至倉庫。搬運給養用了四個小時，在此期間三名掩護的守軍陣亡。守軍收到了食物、水果、衣物、器具和來自市民的慰問信，士氣大振。一隊記者也來到了四行倉庫，但由于謝晉元與楊瑞符因事繁忙，由機槍連雷連長代為接見。
日軍對于這個背靠公告租界的堅固堡壘式大樓，有些狗咬刺猬無處下口的感受。因為怕炮彈落入公共租界內，海軍艦炮、陸軍重炮都不能使用，而加農炮、山炮對于厚實的倉庫墻壁根本無法造成致命傷害。早7時倒是有一架日軍轟炸機在倉庫上方盤旋，但因為害怕誤中公共租界并未投彈。反而俯沖作勢的時候被樓頂的守軍防空機槍在機身上鉆了幾個洞。嚇得飛行員趕忙拉起機頭，快速離去。日軍也不敢像在上海其他地方那樣使用芥子毒氣，因為這將暴露在全世界面前。怎么拿下這個大樓還真是令人頭疼啊！
四行大樓修的高大，站在樓頂上謝晉元與楊瑞符可以清晰地視察工事并觀察日軍動向。哪邊鬼子多，情況危急他們可以臨場判斷，指揮起來相當方便。日軍也占領了鄰近的交通銀行大樓，可由于高度落差，很容易被占領制高點的中國守軍壓制住。用加農炮、輕型坦克冒雨攻擊，又沒有效果，氣得日軍只得于兩小時后放棄進攻，將四行倉庫的供電及供水切斷了事！
當晚謝晉元通過上海商會向美軍要求送十名重傷員離開戰場。美軍同意了此要求，因此傷員趁夜幕掩護被抬離戰場進入了租界，當然，武器是不允許帶的。楊惠敏站在對岸給守軍吶喊鼓勁，可始終覺得少了點什么。英雄們抗擊鬼子，怎么能讓人們知道呢？旗幟，對了，只有國旗在高高飄揚，就意味著勇士們在不屈地戰斗！上海商會得報決定向守軍送一面中國國旗。10月28日夜間，楊惠敏將一面12尺長的中華民國國旗裹在身上所穿著的童軍服底下，冒著戰火危險自公共租界出發成功泳渡蘇州河，將國旗送到了謝晉元的手上。望著渾身濕漉漉的少女，謝團長召集官兵列隊敬禮，接過沉甸甸的國旗。楊惠敏也攜帶了一份四行倉庫守軍人員的名單返回公共租界，出于軍事需要，當時名單上共有800個人名，因此被稱為“八百壯士”。
10月29日早晨，迎著初升的太陽，謝團列隊樓頂舉行升旗儀式。蘇州河對岸，超過三萬的百姓見證著這一刻：用竹子和草繩臨時制作的旗桿，沒有軍樂伴奏，有的只是吶喊聲、槍炮聲和萬眾一心的高唱。人們歡呼“中華民國萬歲！”，高唱“中國不會亡，你看那，八百壯士，孤軍奮守東戰場。”
一見到大樓頂上的青天白日旗，日軍氣歪了鼻子。日軍氣急敗壞開始對中國國旗發動空襲。奈何又怕炸到了租界，又怕守軍的防空炮火，做樣子繞了幾圈就撤了。中午日軍發動了迄今最大規模的攻擊。加農炮和輕裝坦克從各個方向發動進攻，迫使中國守軍第三連從倉庫外的工事中撤回倉庫內。日軍見有了現成的工事，馬上進去了一個中隊。豈料地下早就埋下了炸藥，一聲轟鳴，直接將這個中隊的鬼子給活埋了！
鬼子攻到樓下，依舊進不去。匆匆搬來幾架梯子，就馬上往上爬，準備由二樓的窗戶進入樓內。謝晉元當時恰好在二樓窗戶前。他一手奪過第一個上來的日本兵的槍，另一只手將其推下，之后向第二名日軍射擊，最后推倒了梯子。望著樓下密集的鬼子兵似乎在準備埋設炸藥，一個負傷的士兵急了，將自己綁上手榴彈縱身跳下倉庫，炸死了自己和約二十名日軍。戰斗一直持續到天黑，日軍在裝甲車和加農炮的掩護采用貼近墻根，用挖掘機向四行倉庫挖隧道。對岸圍觀的百姓急了，馬上用大字報通知守軍日軍的行動。樓上一通手榴彈將鬼子砸跑。
30日日軍鑒于步兵強攻傷亡太大，幾乎全天采用加農炮進行直瞄攻擊。謝團沉著應對，及時趕修工事，還抓住時機摧毀了日軍數輛裝甲車。
黔驢技窮的日軍沒法只得轉而壓迫租界方面，要求撤讓一塊便于日軍攻擊。上海租界中的外籍人士當然不愿意戰斗地點與他們如此接近。面對日本的壓力他們同意勸說中國軍隊停止作戰。29日外籍人士派代表向國民政府遞交請愿書，要求以“人道主義原因”停止戰斗。老蔣見88師謝團已經抵抗了四個晝夜，完全達到了引起西方西方世界的注意、掩護大部隊后撤的目的，就下達了10月31日撤離四行倉庫的命令。經上海警備司令楊虎與英軍將軍斯馬萊特面談，決定第524團撤至公共租界，并和正在上海西部戰斗的第八十八師匯合。日本人原本答應同意并保證允許中國守軍撤退，但事后很快就反悔了。這一點各方都不奇怪，出爾反爾本就是日本人的特色。
謝晉元希望能夠繼續留守四行倉庫直到戰斗至最后一人，他和手下早已做好了以死報國的決心。但軍令已達，11月1日凌晨2點，謝晉元帶領376人分小隊分批通過新垃圾橋撤入公共租界。約十人在撤退中被日軍機槍打傷。
日軍對于這支部隊耿耿于懷，壓迫租界不得放其離開。英軍只得沒收謝團武器并限制自由，將他們送至公共租界西部意大利防區的膠州路進行隔離。蔣介石提升了所有參加保衛戰的軍人的軍銜（各晉一級），并授予謝晉元與楊瑞符青天白日勛章。
被軟禁期間，謝晉元率領士兵繼續每日進行軍事訓練并保持高昂的斗志。他們抵住外界的壓力堅持升國旗、唱國歌，直到被白俄雇傭兵以武力強制禁止。如此一直被羈押了三年多。謝晉元拒絕日本方面解除武裝并以難民的身份為條件離開上海。其后多次拒絕了中華民國維新政府（1938年1940年）及汪精衛政權（1940年1945年）的勸降。1941年4月24日凌晨5點，由汪偽政權收買的郝鼎誠等四名士兵下手刺殺了謝晉元，漢奸辦成了鬼子達不到的愿望。可惱，可恨！
謝晉元死后被追贈少將軍銜。三天內擁進孤軍軍營瞻仰其遺體的共達二十五萬人次，超過10萬人參加了他的葬禮。英烈遠去，但“八百壯士”死守四行倉庫的事跡，永遠激勵著抗日軍民向前！向前！
將軍泉下有知，當含笑矣！