天覆二年（902年），唐昭宗以李儼為江淮宣諭使，拜楊行密為東面諸道行營都統，封吳王，希望藉助他的力量對抗宣武節度使朱溫。楊行密由此建立吳國，並於當年四月北征朱溫。當時，吳軍以鉅艦由水路運送軍糧。徐溫認為漕運河道已因久未通行而導致水草河泥淤積，大船難行，建議改以小艇運糧。果然軍至宿州，恰逢連日陰雨，鉅艦過載不能前行，小艇反而快捷先至，解決了前線士卒的部分軍糧供應。楊行密這才重視徐溫，讓他一同參與軍議。不久，吳軍因久攻宿州不下，乃撤回淮南。
天覆三年（903年），吳國寧國節度使田頵、潤州團練使安仁義皆舉兵叛亂。楊行密遣軍平叛。其中王茂章攻潤州（治今江蘇鎮江），但因安仁義善戰，始終無法破城。楊行密又命徐溫領兵增援。徐溫將所屬軍隊的衣服、旗幟改換得和王茂章的軍隊一樣。安仁義不知吳軍增兵，再次出城交戰，結果被徐溫打得大敗，被迫退守孤城。當時，楊行密的妻弟朱延壽正鎮守壽州（治今安徽壽縣），也暗中勾結田、安叛軍。楊行密採用徐溫及謀士嚴可求的計策，詐稱因眼疾嚴重而失明，表示有意要將淮南託付給朱延壽，將朱延壽誘騙到廣陵，然後將其擒殺。朱延壽的隨從部下皆驚擾，但在徐溫的彈壓下，並未引起騷亂。事後，楊行密升徐溫為右牙指揮使。
天祐元年（904年），楊行密命長子楊渥出鎮宣州。徐溫對楊渥道：“大王如今正臥病在床，卻命嫡嗣出藩，這必是奸臣的陰謀。他日若召您回廣陵，除非是我派遣的使者，且持有大王令書，不然您千萬不要聽命。”楊渥非常感激徐溫，哭著道謝後方才去宣州上任。後來，楊行密病重。判官周隱以楊氏諸子幼弱，建議由大將劉威暫攝軍府。但徐溫與左牙指揮使張顥都支援楊渥嗣位，他們道：“大王平生出萬死，冒矢石，為子孫立基業，怎可傳於外姓！”楊行密於是讓周隱發牒文召回楊渥。
但楊渥過了很久都沒有回來。楊行密只能強撐病體，“忍死待之”。徐溫有一次去拜訪周隱，等待周隱時卻在桌案上看到了寫好的牒文，方知周隱並未將牒文發出。他急忙取走牒文，派人送往宣州。楊渥這才在楊行密臨終前及時回到了廣陵。不久，楊行密病逝。楊渥承襲其淮南節度使、東面諸道行營都統等職，稱弘農郡王。時為天祐五年（908年）十一月。
徐溫雖在楊渥襲位過程中立有大功[27]，但他和張顥統領牙兵，最終因此引起了楊渥的反感。楊渥挑選壯士另組東院馬軍，又調自已在宣州時的三千親兵入衛廣陵，以對抗徐溫和張顥的左右牙兵。他在天祐三年（906年）吞併江西鎮南軍，又命親信指揮使朱思勍、範思從、陳璠隨大軍鎮守洪州（鎮南軍治，在今江西南昌），以培植自已在地方上的勢力。
楊渥此後愈發驕奢，更因私怨殺死周隱，以致勳舊諸將皆不自安。徐溫與張顥曾勸諫楊渥，楊渥怒道：“你們如果認為我不行，那就乾脆殺了我，自已坐我的位子吧！”徐、張二人皆驚懼，於是密謀作亂。當時，楊渥為了修建球場，竟將牙城中的數千親軍悉數遷出。徐溫與張顥因此無所忌憚。他們誣稱朱思勍等三將在江西謀叛，遣親信到洪州將三將處死。徐溫有三位夫人，一共生了六個兒子。長子徐知訓、次子徐知詢、三子徐知海，四子徐知諫、五子徐知證、六子徐知諤。可惜是徐溫六個親兒子沒有一個爭氣的。使得徐溫不得不傳位給養子徐知誥（李昪）。公元927年，66歲徐溫病逝，追封齊王。李昪建立南唐後，追諡其為忠武皇帝，廟號太祖，後改為義祖。
李昪，字正倫，小字彭奴，徐州彭城縣（今江蘇省徐州市）人，家境貧困。六歲時候父母就早喪,李昪寄身在開元寺當了一個小和尚。在七歲時被楊行密偶遇，見小孩乖就收為養子。成年以後的李昪丰神俊朗，姿貌瑰特。越發討得楊行密。但因為不容於楊行密親子，楊行密也沒辦法，只好把他交給大將徐溫撫養，取名“徐知誥”。從此之後，徐知誥就跟隨徐溫左右，極為孝順徐溫有次臥病在床，徐知誥在床旁侍候，常常是通宵達旦，連端屎端尿這樣的事也親自幹，一連堅持了幾個月，直到徐溫康復。徐知誥的至孝打動了徐溫。
他長嘆說：“汝雖異族，然吾無親疏”。為此有人對徐溫說：“徐知誥不是您親兒子，卻很得人心，不如及早除掉，免生禍患。”而徐溫沒有聽從。徐知誥自幼就才華出眾，兼資文武。雖然有徐溫培養的培養的原因，但也不得不說，徐知誥的能力是十分出色的，21歲出任升州防禦使兼樓船副使。24歲時任因在平定李遇叛亂有功，升任刺史，這是首次文官主政地方。徐知誥雖然成為吳國僅次於徐溫的宰輔，但他對自已的政治分量是心裡有數的。自已能坐到這個位置，只是因為是徐溫義子的身份才坐上這個位置。所以他在主政的時候。對徐溫的孝敬有增無減，來保住義子這個身份。公元927年十一月，徐溫病逝，吳王楊溥稱帝（楊行密四子），國號吳，徐溫的次子徐知詢襲徐溫之位，鎮守金陵，掌管江南六州。徐知誥仍留在揚州輔政。徐知詢自以為掌握兵權，佔據長江上游，自然瞧不起徐知誥。但除了徐知詢本人和他幾個親信外，幾乎所有人，甚至包括徐溫的幾個兒子，都倒向了徐知誥，吳國上下都歸心於徐知誥931年十一月，徐知誥擔任鎮海、寧國節度使，鎮守金陵。935年十月，吳國皇帝楊溥加封徐知誥為天下兵馬大元帥，齊王。不久後楊溥禪位，李昪將楊氏子孫遷到海陵，派兵嚴守，阻絕外人進入
