在東、西對立的局面下，高洋被迫向懷朔勳貴們讓權，讓他們始終享受如高歡、高澄在世時的禮遇榮寵。為了充分表達自己的誠意，他尊封斛律金為咸陽王加封太師，並讓自己的女兒義寧公主嫁給斛律光的兒子斛律武都，透過與斛律氏結為姻親，實現高氏與懷朔勳貴的利益捆綁。
為防止西魏的宇文泰趁勢偷襲，高洋當機立斷，令斛律金從行，以斛律光為先鋒，發起親征漠北大戰。斛律光作戰勇猛，屢次衝鋒都身先士卒，斬獲頗豐。等高洋班師回朝，他已是一位威震漠北的將星。
斛律光一戰成名，除了令漠北各部族聞風喪膽，也令宇文泰有所顧忌。漠北之戰結束後，斛律光便來到晉州任刺史，負責領兵與西魏展開對峙。
斛律光到任後，北齊軍民屢遭擄掠，但他並不著急應對。他認為雙方的攻防得失並不限於一城一池。要徹底根治西魏的騷擾，就得修長城。
556年十月，西魏宇文泰病故，斛律光瞅準時機，發兵突襲晉州附近的西魏天柱、新安、牛頭三戍。西魏儀同王敬俊聞訊來救，被斛律光的騎兵所敗。隨後，斛律光率領軍民又攻克了絳川、白馬、澮交、翼城四戍，宇文泰在晉州附近設定的戍所防禦體系徹底崩潰。
斛律光在前線勠力殺敵，高洋卻在後方大發酒瘋。他遺傳了高歡的嗜酒本性，只要一喝醉酒，就開始借酒殺人、酒後亂性。
藉著酒勁，高洋將對斛律氏家族的不滿和忌憚表露無遺。斛律金當時已年近七旬，任左丞相，高洋總是懷疑其不忠。有次趁斛律金上朝，高洋騎馬持槊，擺出一副要殺斛律金的姿態。不過斛律金向來勇武而且背景強大，對高洋的恐嚇一笑置之。
高澄先後與父親的兩個妃子私通。14歲時與父親的妃子鄭大車私通，差點被廢黜；後來又與父親的妃子柔然公主私通，並生下一女。他還強姦東魏大將高慎的妻子，造成高慎叛逃西魏，並引發東西魏之間的邙山大戰。
高澄還多次調戲並姦汙高洋的妻子李祖娥。
此事極大地刺激了高洋，因此高洋稱帝后，公然強姦高澄的妻子元氏。強姦時高洋直言不諱地說：“吾兄昔日奸我婦，我今須報。”
天保七年（556），已經做了七年皇帝的高洋徹底放飛自我。他在喝醉酒後，徑直闖入婁昭君的寢殿。當時，婁太后正坐於榻上閉目養神。高洋二話不說，將其母連人帶榻掀翻，導致婁昭君倒地，重傷不起。
事後高洋醒悟，“大懷慚恨”。他擔心母親責罰，遂令人在太后宮前架起柴火，席地而跪，並下旨讓大臣出盡全力杖責自己，以此減輕他忤逆母親的罪過。
婁昭君也看出了高洋演戲的成分，遂令人改笞腳五十，事情因此作罷。
接受了處罰的高洋還是不敢怠慢，在太后面前“衣冠拜謝，悲不自勝”，併發誓從此戒酒。直到此事過去大半個月後，高洋才敢照舊。
由此可見，婁太后在高洋時代的地位是不容侵犯的。
高洋即位伊始，即將年僅六歲的兒子高殷立為太子，希望他既能熟習漢人的儒家文化，也能像父祖一般馳騁沙場，建功宇內。經過儒家的洗禮後，高殷卻對祖上流傳下來的弒殺極度厭惡，這導致高洋一度認為太子不成器。
可高洋並不想像哥哥高澄那樣，死了由弟弟即位。他想家天下，也想擺脫母親婁昭君的影響。於是，他打算把自己的兄弟姐妹全部殺掉，如此，兒子高殷將來繼承皇位便沒有任何險阻。
高洋首先找藉口把三弟高浚和七弟高渙殺掉，隨後把屠刀伸向其他親兄弟。當時，介於高浚與高渙之間的嫡子，僅常山王高演一人。所以，高洋想集中火力對付這個六弟。
可是，事情卻難辦了。
高演自小才智超群，很得母親婁昭君的歡心。沒辦法，高洋只能再使出借酒鬧事這一招。他知道高演為人嚴厲，屬下有時候分析判斷失誤，就會被高演抓起來打一頓。於是，一次酒後，高洋也把高演抓過來，用刀抵住高演的肋部，並召來被高演懲罰過的人，要求他們說出高演的不是。直到高洋氣消了，高演才得以脫身。
被高洋威脅了一頓後，高演回到家就開始絕食。這下，婁昭君心疼了，見兒子不吃，她也不吃，並借自己的威望讓旁人向高洋表明自己的立場和態度。
最終，拗不過母親的高洋只好認輸，而高演則在威望甚高的母親的護佑下逃過一劫。但也為高洋去世後其太子被廢埋下了伏筆。
高洋在戰場上衝鋒陷陣，身先士卒，表現十分勇猛。但他縱酒肆欲，到他統治晚期竟然只喝酒不吃飯，最後因飲酒過度暴斃，年僅34歲。
高洋駕崩後，太子高殷即位，史稱齊廢帝。高殷的生母是漢人皇后李祖娥。在母族的影響下，高殷尊禮重儒，對父、祖對外擴張的做法毫無興趣。
以斛律金為首的懷朔舊勳，難免生出被邊緣化的惆悵之情。
於是，斛律金和開國太后婁昭君等人支援高殷的兩個叔叔高演和高湛發動政變，廢掉了高殷。
560年，孝昭帝高演登基，婁昭君也有言在先，即高殷“令食一郡”，“出居別宮”，而高演需保證侄子一世太平。
對於這些諾言，高演初時是遵守了。可自己另立的太子高百年，卻比侄子高殷小了十二歲左右，高演實在擔心哪天高殷復辟了，自家很有可能就會被以亂臣賊子的身份，滿門抄斬，萬劫不復。特別是在高演因狩獵墮馬重傷後，他對侄子高殷的存在更加不放心。故而，拼著自己可能隨時喪命的風險，他命人將高殷錘死。而這無疑又觸犯了太后婁昭君希望家族子孫和睦共存的底線。
當高演最終病重不治後，婁昭君直接以太后的身份宣佈，讓自己的另一個兒子高湛繼承皇位。
太寧二年（562）四月，婁昭君在鄴城北宮去世，享年62歲。
高湛在位期間，把高洋的嬪妃以及幾個功臣的女兒全部招入宮中公開宣淫。
高湛逼奸二嫂李祖娥時威脅她說：“若不許，我當殺你兒。”李祖娥為了保護兒子只好順從。此外高湛還姦汙高演的皇后、六嫂元氏。
567年，斛律金病逝，享年80歲。斛律光繼承了父親的政治遺產，成為懷朔勳貴子弟的代表，當上了北齊的新任咸陽王、右丞相。
高湛去世後高緯親政，斛律光私下裡經常感嘆：“盲人入，國必破矣！”
秘書監祖珽是個瞎子，聽到這話後自然忌恨。
572年，鄴城街頭，三五稚童在人群中傳唱童謠：“百升飛上天，明月照長安。”“高山不推自崩，槲木不扶自豎。”
童謠很快傳入宮中，高緯找來祖珽，讓他解答童謠背後的意蘊。
祖珽說，童謠第一句裡的“百升”指一斛，而“明月”暗指斛律光的字號。“高山崩”“槲木豎”等語同樣暗喻斛律光有篡位野心。
祖珽最後表示：“斛律累世大將，明月聲震關西，男尚公主，女為皇后，謠言甚可畏也。”
572年六月，咸陽王、丞相兼大將軍斛律光收到高緯御賜的一匹駿馬。
按照慣例，他需要入宮面聖謝恩。
當他抵達皇帝的寢殿時，卻被告知皇帝正在涼風堂休憩。
涼風堂是昔日北齊發動政變、處置叛臣的地方。斛律光被叫到這裡會面，心中隱約有一絲不祥的預感。
果然，他剛踏入涼風堂大殿，就遭到大內第一殺手劉桃枝的偷襲。
斛律光回過頭說：“你們常常幹這種事情，但我至死也不幹對不起國家和皇帝的事。”
最終，劉桃枝和三名大內侍衛一起用弓弦將這名老將活活勒死。
這一年，斛律光58歲。
斛律光被殺後，祖珽命禁軍將領邢祖信前去查抄他謀逆的罪證。邢祖信將斛律光的府邸翻了個底朝天，可是隻找到十五張弓和七把刀，根本無從佐證斛律光謀反。
可高緯還是下達了族滅斛律光家族的命令。
高緯認為自己的妃子馮小憐是個絕世尤物，一定要讓大臣們一起欣賞她的玉體。於是選了一個夜晚，讓馮小憐裸體躺在朝堂之上供大臣開眼。在這荒淫無邊的時刻，北周的軍隊已經攻破了北齊的軍政中心晉陽。正是：
一笑相傾國便亡，
何勞荊棘始堪傷。
小憐玉體橫陳夜，
已報周師入晉陽。
公元577年，北周武帝宇文邕長驅直入攻破鄴城，北齊亡。
作為曾經的死敵，宇文邕倒是對斛律光不吝讚譽。他一進鄴城就令人尋找、撫卹斛律光殘存的子嗣後裔，並告知眾將：“此人若在，朕豈能至鄴！”
“國之存亡，系其生死”，歷史總是以最殘酷的方式來反證一個人物的不可替代性。
