杨广与父亲的妃子宣华夫人陈氏的暧昧关系给杨广蒙上了乱伦的恶名，即后世所称的“淫母”。杨广还被说成是荒淫无度，宫女数万。但是不论史书如何贬损杨广，都不得不承认，他的元配妻子萧皇后从来没有被彻底冷落过。
杨广十四岁时即与江南大族之女萧氏结婚，直到他去世，两人始终情投意合。作为封建帝王，这样感情专一在中国历史上并不多见。杨广曾把南朝灭亡的原因归结为“江东诸帝多傅脂粉，坐深宫，不与百姓相见”，可见，他对淫乐之事还是有清醒的认识的。
如果说“淫母”是对杨广淫乱品性的批判，“谋兄”、“弑父”、“幽弟”则是对杨广丧失人伦的指责。
根据史书和演义的记载，起初隋文帝杨坚立长子杨勇为太子，杨广被立为晋王。杨坚和独孤皇后都喜欢节俭，杨勇不知收敛，生活非常奢侈，杨广则伪装出生活俭朴，不好声色的样子。每当文帝夫妇到他府中，他就把浓妆艳抹的姬妾藏进里屋，只安排几个又老又丑的妇人，穿着粗布衣服在左右侍候。他又故意将乐器的弘弄断，使乐器上布满了灰尘，放置在引人注目的位置上。这些假象让文帝夫妻俩十分称心。
有一次，杨广外出狩猎，正逢大雨。侍卫给他送上油衣（雨衣），他拒绝说：“兵士们都在大雨中淋着，我一人岂能穿上独自避雨呢？”文帝听说此事，认为杨广颇有仁爱之心，日后必成大事，对他更加喜爱。与此同时，杨广又勾结越国公杨素，让他在文帝和独孤皇后面前极力中伤杨勇，诬陷杨勇在文帝生病期间盼望父皇快死。文帝和独孤皇后本来就不太喜欢杨勇，听后立刻将他逮捕。随后在孤独皇后的坚持下，将其废为庶人，改立杨广为太子。
604年7月，文帝病重卧床，杨广认为登基的时机已到，迫不及待地写信给杨素，请教怎样处理文帝的后事。不料送信人误将杨素的回信送给了文帝。文帝读后大怒，马上宣召杨广入宫，要当面责问他。此时，宣华夫人衣衫不整地跑进来，哭诉杨广乘她换衣时无耻地调戏她，文帝更醒悟到受了杨广的蒙骗，拍着床大骂：“这个畜生如此无礼，怎能担当治国的大任，皇后误了我的大事。”急忙命在旁的大臣柳述、元岩草拟诏书，废黜杨广，重立杨勇为太子。杨广很快得到安插在文帝周围的线人的密报，他与杨素商量后，带兵包围了皇宫，赶散宫人，逮捕了柳述、元岩，谋杀了文帝。随后，杨广又派人假传文帝遗旨，要杨勇自尽，杨勇还没来得及说话，就被派去的人拖出杀了。就这样，杨广以弑父杀兄的手段夺取了皇位。
这些事件记载于正史书，应该都是真实的，由此可见杨广的狡诈和冷血。但是，历史上为了争夺王位骨肉相残的事件比比皆是，宫廷杀戮是封建帝王专权制度下无法回避的问题。杨广弑父杀兄，只不过是历史上为数众多的宫廷流血事件中的一桩，对其特别加以苛责并不公平。李世民就曾通过玄武门之变，杀害了哥哥李建成和弟弟李元吉，逼父亲李渊退位。只不过因为李世民做得相当高明，通过篡改史实，把李建成和李元吉贬得一无是处，甚至是残忍无能之辈。加之他自己是一位实力超群的君主，所以后世并没有特别指责他。