1932年9月25日，古尔德出生在加拿大安大略省多伦多市。他的外祖父是挪威作曲家格里格（Edvard Grieg）的表亲。童年时代从母亲学钢琴，十岁进入多伦多皇家音乐学院学习钢琴、管风琴、和音乐理论。1945年古尔德十三岁第一次作管风琴演出。1946年古尔德在多伦多交交响乐队伴奏下演奏贝多芬《第四钢琴协奏曲》。1955年他第一次在美国华盛顿演出，演奏的曲目是巴哈的哥德堡变奏曲，经由这次的演出机会，古尔德与哥伦比亚广播公司签约，于同年6月26日起至录音室录制同一首演出曲目。1957年古尔德前往苏联演出，成为二战后第一个到苏联演出的北美音乐家。1964年古尔德在洛杉矶举行最后一次公开演出。此后古尔德专心从事唱片录音、广播和纪录片制作，写作，偶有作曲。1982年古尔德因中风在多伦多逝世，葬于多伦多安乐山公墓。多伦多CBS公司总部门前有古尔德坐像。

为了录制他的第一张唱片《哥德堡变奏曲》，古尔德于1955年6月来到设在纽约东三十街207号一座废弃的长老会教堂中的哥伦比亚录音室。他还随身带来了一大堆稀奇古怪的私人物件，其中有他的专用椅子，是他父亲为他做的，坐在这张椅子上他离地只有14英寸，这样他的手腕就能保持在与钢琴键相同或者低于琴键的高度。赫伯特·古尔德说："我设法找到了一把相当轻便的折叠椅，然后我把椅子的每条腿锯去约4英寸并且包上黄铜托架，用螺丝钉上，然后把半个螺丝扣焊在铜托架上，这样就能分别调节每条腿。”尽管天气很暖和，他却带来了一大堆毛衣和围巾，另外他还带着各式各样的药片。他弹琴时，经常是一只手击键，用另一只手打拍子。另外他的嘴里还不停地唱着、哼着、叹息着。古尔德有充足的理由来解释自己的古怪行为——比如说带着自己的小矮凳总比每到一个新城市时都要去找一把同样的椅子方便得多，另外围巾和药片都表明他对自己不稳定的健康状况感到担忧，而这种心情是可以理解的——但在许多人眼里，所有这些都纯属怪癖，不是出于一种想要自我放纵的疯狂欲望就是想哗众取宠，提高知名度。或许这都是一回事。哥伦比亚公司急于想为它的神童作宣传，不但把他作为才华横溢的钢琴家，而且把他作为一个怪人来宣传。
那张非同凡响的唱片一共包括三十段变奏，封面上是穿着衬衫的年轻古尔德的30张小照，或弹，或唱，或解说，或聆听，或争论——那套唱片改变了许多人的生活，改变了一种护身符，某种在外层空间被发现并带回地球的神秘的东西。当然它也在商业上创造了一个奇迹。1956年，即这张唱片推出的那一年，它的销量在古典唱片中排名第一，在这之后的四分之一世纪中它被不断地再版，唯一想让它停止再版的人是古尔德自己，在去世前不久他重新录制了这部作品。尽管这样还是有些人更喜欢听原来的版本，更喜欢22岁时那个狂妄自信的古尔德，那个觉得、相信、知道他无所不能的才华横溢的年轻钢琴家，而不是50岁时扭扭捏捏的古尔德。