古德里安1888年6月17日生于东普鲁士的一个军人家庭，他的父亲是一位陆军军官。古德里安13岁进入军官学校，1907年毕业后，被分配到一个轻步兵营任见习官，而这个营的营长就是他的父亲。1913年10月，他与在汉罗福省驻防时相识的玛加丽特哥尔尼小姐结婚。第一次世界大战期间，他在骑兵部队担任指挥官和参谋。
1922年，他调到陆军运输处，开始确立机械化观念。青年时代的古德里安，就具有创造性的想象力，从不满足于现有的战术、技术和兵器。他经常在《军事周刊》杂志上发表探讨当代军事问题的文章，以至这个周刊的主编阿托克将军经常访问这位年青的军官。他常常利用战术演习和兵棋推演的机会，发表自己关于战车将成为地面战场主宰的新观念。于是，古德里安逐渐有了名气。1931年，他出任摩托化部队总监部的参谋长。1934年7月，德国组建了装甲部队，希特勒派古德里安为装甲兵总监。古德里安系统地研究了第一次世界大战时战术方面的经验教训，特别是英国人利德尔·哈特和富勒的军事理论，逐渐萌生了以机械化部队为主体，各军兵种密切协同的战术思想，希特勒信奉的机动、攻击、迅速的“闪击战”理论，也为古德里安欣然接受。
装甲兵总监这个职务，使古德里安得到了把自己的战略战术思想付诸实践的机会。1930年，德国的摩托化部队只有几辆陈旧的装甲侦察车和几个摩托车连。到1932年，参加演习的摩托化分队还在使用模型坦克。古德里安担任装甲兵总监后，德国装甲兵得到了迅速的发展。希特勒非常欣赏古德里安坦克战的理论和实践，他不仅在财力物力上优先满足装甲兵发展的需要，而且每当演习和试验新坦克时，他都亲临现场。当他第一次参观古德里安组织的坦克群进攻演习时，面对排山倒海的钢铁洪流，他高兴得手舞足蹈：“这正是我想要的东西！”1935年3月，希特勒彻底撕毁了凡尔赛条约，德国陆军当年就把一个装甲旅扩编为三个装甲师，每个师有561辆战车。古德里安是其中的师长之一。
古德里安的过人之处是他的战术远见。他设计的作战形式就是坦克集群的高速进攻。1936年至1937年，他写了一本名叫《注意——装甲兵》的书，书中阐明了他以后在战争中运用的坦克战术。1938年，希特勒任命古德里安为机动部队总监，统管装甲部队的一切组织和训练事项。这一年，德国又试制成功了两种新型坦克，这两种坦克在策二次世界大战中是德国装甲部队的基本装备。同年，希特勒吞并奥地利时，古德里安率两个装甲师打头阵。尽管路上有些战车因技术故障而抛锚，但还是在两天之内前进了数百公里，创造了部队机动速度的新记录。从而显示了装甲部队的优越性。
1939年，古德里安任第19军军长。这个军包括一个装甲师和两个摩托化步兵师，在闪击波兰的战役中发挥了重要作用。他出色地执行了希特勒速战速决的战术原则，也使自己提倡的“闪击战”理论获得了惊人的成功。古德里安把他所在的“北方”集团军群中的两个装甲师和两个轻装甲师集中起来使用，横冲直撞，锐不可挡，强渡了那累夫河。9月14日，突破了布列斯特——里托夫斯克的筑垒地域，17日与“南方”集团军群的前卫装甲部队在布格河畔的符沃达瓦会师。古德里安像隆美尔一样，从来不在后方指挥，他总是乘坐装甲指挥车与先头部队一同前进，靠无线电同他的指挥机关和各师师长保持联系。有时由于前进速度过快，甚至进入己方的炮击区而险遭厄运。
波兰投降后，古德里安又转战西线。他所在的19军属伦德施泰特指挥的“A”集团军群。1940年5月，该军作为在色当地区的攻击主力，从法军防线上打开一个缺口，5月13日就渡过马斯河。一天之后，古德里安坦克军在色当以西和以南扩大了桥头阵地，并击退了法军第三装甲师的多次反击。当时在他看来，只有两件事可以阻止装甲部队的前进，即汽油耗尽和到达英吉利海峡。但是，德国最高统帅部包括希特勒在内都对装甲部队高速进攻获得的巨大战果感到惊疑，为防止法军发动翼侧反击，急令各坦克部队停止前进。对前线情况了如指掌的古德里安及一些前线指挥官们认为，这无异于放弃奇袭，会丧失一切初步战果。于是他们据理力争，终于获准作进一步的“强力侦察”，“扩大桥头阵地”。古德里安对这项命令加以灵活解释，率领部队沿索姆河一线神速前进。5月18日到达圣康坦，19日强渡索姆河，20日其前卫抵达阿布维尔和英吉利海峡，接着又由阿布维尔向北推进，22日占领布伦。6月初，古德里安被任命为第二集团军司令，率领所部又取得了一连串的重大胜利。古德里安和他的坦克兵拖着德国陆军前进，创造了现代史上空前的胜利。
1941年6月28日，德国发动侵苏战争，古德里安指挥的装甲兵团属中央集团军群，担负了向莫斯科方向突击的任务。战争初期，他们节节获胜，10月份，曾攻到距莫斯科几十公里的地方。但到12月初，由于冬季的来临、苏军的英勇抵抗和德军战略目标分散等各种原因，进攻莫斯科之战以失败告终。12月6日，古德里安被撤职，编入预备役，过了一年多闲散生活。1943年2月，希特勒在斯大林格勒遭到惨败之后，又重新起用古德里安，任命他为坦克兵总监，让其负责装甲部队的发展、组织和训练。在他任职期间，德国著名的虎式和豹式坦克投入生产并装备部队。
1944年7月，谋杀希特勒的事件败露后，与此事无关的古德里安出任德国陆军总参谋长。但这时德军的失败已成定局，第三帝国大厦将倾，已是独木难支。1945年3月底，希特勒免去了古德里安总参谋长的职务，再次将其贬入预备役。5月10日，古德里安被美军俘虏。不久获释。
1954年，古德里安病逝。这位坦克战专家虽然到底没有挤进元帅的行列，但他为法西斯德国称雄一时所起的作用以及所负盛名，并不亚于纳粹德国26位元帅中的任何人。他的肖像至今仍挂在德国的装甲兵军营中。
