1965년 서울대 경제학과 입학 후부터 민주화 운동에 뛰어든 김 고문은 1967년 서울대 상대 학생회장 시절 총ㆍ대선 부정선거 항의 집회를 주도하다 제적당해 군대에 강제 징집됐다. 1970년 복학한 그는 1971년 ‘서울대생 내란음모사건’으로 지명수배되면서 1979년 10ㆍ26 사태 때까지 도피생활을 했다.
김 고문은 1983년 민주화운동청년연합(민청련)을 결성했고, 1985년 투옥될 때까지 두 차례 의장을 지냈다. 이때 치안본부(경찰) 서울 용산구 남영동 분실에 끌려가 보름 동안 여덟 차례의 전기고문과 두 차례의 물고문을 받기도 했다. 고문 후유증으로 파킨스병을 앓았다는 이야기도 있다. 김 고문은 이후 “고문받을 때 죽고 싶었다”고 말했지만, 자신을 고문했던 이근안씨를 용서하기도 했다.
1988년 출소한 김 고문은 1989년 전국민족민주운동연합(전민련) 활동을 하다 또 구속돼 1992년까지 투옥됐다. 그는 1995년 고(故) 김대중 전 대통령과 손을 잡고 새정치국민회의 부총재가 되면서 제도 정치권에 들어갔다. 1996년 서울 도봉갑에서 당선된 이후 내리 3선을 했으나, 2008년 총선에서는 낙선했다. 2004년 보건복지부 장관을 지냈고 2006년 열린우리당 의장을 맡기도 했다.
별명이 ‘신사’였던 김 고문은 조용하고 합리적인 성품으로 여·야에 적이 없었지만, 필요할 때는 권력과 맞서 목소리를 냈다. 김대중 대통령 시절 김 대통령 측근인 동교동계 해체를 가장 먼저 주장했고, 노무현 대통령 때는 노 대통령에게 “계급장 떼고 치열하게 논쟁하자”고 말하기도 했다.
2002년 민주당 대선후보 경선 당시에는 자신의 불법 정치자금을 양심 고백하면서 도중에 그만뒀다. 2007년 대통합민주신당 대선 경선 때는 범여권 대통합과 오픈 프라이머리(국민경선) 실현을 위해 불출마를 선언했다. 김 고문은 최근까지 민주통합당과 진보정당, 시민사회 등의 통합을 위해 노력해 온 것으로 전해졌다.