1984年在河南安阳的一次会议上，一批老同志认为需要从政治思想、道德观念等方面关心当代青年的成长。在当时任团中央书记处书记的胡锦涛同志和其他同志的支持下，在河南安阳成立了全国第一个关心下一代工作组织“关心下一代协会”。关心下一代工作得到迅速发展，到1988年底全国已有21个省、自治区、直辖市相继成立了关心下一代工作协会，参加这项工作的老同志有几十万人。

1990年2月2日，一些老同志起草的“关于成立全国关心下一代工作协会的报告”上报中央。江泽民、宋平、李瑞环、丁关根等中央领导同志圈阅同意建立中国关心下一代工作委员会（原报告中称“关心下一代工作协会”，后改为此名称）。江泽民同志在1990年明确指出“‘老有所为’要很好抓一下。老同志的作用要很好发挥，特别是在教育青少年的工作方面。”他还特别强调。“我们现在面临一个紧迫任务，是要加强对青年的教育，对下一代的教育太重要了”。1990年6月28日中国关工委在人民大会堂召开了关心下一代工作座谈会，中央政治局常委李瑞环和许多领导同志以及青少年教育的有关专家、学者出席了会议。在成立座谈会上，李瑞环同志代表中央政治局常委讲话，他强调：“关心下一代工作，是关系到国家命运和前途的一件大事。我们的一切奋斗和工作，归根到底，都是为了民族的独立、国家的富强和人民的幸福，为了建设伟大的社会主义、共产主义，也可以说是为了未来，为了后代。忽视了对下一代的教育，就等于忽视我们党奋斗的最终目标，忽视我们毕生为之奋斗的革命建设事业的伟大成果，我们就成了糊涂人。“要充分发挥老同志在教育下一代工作中的特殊作用。”，“把老同志组织起来，进行关心下一代工作，是思想政治工作的一个创新。”他希望“大家都来支持老同志做好这项工作。”

到现在，全国已建立各级关工委组织几十万个，有几百万人参加关心下一代工作。

中国关工委由党中央政治局委员、国务委员吴仪同志分管，主任是原国务院副总理王丙乾，执行主任是原党中央组织部副部长王照华。

全国教育系统关工委也在1990年成立。高校的关工委工作取得了很大进展。据不完全统计，到2003年上半年为止，全国普通高校有600多所建立了关工委组织，高校参与关工委活动的老同志约18万人。