1984年9月7日，国家科委、中华全国总工会根据国内各方面热心发明工作的科学家、新老发明者及有关部门领导倪志福、王兆国、武衡、沈鸿、王崇伦、钱学森、严东生、宋健、陈惠波等一百零三位同志的倡议，决定成立中国发明协会，并在1985年1月7日至9日和28日至30日在天津、武汉分别召开了各大区关于发明协会筹备工作座谈会。上海参加了在武汉召开的座谈会。3月1日，国家科委、中华全国总工会联合发出《关于印发“中国发明协会筹备工作座谈会纪要”的通知》，要求凡有条件的省市抓紧做好准备，争取把本地区的发明协会早日建立起来。上海市科委、市总工会根据通知要求，于4月22日向市政府提出了《关于成立上海发明协会的请示报告》，获准后，即由市科委、市总工会、团市委、市妇联、市专利管理局等单位共同组成上海发明协会筹备委员会，着手各项筹备工作：起草协会章程、征集会员、筹建协会领导班子等。

1985年10月16日，中国发明协会成立大会在北京人民大会堂隆重举行。党和国家的领导同志和各部门的负责人、著名科学家等出席。彭真委员长为协会成立题词，邓颖超主席题写会名，聂荣臻元帅发来贺信。中共中央政治局委员、国务委员方毅代表党中央和国务院在成立大会上发表讲话，高度评价中国发明协会的成立在我国科学技术发展史上的重要意义，要求各级党委、各级政府大力支持发明协会的工作，把广大群众的发明创造积极性充分调动起来，使我国的发明创造日益增多，为国家的繁荣昌盛和人民幸福做贡献。大会推举聂荣臻为中国发明协会名誉会长，国家科委原副主任武衡为会长。

中国发明协会的成立推动了各地建立发明协会的进程。1986年1月，上海市科委、市总工会联合向市委、市政府提出《关于成立上海发明协会若干问题请示报告》，就上海发明协会的筹备工作进展情况，以及上海发明协会的编制、经费、机构设置和召开成立大会等问题，做了汇报、请示。市委、市政府领导十分重视，作了明确的批示。5月6日，上海市市长江泽民亲自为上海发明协会题写了会名。

1986年5月9日上午，上海发明协会筹备委员会举行了第一次会员大会。首批会员200余人出席。筹备委员会主任钱伟长教授致开幕词。会员们听取了筹委会关于协会筹备工作情况的报告，选举产生了首届上海发明协会委员会委员52名，并推举了会长、副会长等。

5月9日下午，市科委、市总工会联合在上海展览中心隆重召开上海发明协会成立大会。市长江泽民、市顾问委员会副主任赵行志、市人大常委会副主任舒文、副市长谢丽娟、市政协主席李国豪、副主席杨士法，以及市委原领导钟民、陈沂，中科院学部委员、著名专家王应睐等近千人出席。全国总工会和中国发明协会发来了贺电。市总工会主席江荣主持会议并致开幕词。会长钱伟长和副会长沈志农分别在会上作了发言和工作报告。江泽民发表讲话，代表市委、市政府对上海发明协会的成立表示热烈祝贺，提出要把发明协会建设成为“发明者之家”，希望各级党委、各级领导都来关心、支持上海发明协会的工作。

一个由市科委和市总工会共同领导（以市科委为主）、业务上接受中国发明协会指导的上海发明者、积极从事发明创造和热心支持发明活动工作者的群众性组织——上海发明协会于是宣告成立。