这必须依据组织的知识愿景以及组织人力是否充足而定。如果组织规模不大，就不一定要成立知识管理部门，只要设立相关岗位、或者在某些岗位增加知识管理职能就可以，但有些组织的高层在启动知识管理计划时就肯全力支持，成立正式编制的知识管理部门。
可以参考组织在知识管理上已经做到什么程度，再来评估规划。推动知识管理的最高境界，是将知识管理变成一种文化与习惯，融入到流程之中，员工在工作流程中，依据相关规定，使知识产生、流动、沉淀，与工作流无关的知识产出，员工也会自动将文件上传分享；员工有任何问题，马上可以找到专家。如果组织已经达到这种程度，其实已经无须知识管理部门。
但也有的组织，比如St.Charles，有400位全职知识管理人员，每年从全球抽调知识能力最强的人员去参与几个月专题工作，一般组织可能做不到这样。
