但是，经济学毕竟不是数学，精确的数量分析并不能始终在实践中得到验证。实践的发展又使人们认识到，经济发展并不只是涉及各种变量之间的数量关系，经济活动也不完全是表现为受制于市场机制的作用，在市场机制的作用下，经济活动并不能够始终具有最高的效率。经济关系是复杂的，数量研究和分析在定量上的精确性并不能有效地解决复杂的经济关系问题，市场机制也难以协调好各经济主体之间的利益关系，从而使市场“失效”成为一种并不偶然的现象。特别是许多经济问题同时也是社会问题，而市场机制对解决社会问题则是无效的。因此，人们开始注重制度问题，更多地从制度的角度来研究经济问题，通过寻找一种新的制度安排来处理好经济活动中的各种经济关系。
新制度经济学的兴起，把对产权问题的分析推向了新的高度，产权分析方法在经济学研究中得到了极大的青睐。当对经济问题的研究重点转向了制度因素以后，实际上已经反映了人们具有这样一种共识：选择一种合理的制度，一方面能够使各经济主体对于经济活动具有充分的动力；另一方面，又能够使经济活动的成本降低，收益增加，从而具有更高的经济效率。正是基于这样的认识，在经济学研究中人们广泛地运用制度研究方法来说明和解释各种经济现象，并深刻揭示了经济制度与经济活动效率之间的内在联系。制度研究方法在说明经济现象和解决经济问题上具有的深刻性，使人们在经济学研究的分析体系中，越来越注重采用制度分析方法。
制度研究方法的基本特征是：把人们在经济活动中必然要发生的各种关系作为研究的出发点，通过分析不同的制度安排对经济活动效率产生的不同影响，揭示经济制度与经济活动效率之间的内在联系，以及人们选择不同的制度安排的决策依据和决策过程，并从理论上构建了以制度分析为主线的经济学理论框架。在这一研究方法的主导下，制度经济学的基本理论观点认为，制度是影响经济活动效率的一个重要因素，每做出一种制度安排，都会有两方面的关系：一是为此付出的代价，即制度成本；二是由此得到的利益，即制度收益。这两方面的比较关系就是制度效率。制度研究就是要从理论上说明和论证选择怎样的制度安排才能够实现最高的制度效率。
把产权问题引入经济活动的分析，使人们对经济问题的研究不再局限于只是对经济规律和经济变量的分析，而是更多地把注意力集中到对制度问题的研究。因为经济问题就其实质来说，是人与人之间的经济利益关系。因此，经济学研究的主要任务就是要通过建立规范的制度来处理好这些关系，从而使各个经济主体具有充分的动力。从这一意义上说，新制度经济学的产权理论，使对经济问题的研究从现象层次进入到本质层次。
第二，新制度经济学在对产权和经济分析中运用了“交易费用”这一基本分析工具，使人们对产权与制度在经济增长中的作用有了更清晰的认识。
埃格特森指出的：“正是在新古典经济学的框架中加入了正的交易费用使新制度经济学与新古典经济学相区别并改变了研究的方向：交易费用使所有权的分配成为首要的因素，提出了经济组织的问题，并使政治制度结构成为理解经济增长的关键。”从这一意义上说，掌握交易费用理论也就成为研究制度经济学的前提。
交易费用理论是由科斯首创的，也是科斯思想中最为重要、最为核心的部分。科斯在1988年指出，他对经济学的最重要的贡献就在于明确地把“交易费用”概念引入经济分析之中。1991年科斯在诺贝尔经济学奖颁奖仪式上的演说词中对此进一步指出：“如果认为《企业的性质》的发表对经济学的最重要的后果就是引起对企业在现代经济学中重要性的足够重视，可能就错了。在我看来，这个结果可能在任何情况下都会发生。我认为这篇论文的重要贡献，是将交易成本明显地引入经济分析。”在科斯创立交易费用理论的基础上，新制度经济学的其他主要代表，如威廉姆森、张五常等人也对交易费用理论作出了贡献。虽然交易费用理论在产权分析中占有极其重要的地位，但在新制度经济学中，关于交易费用并没有一个明确的定义。根据科斯所论述的交易费用的基本内容来看，他认为，交易费用是通过价格机制组织生产的最明显的成本，就是所有发现相对价格的成本，其中包括获得和处理市场信息的费用，这是交易准备阶段的费用；还有市场上发生的每一笔交易的谈判和签约的费用，其中包括讨价还价、订立合同、监督执行等方面的费用，这是交易活动进行时发生的费用；另外，还包括由交易活动引起的对未来的不确定性和风险等因素引起的费用。用科斯简短的话来归纳，他说：谈判要进行，契约要签订，监督要实行，解决纠纷的安排要设立，等等，这些费用后来被称为交易费用。
张五常对交易费用所下定义是：在最广泛的意义上，交易成本包括所有那些不可能存在没有产权、没有交易、没有任何一种经济组织的鲁宾孙经济中的成本。因此，在这种意义上，交易成本就可以看作是一系列制度成本，包括信息成本、监督管理的成本和制度结构变化的成本。简言之，包括一切不直接发生在物质生产过程中的成本。在这里，张五常对交易成本强调了这样几点：一是交易成本具有社会性，即交易成本是发生在人与人的社会关系中，离开了人们的社会关系，交易成本是不可能发生的；二是交易成本具有一般性和广泛性，即交易成本是一种资源耗费，广泛地存在于社会经济活动中；三是交易成本具有非物质生产性，即交易成本不是直接发生在物质生产领域的，它不是生产成本，而是权利交易过程中所花费的成本。
以科斯为代表的新制度经济学家创立了交易费用理论以后，交易费用这一概念在经济学分析中得到了广泛的运用。之所以交易费用的概念能够得到广泛的运用，其主要原因在于以下两个方面：
一是交易费用在现实经济活动中是客观存在的，因而有必要将它引入经济分析之中。交易费用主要是与信息的获得和制度因素联系在一起的，这样，交易费用既和市场联系在一起，又和制度联系在一起。这就使整个经济分析更接近于实际，而不是只是停留在脱离实际的假设上。更重要的是，交易费用概念的确立，为把制度因素引入经济分析奠定了基本条件，使人们更重视经济活动中的制度因素分析。
二是交易费用反映了现实经济活动中是有摩擦的这一事实。交易费用当然是指人们在进行交易时所耗费的资源，这说明社会经济活动是有摩擦的。这就推翻了新古典经济学那里“无摩擦”的假设。经济活动中的“摩擦”是由人们的相互关系、制度结构和经济行为引起的，从而为我们认识这个复杂的经济社会提供了一个简单而又有力的分析工具。
交易费用分析方法在不同领域中的运用，又促成了新制度经济学相对独立的理论的形成。与交易费用理论有着密切关系的主要有以下理论：一是现代企业理论。现代企业理论主要分析企业的产权结构、激励与企业行为的内在联系等，如何寻找一种交易费用较低的而又能够有很强的激励作用的企业产权结构。二是资源配置效率理论。这一理论主要分析交易费用的高低与产权安排及资源配置效率之间的相关性，强调产权安排对交易费用从而资源配置的影响。三是制度创新理论。这是将交易费用理论和方法运用于制度创新的分析，说明为什么会发生制度创新，选择何种方式进行制度创新，如何从成本与收益的比较中作出理性的选择，等等。
但是，新制度经济学的产权理论与马克思主义制度经济学的产权理论在基本观点、基本分析方法等方面都存在着重大的差别。因此，运用不同的产权理论对经济问题进行分析所得出的结论也是不同的。就新制度经济学的产权理论本身来说，也是存在着许多缺陷的。
首先，新制度经济学的产权理论把法律看作是决定产权关系的最重要的因素，重点从法权关系上来研究产权问题，这是颠倒了法律与经济这两者的基本关系。
从新制度经济学的主要代表人物对产权的界定来看，他们都把产权看作是由法律决定的，都认为产权是一种由法律规定和实施的以使用权、收益权等权能组成的排他性的独占权，这些权利不是在历史地形成的生产方式和生产关系基础上产生的，而是以反映人的超历史的自然本性的法律为基础的，是法律创造了产权。在这里必须指出，虽然产权是属于法律的范畴，但法律意义上的产权是对现实经济关系的一种确认，是经济关系在法律上的体现。也就是说，法律意义上的产权，其实际内容是经济上的所有制，是经济上的所有制关系决定了法律上的产权关系，而不是相反。在财产所有制和所有权的关系上，是先有财产的所有制关系，然后才有法律意义上的财产所有权关系，先有经济关系，才有法权关系。所以，必须正确地认识经济关系与法权关系之间的关系，才能对产权关系有深刻的认识和把握，才能从法律意义上的产权关系中把握其内在的经济关系。而新制度经济学的产权理论在对这两者关系的把握上是存在着明显的缺陷的。
