有理由可以不去用许多人共同享有的较大利益来纠正少数人的自由权所遭到的破坏。在大多数情况下，至少在文明的相当高级阶段，利益的最大总量才偶尔不是用这种办法得到的。毫无疑问，正义的常识性准则为严格性对限制人们的不正义倾向，对限制危害社会的行为倾向，具有某种用途，但功利主义者认为，断言这种严格性就是道德的一个基本原则，那是错误的。正如一个人最大限度地实现自己的一系列欲望是合理的一样，一个社会最大限度地提高它的全体成员的满足的净差额也是理所当然的。

    因此，达到功利主义的最自然的办法（虽然肯定不是唯一的办法），就是为整个社会采用适合于个人的合理选择原则。一旦这一点得到承认，公正旁观者的地位和功利主义思想史对同情的强调也就容易理解了。正是由于这种公正旁观者的观念，由于用对同情的认同作用来指导我们的想象，适用于个人的原则得以运用于社会。在人们的想象中，正是这种旁观者把所有人的欲望结合成一个必要的合乎逻辑的欲望系统；正是由于这种结合，许多人就融合成了一个人。这个公正的旁观者是一个具有同情能力和想象力的理想人物，因而也是一个完全有理性的人，他认为自己的欲望和别人的欲望是一致的，他能体会别人的欲望，就像是他自己的欲望一样。这样，他查明了这些欲望的强烈程度，并确定了它们在这一个欲望系统中的适当比重，然后，由理想的立法者通过对社会制度的各种规章进行调整，努力使这些欲望得到最大限度的满足。按照这种社会观，不同的个人被看作是许多不同的尺度，权利和义务以及不多的满足手段都要用这些尺度按章予以确定和分配，以便最大限度地满足需要。因此，理想的立法者作出的决定与企业家或消费者作出的决定，实质上并没有什么不同：企业家的决定是如何通过生产这种或那种产品来使自己获得最大限度的利润，而消费者的决定则是通过购买这种或那种商品来使自己获得最大限度的满足。在每一种情况下，都只有单独一个人，他的系统欲望决定了有限手段的最佳分配。正确的决定基本上是一个有效管理的问题。这种关于社会合作的观点，是把适用于个人的选择原则扩大应用于社会，然后为了实现这种扩大应用，通过公正而富有同情心的旁观者富有想象力的行动，把所有的人融合成一个人的结果。功利主义对人们之间的差异是并不认真看待的。