本书是清代影响最大的一部诗话。其体制为分条排列，每条或述一评，或记一事，或采一诗(或数诗)，乃随笔式。本书的编撰，旨在倡导性灵说诗论，以反对乾隆诗坛流行的沈德潜格调说与翁方纲以考据为诗的风气。本书于作者辞官后开始编撰，正编成书于乾隆五十五年(1790)，由毕沅等资助付梓。补遗则写至作者病故为止，成书于嘉庆年间。

    本书主要价值在于其所阐述的性灵说诗论。其涵义是从创作的主观条件出发，强调创作主体必须具备真情、个性、诗才三方面要素。性灵说的真情论主张：一、真情乃诗人创作的首要条件，所谓“诗人者，不失其赤子之心也”(卷三)，“赤子之心”即性灵、真情。二、真情是诗歌所表现的主要内容，所谓“自《三百篇》至今日，凡诗之传者，都是性灵，不关堆垛”(卷五)。三、以真情感人是诗的主要审美功能，所谓“圣人称：‘诗可以兴’，以其最易感人也”(卷十)，此论乃针砭沈德潜的“诗教”说。性灵说的个性论主张：一、诗人须具个性，故称“作诗，不可以无我”，“有人无我，是傀儡也”。(卷十)“我”即独具的个性。二、艺术创作须有独创性，既不囿于古人，亦不盲从流俗，“要之，以出新意、去陈言为第一着。”(卷六)三、反拟古、反格调：“明七子论诗，蔽于古而不知今”(卷三)，“专唱宫商大调，易生人厌”(卷四)，此说亦批判了明七子的后继者沈德潜。性灵说的诗才论主张：一、诗人创作须具备特殊才能。“性灵”的本义即指人灵智的本性，故亦称灵性。袁枚论诗则有“笔性灵”、“笔性笨”之分。(见《补遗》卷二)“笔性灵”则有诗才，乃针对翁方纲以考据为诗而发的：“经学渊深，而诗多涩闷，所谓学人之诗，读之令人不欢。，’(卷四)二、诗人创作时产生灵感现象。首先，灵感降临时诗人处于艺术思维的高潮，“兴会所至，容易成篇”(卷二)。其次，灵感持续时间甚短，不易把握，当“兴会已过”，化“千万力气”亦不易再得。(见卷三)最后，灵感的偶然性与必要性相统一。书中引唐诗喻之：“尽日觅不得，有时还自来。，，(卷二)三、艺术表现须自然天成，因此推重“最妙，，(《补遗》卷五)；即使对素材提炼加‘亦须不露斧凿痕迹。四、诗歌形象要生动、灵活、有趣。书中引证杨万里语“风趣专写性灵”(卷一)，又一再标举“生气”、“生趣”(《补遗》卷三)，旨在倡导以生动风趣的形象抒写性灵。本书的精华在于“话”’而基础却在于“诗”，故书中采录了大量印证诗论的作品，不拘时代、流派，不拘作者身份、性别，尤可称道者是闺秀之什颇多。本书亦有不少诗坛掌故、诗歌本事、诗人轶事的记载，虽不无庸俗之处，但可见乾隆文化状况的一个侧面。

    本书所倡导的性灵说于康乾诗坛王士镇神韵说、沈德潜格调说、翁方纲肌理说之外，独开生面，别树一帜，江南江北靡然从之，并集结起性灵诗派，为反拟古、反考据为诗及使诗歌回归抒写真性情的轨道上来作出重要贡献。对于本书，长时间毁誉不一。钱钟书评本书“往往直凑单微，隽谐可喜，不仅为当时之药石，亦足资后世之攻错”(《谈艺录》第195一196页，中华书局1984年版)，不失为公允之论。

    本书正编最早版本为乾隆五十五年(1790)随园刻本，补遗为嘉庆年间随园刻本。后来光绪十八年(1892)上海图书集成局的《随园三十六种》、宣统二年(1910)上海鸿文书局的《随园三十八种》、民国上海扫叶山房的《随园全集》排印本均收此书。此外坊间亦有单刻本，如民国三年上海宝斋书局有石印本《增图随园诗话》，附八幅插图。建国后有人民文学出版社1960年版顾学颉的校点本，1982年重印时又附录了满族人伍拉纳之子《批本随园诗话》批语及冒广生、张尔田之跋语等资料