《乐记》中的乐兼指诗、歌、舞三者，但主要以论述音乐为主。《乐记》认为，音乐是通过声音来表现情的，情来自人对现实生活的反映：大凡音的产生，都是出于人类有能够产生思想感情的心；人类思想感情的变动，是外界事物影响的结果；受外界事物的影响，人的思想感情产生了变动，就会用声表现出来。所谓乐，是由音所构成的，而其本源乃在于人心对于外界事物的感受。
这打破了以往认为乐是上天赐予或神圣创造的说法，《乐记》认为，外界事物的变化使人的感情产生各种变化，音乐则是这种感情变化的表露。这种感于外物而发的声音，并不就是乐。声音并非一种，其中有同有异；同声相应，异声相杂，于是产生错综变化；把这种错综变化的声按照一定的规律表现出来，就叫做歌曲；这些歌曲按照顺序加以演奏，再加上武舞和文武，这就叫做乐。
这就是说，发出来的声音，要能按照宫、商、角、徵、羽排列变化，形成高低抑扬、有节奏的音调，才能称之为乐。按照一定的音调歌唱、演奏，并举着盾牌、长柄斧、鸟羽毛、牛尾跳舞，这就是乐。审定一个基调来定调和之音，再配上各种乐器表现其节奏，使节奏合成为乐章。
乐的最大特点是和，《尚书》中早已有“律和声”、“八类乐器能够相互和谐”、“神和人通过诗歌音乐可以交流思想感情而能协调和谐”的思想。郑国的史伯提出过“和六律以聪耳”的思想，认为诸多声音相异相和才能构成动听的乐曲。孔子提出“乐而不淫、哀而不伤”，强调情感和理智的平衡和谐。《乐记》继承和发展了这一思想，认为“最高尚的乐像天地那样的和谐”，“地气上升。天气下降，阴阳相互摩擦，天地相互激荡，雷霆来鼓动，风雨来滋润，四季交替循环，日语日昼夜照耀，于是万物化生；圣人依此制乐，可知乐是体现天地之和同的”。音乐犹如阴阳相摩、天地相荡、风雨飞动、日月光照、百化兴焉那样和谐美妙。和谐而不互相损害，这是乐的精神。
《乐记》认为，音乐可以表达情感。乐所表达的，是感情的不可变易；礼所表达的，是道理的不可变易；乐强调调和同一，礼强调区别差异；礼和乐的学说，贯通了全部人情。音乐和舞蹈，是让人快乐的，这是人的常情，不可以缺少。音乐是人感情的表现，音乐离不开情感。人生在世，谁能没有感情，因此人人都需要音乐，乐是人情所不能避免的天生的情感的表露。
音乐是人情感的表现，情感能影响音乐，音乐能影响情感，所以不同的情感可以从不同的音乐中表现出来。引起悲哀的情感时，发出焦虑急促的声音，引起快乐的情感时，发出舒畅和缓慢的声音；阴气愤怒的情感时，发出粗暴严厉的声音；引起敬重的情感时，发出直爽庄重的声音；引起慈爱的情感时，发出柔和的声音。以上六种情感和相应的六种声音的变化，都不是处于人的本性，都是感于物发出的，引起哀、乐、喜、怒、敬、爱等不同的情感，不同的情感用不同的声调表现出来。
反之，由于人和人之间的感情是相通的，因此表达不同感情的音乐也能影响听者的感情，引起听者的共鸣。《乐记》说：人是有感情冲动和认识的本能的，但喜、怒、哀、乐的变化是无常的，受了客观外在事物的影响，才能形成主观内在的情感和认识。所以当微弱充满焦虑的音乐流行时，人们就产生了忧心忡忡的情感；当舒畅、和谐、缓慢、平易，内容丰富而又鲜明节奏的音乐流行时，人们便感到安康和快乐，当粗壮、威严、猛起猛落充满激愤的音乐流行时，人们就能刚强而有毅力；当庄重、正直、真诚的音乐流行时，人们就产生严肃崇高的情感；当舒畅、洪亮、流畅、柔和的音乐流行时，人们就会产生慈爱的情感；当邪僻、散乱、淫邪的音乐流行时，人们就会产生邪乱的情感。
由于音乐是感情的体现，而感情饰有个体特征的，所以音乐对人的性格能产生巨大影响。《乐记》列举了郑国、宋国、卫国、齐国不同特点的音乐对人意志和性格的影响的例子。郑国的音乐很复杂，使人意志放纵；宋国的音乐很抚媚，使人意志消沉；卫国的音乐很急促，使人的意志烦乱；齐国的音乐很古怪，使人意志傲慢。以上四种音乐，都是用声色丧志来损害品德。所以不能登大雅之堂，祭祀时当然不能用这些音乐。