Kantor Manajemen Mutu (KMM) mulai berdiri pada tahun 2008 dibawah pimpinan Rektor IPB Herry Suhardiyanto. Pada tahun sebelumnya, KMM merupakan bagian dari AJMP (Administrasi dan Jaminan Mutu Pendidikan) yang kemudian dipecah menjadi dua bagian, yaitu KMM dan Direktorat Administrasi Pendidikan (Dit. AP). Secara struktur, KMM berada dibawah koordinasi Rektor langsung, sedangkan Dit.AP berada di bawah koordinasi Wakil Rektor bidang Akademik dan Kemahasiswaan. Kantor ini didirikan berdasarkan tuntutan dari negara melalui UU No.12 Tahun 2005 tentang Sistem Pendidikan Nasional. Pada awalnya KMM hanya memikili 2 bidang, yaitu bidang Penjaminan Mutu (PM) dan bidang Akreditasi dan sertifikasi (AS), namun pada tahun 2013 KMM berkembang dan merubah struktur bidang menjadi 3 bidang, yaitu Bidang Standar Mutu, Asesmen Mutu, dan Akreditasi dan Sertifikasi.

Sejarah Struktur organisasi KMM
Tahun 2008
Kepala Kantor : Dr. Ir. Agus Purwito, M.Sc. Agr
Kepala Bidang Penjaminan Mutu : Prof. Dr. drh. Srihadi Agung Priyono
Kepala Akreditasi dan Sertifikasi : Dr. Ir. Fredinan Yulianda, M.Sc

Tahun 2009
Kepala Kantor : Prof. Dr. drh. Srihadi Agung Priyono
Kepala Bidang Penjaminan Mutu : Dr. Ir. Feri Kusnandar, M.Sc
Kepala Akreditasi dan Sertifikasi : Dr. Ir. Fredinan Yulianda, M.Sc

Tahun 2012
Kepala Kantor : Dr. Ir. Fredinan Yulianda, M.Sc
Kepala Bidang Penjaminan Mutu : Dr. Ir. Anna Fatchiya, M.Si
Kepala Akreditasi dan Sertifikasi : Dr. drh. Hadri Latif, M.Si

Tahun 2013
Kepala Kantor : Dr. Ir. Fredinan Yulianda, M.Sc
Kepala Bidang Standar Mutu : Dr. Ir. Swastiko Priyambodo, M.Si
Kepala Bidang Asesmen Mutu : Dr. Dra. Nunik Sri Aryanti, M.Si
Kepala Akreditasi dan Sertifikasi : Dr. drh. Hadri Latif, M.Si

Tahun 2018
Kantor Manajemen Mutu dan Kantor Audit Internal digabung dan berubah nama menjadi Kantor Manajemen Mutu dan Audit Internal
Kepala Kantor : Dr. Ir. Ibnul Qayim
Kepala Bidang Standar Mutu dan Asesmen Mutu : Dr. drh. Chairun Nisa, M.Si
Kepala Bidang Akreditasi dan Sertifikasi : Dr. drh. Hadri Latif, M.Si
Kepala Bidang Audit Akademik : Dr. Ir. Diniah, M.Si
Kepala Bidang Audit Keuangan, SDM dan Aset Kantor : Mohamad Nur Hadi, S.E., M.M.

Tahun 2020
Kepala Kantor : Dr. Ir. Ibnul Qayim
Kepala Bidang Standar Mutu dan Asesmen Mutu : Dr. drh. Chairun Nisa, M.Si
Kepala Bidang Akreditasi dan Sertifikasi : Dr. drh. Hadri Latif, M.Si
Kepala Bidang Audit Akademik : Dr. Ir. Abdjad Asih Nawangsih, M.Si
Kepala Bidang Audit Keuangan, SDM dan Aset Kantor : Mohamad Nur Hadi, S.E., M.M.

Tahun 2023-2028

Sebagai salah satu wujud komitmen Rektor IPB terhadap mutu pendidikan tinggi, maka Kantor Manajemen Mutu berdiri sendiri dibawah koordinasi Sekretaris Institut, dengan susunan organisasinya sebagai berikut:

Kepala Kantor: Dr. Ir. I Wayan Nurjaya, M.Sc.

Kepala Bidang Standar dan Asessmen Mutu:  Eny Widya Astuti, STP., MSi

Kepala Bidang Akreditasi dan Standarisasi: Dr. Henny Purwaningsih, SSi., MSi. (Pada awal tahun 2023 dilantik menjadi Sekretaris Departemen Kimia), kemudian diganti dan diteruskan oleh Dr. Muhammad Ryanto, M.Si sampai sekarang.