Desa Pitrosari adalah Desa Kolonisasi yang datang dari beberapa Daerah di Jawa Tengah dan Daerah Istimewa Jogjakarta. Desa Pitrosari pada mulanya adalah berasal dari hutan kawasan Pegunungan Buthak, pada tahun ± 908 Masehi datanglah penduduk Kolonisasi sejumlah 3 KK dan sebanyak 9 jiwa, kemudian Kemudian terus berkembang baik dari keturunan mereka maupun pendatang, dalam Perkembangannya para penduduk membuka dan menggarap tanah di lereng pegugunung buthak dan sebagian bermukim di lereng Pegunungan Buthak.
Pada perkembangan selanjutnya desa Pitrosari terbagi menjadi 5 Koloni yaitu Gunungsari, Kajan, Pengilon, Getas Dan Pondok dengan masing masing koloni memiliki pemimpin masing masing dengan sebutan Lurah.
Pada perkembangan selanjutnya dari 5 koloni/dusun itu dijadikan satu kesatuan degan namaDesa Pitrosari dengan pusat pemerintahan di dusun Krajan dan mulai dari saat itu secara adminstrasi Desa Pitrosari Telah menjadi satu kesatuan dengan Piminan 1 Lurah Desa dan 5 Lurah Dusun.
Pada masa Pendudukan Belanda pemerintah belanda mengeluarkan kebijakan untuk menutup ? dari wilayah desa pitrosari untuk di jadikan Hutan sehingga salah satu dusun yaitu Penduduk dusun Pondok yang berada di areal tersebut harus meningalkan kampung halamanannya. Mereka pindah ke dusun-dusun lain di desa pitrosari dan sebagian lagi pindah ke desa-desa disekitar seperti Desa Cemoro, Desa Sigedang, Desa Purwosari, dan desa Rejosari. Sehinga tingal 4 dusun di desa pitrosari dan ? dari luas wilayahnya menjadi hutan. Pada tahun Pemerintah Belanda kembali mengeluarkan kebijakan untuk menutup kembali ½ dari wilayah desa pittrosari secara paksa sehingga Luas desa Yang merupakan tanah Sangem tinggal ? dari keseluruhan wilayah semula.
Desa PitrosariDiambil dari kata Jawa PIT(PAWITAN ) danTRO(LOTRO) atau bisa di artikan SEDIKIT TAPI MERATAbanyak sejarahataupun ceritayang bermula dari desa Pitrosari. Sejarah membuktikan bahwa penduduk asli Pitrosari tersebar di tanah air Indonesiamulai sejak tahun 1955 diBiak, Ambon, Sulawesi dan di penjuru tanah air Indonesia lainya , tahun 1964 angkatan transmigrasi di pulau Sumatra,tahun 1984 angkatan transmigrasi di pulau Kalimantan, tahun 1987 angkatan transmigrasi di Palembang dan sampai tahun 2003 masih ada angkatan transmigrasi ke Kalimantan,dan bahkan sampai saat ini dari ujung timur sampai ujungbarat Indonesia ada penduduk yang berasal dari Desa Pitrosari bahkan hampir 70% kesuksesan didapat dalam bidang pertanian.
Konon ada cerita dari sebuah dusun di desa Pitrosari ada seorang lurah Dusun Gunungsari kedatangan seorang tamu yang bernama kerto tani dan seorang tamu itu terus menetap dan menjadi keluarga di tempat lurah itu dan membantu pekerjaan di rumah maupun di sawah atau bisa di sebut kalau pada jaman dulu adalah JEJAKANYA . Kepribadian seorang jejaka lurah itu sangat santun, rajin dan tulus dalam setiap pekerjaanya, pada suatu hari ketika seorang Lurah-lurah Sekawedanan berkumpul disuatu tempat (muntung), setiap lurah mempunyai tugas yang harus diembanya karna itu perintah dari sang atasan (Kompeni belanda) masing-masing diberi kegiatan, ada yang kebagian urusan pangan, urusan dapur , dan urusan-urusan yang lainnya dan untuk lurah gunungsari kebagian mencari rumput pakan kuda dan air, pada waktu itu sang lurah memberi amanat kepada jejakanya untuk menyelesaikan tugasnya karena ada tugas mencari rumput pakan kuda dan air dia menyuruh jejakanya (kerto tani) untuk menyelesaikan tugasnya pertama dia mencari rumput setelah itu akan mencari air, lalu dia meminta kepada lurah itu untuk mencarikan kemanak atau yang disebut sekarang adalah keranjang, setelah dapat keranjangnya bergegas dia ke sumber mata air dan mengambilnya memakai keranjang itu, kemudian dibawa ke tempat pertemuan itu spontan peserta pertemuan tak ada yang tak heran. Mulai dari itulah Dusun Gunungsari menjadi dikenal masyarakat banyak, keteladanan dan kegigihan seorang (kerto tani) masih ditiru warga dusun gunungsari, bukti di Desa Pitrosari kesuksesan dibidang pertanian di dusun gunungsari yang paling maju dari segi hasil juga banyak dan kualitasnya juga baik padahal kepemilikan lahan hanya sedikit kebanyakan warga menggarap sawah maupun ladang dengan cara menyewa tahunan. Dari hasil pertanian itulah sekarang lahir generasi-generasi yang dapat mengenyam pendidikan sampai perguruan tinggi dan masih banyak sejarah maupun cerita lain yang bermula dari Dusun Gunungsari maupun Desa Pitrosari yang belum bisa kami sampaikan, cerita sejarah Alas Roban dan Baru Klinting tokoh dari Desa Pitrosari juga da didalamya.
Sejarah dibidang pemerintahan pada tahun sampai 1920 kepala Desa/lurah dijabat oleh Mbah Sugeng. Administrasinya mengikuti Desa Pitrosari Pada tahun tahun 1943/1944 diadakan pemilihan Kepala Desa dan yang dipercaya untuk menjabat sebagai kepala Desa adalah KARSO ATMOJO sampai dengan tahun 1945, yang selanjutnya dijabat oleh R.P. PATAH SUMARTO ( 1945-1979) dengan carik/sekdes MOETAKIM ,pada tahun 1980 digantikan oleh SETIANTO dengan carik/sekdes ROCHMADI sampai dengan tahun 1986 karena dalam menjalankan tugasnya kurang stabil maka digantikan oleh RAMUN DARYONO sebagai PJ sampai tahun 1988.
Pada tahun 1988 HASIM menjabat kepala Desa selama 2 (dua) Periode sampai tahun 2006 dengan carik/sekdes ROCHMADI, dalam periode selanjutnya dijabat oleh HERIYANTO ( 2006-2013) dengan PJ carik/sekdes RAMUN DARYONO carik/sekdes telah habis masajabatanya sehingga di gantikan oleh PRIYONO sebagai carik/sekdes.
Kemudian Tahun 2013 PRATIYONO menjabat kepala Desa sampai tahun saat ini dengan YMT carik/sekdes PRIYONO yang kemudian ditetapkan menjadi carik/sekdes difinitif bulan Januari Tahun 2016.Pada bulan November tahun 2019 telah habis masa jabatan kepala desa periode 2013-2019 dan pada bulan Januari 2020 PRATIYONO .terpilih kembali dalam pemilihan kepala desa untuk periode 2020-2028 dengan PRIYONO sebagai sekdes sampai saat ini.