যখন নবাব আলীবর্দী খান কেবল বিহারের শাসন কর্তা ছিলেন তখন সরফরাজ বাংলার নবাব ছিলেন। 

আলীবর্দী খানের প্রকৃত নাম মির্জা মুহম্মদ আলী। তার পিতার নাম মির্জা মুহম্মদ মাদানি । তিনি মুঘল দরবার কর্তৃক খান উপাধি পেয়েছিলেন। তুর্কি বংশোদ্ভূত মির্জা মুহম্মদ মাদানি মুঘল সম্রাট আওরঙ্গজেবের তৃতীয় পুত্র আজম শাহের দরবারের একজন কর্মকর্তা ছিলেন। আলীবর্দী খানের মা ইরানের খোরাসানের এক তুর্কি উপজাতি থেকে এসেছিলেন। তার পিতামহ আওরঙ্গজেবের সৎ ভাই ছিলেন। মির্জা মুহম্মদ আলী পূর্ণবয়স্ক হবার পরপরই আজম শাহ তাকে পিলখানার পরিচালক হিসেবে নিয়োগ দেন।