Cha ông là Ngô An Ngữ, từng giữ chức quan trong triều.