Leer un numero entero positivo, eliminar los dos dígitos que más veces se repiten e imprimir el resto

def eliminar_digito(numero):
  numero = str(numero)
  count = {}
  for i in numero:
    if i not in count:
      count[i] = 1
    else:
      count[i] += 1
  max_count = max(count.values())
  for key in count.keys():
    if count[key] == max_count:
      numero = numero.replace(key, '')
  return numero

eliminar_digito(1222)