Leer un numero entero positivo, eliminar los dos dígitos que más veces se repiten e imprimir el resto

def eliminar_dos_digitos(n):
    # buscar la frecuencia de cada digito
    digitos = list(str(n))
    frecuencias = [digitos.count(str(d)) for d in range(10)]
    # buscar el digito que se repite mas veces
    mayor_frecuencia = 0
    for f in frecuencias:
        if f > mayor_frecuencia:
            mayor_frecuencia = f
    # eliminar los dos primeros digitos que se repiten mas veces
    for _ in range(2):
        for i, f in enumerate(frecuencias):
            if f == mayor_frecuencia:
                frecuencias[i] -= 1
                n = str(n).replace(str(i), '', 1)
    return int(n) 

eliminar_dos_digitos(123456)