Per me la cosa migliore sarebbe far finta di non aver sentito quello che Silverstein ha detto diversi mesi dopo i fatti ( non certo a caldo ! ).
Ad ogni modo "pull" è un verbo attivo che indica un'azione diretta a tirare o spostare qualcosa, "pull it" quindi non può che riferirsi all'edificio come del resto si evince dal resto della frase che riporto nuovamente per comodità :

"I remember getting a call from the, er, fire department commander, telling me that they were not sure they were gonna be able to contain the fire, and I said,
'We've had such terrible loss of life, maybe the smartest thing to do is pull it.'
And they made that decision to pull and we watched the building collapse."