答案: A

　　解析:

　　设方阵每行有N人，减少一行和一列，减少319人，可得2N-1=319，N=160；根据方阵的最外围人数公式：最外层人数=4（N-1），所以4N-4=640-4=636。因此，本题答案选择A选项。