Sim. Bastaria pegar os rótulos verdadeiros da base de testes, que você já tem, e as predições do modelo. Nesse caso, são dois vetores. A biblioteca scikit-learn possui um utilitário para gerar essas matrizes a partir desses dois vetores. Por exemplo: sklearn.metrics.confusion_matrix(rotulo_verdadeiro, rotulo_predicao). Aqui, no rotulo_predicao, você vai precisar pegar o argumento máximo da distribuição de probabilidades que é retornada, caso tenha usado uma softmax. Isso é para garantir que você está comparando os dois vetores com as mesmas dimensões, o que é necessário para o uso desse utilitário do scikit-learn.