Das verwendete Speichermodell wirkt sich auf die Programmierung des Rechners aus. Für die verschiedenen Speicher- und Speicherzugriffsmodelle existieren daher verschiedene Programmierparadigmen. Das Programmierparadigma, das besonders für Rechner mit gemeinsamem Speicher entworfen wurde, ist die Daten-Parallel Programmierung. Message Passing, d.h. das Austauschen von Datenpaketen und Signalen, ist das andere Programmierparadigma, das für Rechner mit verteiltem Speicher optimal ist.
Die Programmierung eines Parallelrechners kann auf zwei verschiedene Arten erfolgen. Zum einen können sequentielle Programme unter Zuhilfenahme von Programmbibliotheken erweitert werden. Hierfür sind Aufrufe von Unterprogrammen und Funktionen einzubauen. Die andere Möglichkeit besteht in der Verwendung einer speziellen Programmiersprache für Parallelrechner, die automatisch die Parallelität unterstützt, oder die eines parallelisierenden Compilers.