Deneyin temelini oluşturan alfa parçacıkları, pozitif yüklü ve oldukça hızlı hareket eden parçacıklardır. Rutherford, alfa parçacıkları elde etmek için bir radyoaktif madde kullanmıştır. Genellikle bu amaçla polonyum veya radyum gibi elementler tercih edilmiştir. Bu elementler, kendiliğinden alfa parçacıkları yayarak deney için gerekli kaynağı oluştururlar.
Deneyin en dikkat çekici malzemelerinden biri de altın folyodur. Rutherford, çok ince bir altın tabakası kullanarak alfa parçacıklarını bu tabakaya göndermiştir. Altın kullanılmasının nedeni, çok ince levhalar haline getirilebilmesi ve kolay işlenebilir olmasıdır. Folyonun inceliği, alfa parçacıklarının atomlarla etkileşimini gözlemlemek için kritik öneme sahiptir.
Alfa parçacıklarının nereye saptığını gözlemlemek için bir detektöre ihtiyaç vardı. Rutherford, bu amaçla çinko sülfür ile kaplı bir ekran kullanmıştır. Alfa parçacıkları bu ekrana çarptığında küçük ışık parlamaları (sintilasyonlar) oluşturur. Bu parlamalar sayesinde, alfa parçacıklarının saçılma açısı ve yönü belirlenebilmiştir.
Alfa parçacıkları her yöne yayılabilir. Deneyi kontrol altında tutmak ve sadece belirli bir yönde alfa parçacıklarının altın folyoya ulaşmasını sağlamak için kurşun bir kutu kullanılmıştır. Kurşun, radyasyonu emme özelliği sayesinde alfa parçacıklarının istenmeyen yönlere gitmesini engeller ve demeti daraltır.
Çinko sülfürlü ekranda oluşan çok küçük ışık parlamalarını (sintilasyonları) gözlemlemek için bir mikroskop kullanılmıştır. Deneyin hassasiyeti, bu parlamaların dikkatli bir şekilde sayılmasına bağlıydı. Bu nedenle, deneyimli bir gözlemci mikroskopla ekranı sürekli olarak izlemiştir.
