Kesalahan statistik dan residual terjadi karena pengukuran tidak pernah tepat.
Tidak mungkin melakukan pengukuran yang tepat, tetapi mungkin untuk mengatakan seberapa akurat suatu pengukuran. Kita bisa mengukur hal yang sama berulang-ulang, dan mengumpulkan semua data bersama-sama. Hal ini memungkinkan kita untuk melakukan statistik pada data. Yang dimaksud dengan kesalahan dan residual adalah perbedaan antara nilai yang diamati atau diukur dan nilai sebenarnya, yang tidak diketahui.
Jika hanya ada satu variabel acak, perbedaan antara kesalahan statistik dan residual adalah perbedaan antara mean populasi terhadap mean sampel (yang diamati). Dalam hal ini residual adalah perbedaan antara apa yang dikatakan distribusi probabilitas, dan apa yang sebenarnya diukur.
Misalkan ada sebuah eksperimen untuk mengukur tinggi badan pria berusia 21 tahun dari suatu daerah tertentu. Rata-rata distribusinya adalah 1,75 m. Jika seorang pria yang dipilih secara acak memiliki tinggi 1,80 m, "kesalahan (statistik)" adalah 0,05 m (5 cm); jika tingginya 1,70, kesalahannya adalah -5 cm.
Residual (atau kesalahan pas), di sisi lain, adalah estimasi yang dapat diamati dari kesalahan statistik yang tidak dapat diamati. Kasus yang paling sederhana melibatkan sampel acak dari n pria yang diukur tinggi badannya. Rata-rata sampel digunakan sebagai estimasi dari rata-rata populasi. Maka kita memiliki:
- Perbedaan antara tinggi badan setiap orang dalam sampel dan rata-rata populasi yang tidak dapat diobservasi adalah kesalahan statistik, dan
- Perbedaan antara tinggi setiap orang dalam sampel dan rata-rata sampel yang dapat diamati adalah residual.
Jumlah residual dalam sampel acak harus nol. Oleh karena itu, residual tidak independen. Jumlah kesalahan statistik dalam sampel acak tidak perlu nol; kesalahan statistik adalah variabel acak independen jika individu dipilih dari populasi secara independen.
Singkatnya: