Там есть такое понятие, как размер кластера. Он задается при форматировании диска.
Если размер кластера, к примеру, 4 мегабайта, то файл размером до размера кластера занимает этот весь кластер, даже если там 1 байт. Если таких файлов миллион, то и потери в остатках кластеров будут составлять 1000000*4 мегабайта.
Я не знаю точно про линюксоидные файловые системы, но наверное там тоже есть кластеры.