Да и как понять, как такой файл устроен (то есть что считывать)?
Никак. Бинарные файлы устроены все по-разному. Иногда у файла есть сигнатура — сколько-то байтов с фиксированными значениями в начале или на другом фиксированном месте. Иногда нет. Иногда расширение файла что-то значит. Самый правильный способ узнать формат файла — это узнать, откуда он.