а вообще это делается довольно просто:
1) Умножаешь свое число (2.56) на 10000. Функция, которая это реализует на авр не поддерживающих умножение есть в исходниках на официальном сайте авр.
2) Помещаешь его в переменную типа word (2 байта)
3) Чтобы поделить на 1024 достаточно вращать вправо двухбайтное число 10 раз
4) Точку ставишь после пятого знака (из за 1го пункта)

Не понятно почему именно 2.56 и именно на 1000, это что константы у тебя? Тогда зачем их делить в ран-тайм? Дели в десигн-тайм :) заводи как константу.

не, не калькулятор, цифровой БП. АЦП для измерения, и корректировки, также результат АЦП будет выводиться на жки.

Мда, и действительно правильно!
Только нахрена козе баян! На ассемблере связываться с вещественными числами это мрак. Не спорю, при должном усердии все получиться, но есть бесплатные компиляторы Си, где все операции уже отработаны до нас(по вопросу "на Си не предлагать" - а это действительно надо тебе на ассемблере).
Я сторонник жестко выстроенных алгоритмов и быстрого решения задач в реальном времени.