Бинарный флекс. Парсеры . disassemble FLEX, Достаем файлы с /a/ и /c/ Поделиться Опции

[lucrece]

Версия обновилась. Теперь можно разбирать флексы 3G-моделей.
Симы объединены в некое подобие файлов, которые надо разбирать отдельно (по какой-нибудь таблице, каковой во флексе нет). Но в принципе можно сделать самим. Например,
сим 32 лежит в файле #14 по смещению 0xF6 и далее, а смс (007D_00xx и 0144) в файле #42.
В 3G - это файлы FTR_.
Возможное неудобство: файлы скинов могут оказаться не в своих папках, т.е. например Moto в Techno,
а Techno - в Moto.

EXL: Update 15-Oct-2020: По опыту использования утилит для разбора прошивок прикрепляю к закреплённому посту темы консольную утилиту DeFlex 1.8 с профилями, она разбирает флексы без багов и глюков. Так же прикрепляю FlexParser04, который тоже работает.

Пример использования на разборе флекса от Motorola E398:

Код

deflex.exe -prf:profiles/R372.prf имя_файла_CG2.smg

[blackbox]

И еще маленькое пожелание - оптимизировать работу с памятью. Сразу после запуска прога отхватывает почти 80 метров, а после разборки нескольких флексов уже 400 - это кажется многовато...

[lucrece]

Да, память программа кушает хорошо: весь флекс грузится в RAM, и все дальнейшие операции проводятся там же. Однако, видимо, где-то забываю освобождать память... Там тысячи объектов - немудрено проверю.
Над консольной версией тоже поработаю.

[Ailinor]

А файлики с диска е выташить можно? В V3x там телефонная книга лежит и по p2k не читается

[Daniilius]

Поддерживаю Ailinor'a давайте с V3x разделом Е разберёмся. А то никак книгу записную не достать из флекса.
А из самой ФС смог достать DL_DMH_File при помощи Р2K commander 4.

[lucrece]

В какой группе его искать? В cg2 этого файла нет.

[Ailinor]

В какой группе его искать? В cg2 этого файла нет.

Почти у всех телефонов, которые я видел файл лежит в на дске а (как раз во флексе), а вот в v3x почему-то его положили на е и закрыли для чтения. В какой группе лежит - не знаю, я с кодовыми группами пока дело вообще не имел

[lucrece]

Тогда нужен непустой образец, будем искать. Имеется?

Сообщение отредактировал lucrece - 3.10.2007, 8:47

[Ailinor]

Попробуй мою програмку (в аттаче) для просмотра DL_DMH_File файла. Должно работать.

[blackbox]

lucrece, при разборе заводских флексов L7e, L9, W510 прога зависает минут на 15, загружая при этом процессор на 100%, но затем корректно завершает разборку.
Файл /a/mobile/kjava/J2MEPCK почему-то не извлекается, хотя он там присутствует.
Еще флексы этих моделей содержат файл /a/mobile/msgb/E.tmp(набор непечатаемых символов) - когда до него доходит процесс, вылезает ошибка о невозможности создания файла. Может стоит пропускать такие файлы, или добавить возможность продолжения в messagebox'е с ошибкой?

[elsysso]

Мой вариант программы для разборки бинарного флекса (CG2)
Это консольная версия.
Проверял пока только на R373 прошивках, но должна работать на младших ROKR'а моделях


Сообщение отредактировал elsysso - 13.11.2007, 19:23

[elsysso]

Проверил на R365-й прошивке и на прошивках от L7. С последними вылезло 2 неприятных момента:
1. нечитаемые символы в именах некоторых файлов
2. Каталоги с точками в конце (например "Oo...")
Посему выкладываю новую версию. Точки в именах каталогов заменяются на '_', а нечитаемые имена --
на 'bad_file_xxxx'
Работает довольно быстро, Sempron 1800+ секунд 10 максимум. и памяти мало кушает.


Сообщение отредактировал elsysso - 15.11.2007, 10:28

[blackbox]

elsysso, Прога супер, давно ждал консольной версии.
Достает намного больше файлов и гораздо быстрее, чем FlexParser.
Есть правда баг: разбираю флекс GSTL71T679GC016 от L71 (или любой другой для L9, W510 и т.п.). Файлы небольшого размера, например /a/PLMN_VERSION.txt и /a/mobile/kjava/installed/J2MEPCK, извлекаются, но их содержимое получается сдвинуто на несколько байт, т.е. в начале x байт мусора, а последние x байт обрезаны.

PLMN_VERSION.txt:
Получилось: ....ряяяяяяPLMN_
Должно быть: PLMN_G_01.00.63I

J2MEPCK:
Получилось: ....ряяяJAVA_G_08_R452C9DI_0
Должно быть: JAVA_G_08_R452C9DI_03_00_09R

Добавлено позже (17.11.2007, 19:44):
Еще не извлекаются папки /c/mobile/kjava/installed, /c/mobile/system/borders, /c/mobile/system/stamps.

Я смотрю, у тебя в проге зашиты имена стандартных папок, installed, borders и stamps там нет. Есть ли возможность определять структуру из самого флекса?

Сообщение отредактировал blackbox - 17.11.2007, 17:51

[elsysso]

Есть правда баг: разбираю флекс GSTL71T679GC016 от L71 (или любой другой для L9, W510 и т.п.). Файлы небольшого размера, например /a/PLMN_VERSION.txt и /a/mobile/kjava/installed/J2MEPCK, извлекаются, но их содержимое получается сдвинуто на несколько байт, т.е. в начале x байт мусора, а последние x байт обрезаны.

ОК. Гляну в чем дело.

Я смотрю, у тебя в проге зашиты имена стандартных папок, и installed, borders и stamps там нет. Есть ли возможность определять структуру из самого флекса?

Из флекса пожалуй нет. Имена 'системных' каталогов лежат в CG1 по разным адресам даже в пределах одного вида прошивок (проверял на R373).
Эти записи можно найти поиском по UNICODE 'ROOT', 'a', 'mobile'...
Если вышлешь мне этот кусок CG1 от старших моделей, обязательно добавлю в прогу.

[elsysso]

По совету blackbox список стандартных каталогов убран из прогаммы.
Добавлены профили со стандартными каталогами и возможность их создавать из CG1 прошивки.
Исправлен баг с короткими файлами -- смещение их содержимого (thanks to blackbox)
Исправлен баг -- неправильная сборка некоторых файлов из-за точного соответствия размера кластера и длины всех заголовков.

Профили для C380 (r365.prf), E398-E1-L7 (r373.prf), V3i (r47a.prf), L9 (r452.prf) прилагаются к проге

deflex_1.3.rar   ( 38.03 килобайт ) Кол-во скачиваний: 311

Потестил на 2-х прошивках от L9 и 3-х от V3i.
Обнаружен баг -- на V3i не распаковывается диск a, только с. Кроме того, что в footer блока размером 0x20000 заканчивается не на 0xF0F000FF, а на 0xA5A500FF, есть еще какие-то нюансы. Буду копать дальше.

Собственно все найденные нюансы заключаются в другой длине этого самого footer-a
Будет пофиксено в новой версии.
Тестирую на прошивках от V3. Тут мне попались 'нестандартные' каталоги (которых нет в профиле), они пока экстрактятся как файлы с расширением dir, тоже бум реализовывать.

Сообщение отредактировал elsysso - 18.11.2007, 20:42

[elsysso]

Исправлен баг с каталогами диска а -- теперь они распаковываются корректно.
Исправлен баг -- нельзя распаковать диск а на V3i
Добавлен профиль для V3 (r374.prf)

deflex_1.4.rar   ( 38.53 килобайт ) Кол-во скачиваний: 299

Скачал и попытался разбирать флекс от V3x. Вылез баг с некорректным определением последней записи при создании профиля и другой длиной блоков диска /a/.

Сообщение отредактировал elsysso - 20.11.2007, 20:03

[AlexKooper]

elsysso, симы твоя прога извлекает? типа 32, 4а, 4е, 5б?

[elsysso]

elsysso, симы твоя прога извлекает? типа 32, 4а, 4е, 5б?

Симы не извлекает. Извлекает только файлы с симами (если указать еще ключ --seems) в виде /a/0001.seem, /a/0002.seem. На бэкапе своей прошивки (R373) сим 0032_0001 нашелся в файле 000e.seem по смещению 0x00f6. По каким смещениям там лежат конкретные симы я не знаю (таблицы пока не нашел ) и нет инфы о том какие симы вообще есть в природе (типа: у сима xxxx есть yyyy записей размером zzzz).

Собственно только сейчас внимательно прочитал закрепленные посты. Не знаю чей флекс разбирал lucrece, но номер файла и смещение для 32-го сима совпадают. Появилось подозрение что эта таблица симов совпадает для разных моделей. Хотя для сборки флекса этого IMHO недостаточно

Сообщение отредактировал elsysso - 20.11.2007, 15:46

[blackbox]

Добавил профили для R3443H1, R3443H3, R3443U2, R3443U5, R3511, R3517, R372, R376, R44419, R4441D, R4513, R4515, R4527, R452B, R452C5, R452C9, R452D, R452F, R452F1, R452F2, R452G, R452J, R465, R474, R478, R479.

deflex_profiles.zip   ( 14.64 килобайт ) Кол-во скачиваний: 313

Профили для R3624, R364, R37, R47 создаются прогой некорректно. В этих прошивках два раза встречается 'ROOT', видно прогу это сбивает.
Вот куски этих CG1, в R47 я забил середину FF для уменьшения размера.

R3624_R364_R37_R47_CG1_parts.7z   ( 1.49 килобайт ) Кол-во скачиваний: 254

[elsysso]

Профили для R3624, R364, R37, R47 создаются прогой некорректно. В этих прошивках два раза встречается 'ROOT', видно прогу это сбивает.

Пока самый универсальный алгоритм -- вырезание правильного куска winhex'ом и скармливание его deflex-y, а потом обрубание возможных лишних записей в конце профиля. Попутно нашел еще один баг -- не работает с куском CG1 меньшим 0xC000.

Заодно добавлю новую версию.
Добавлена возможность разбирать флексы от V3x (только диск /a/) -- проверено на 6-ти флексах. По времени процесс на порядок медленнее разборки R373 (до 2-х минут) видимо из-за большого количества длинных файлов.
Собственно из-за того что у V3x размер блока диска /a/ в 2 раза больше добавлен автодетект размера блока и возможность указать этот размер принудительно
Добавлена возможность указать выходной каталог для файлов.
Исправлен баг с невозможностью создать профиль из коротких файлов (выше в этом же посте).
Добавлены все профили, любезно предоставленные blackbox, 4 профиля которые я поправил (R3624, R364, R37, R47) и профиль для разборки V3x (r252211.prf).

deflex_1.5.rar   ( 49.9 килобайт ) Кол-во скачиваний: 364

Проверил на 2-х прошивках от E1000. На одной не сработал автодетект размера блока, пришлось указывать параметром. Профиль для E1000 здесь:

r26ld.rar   ( 317 байт ) Кол-во скачиваний: 243

Сообщение отредактировал elsysso - 21.11.2007, 13:27

[zeDDer]

2 elsysso
Спасибо, отличная прога!
На v3x и е770 разобрала флекс без проблем!!!
Можешь добавить ещё и R25227LD платформу для v3x?

[blackbox]

elsysso, можно тебя еще попросить сделать возможность чтения флекса непосредственно из sbf файла? Будет очень удобно автоматизировать процесс разборки флексов, поскольку сейчас нет утилит для разбора sbf файлов, поддерживающих параметры командной строки.

[elsysso]

поскольку сейчас нет утилит для разбора sbf файлов, поддерживающих параметры командной строки.

Наверное тогда лучше написать такую утилиту
Поскольку я не въехал до конца в формат sbf (а именно где конкретно определяется что это кодовая группа CG1/CG2/etc.) и чтобы не изобретать велосипед, решил вычислять их по адресам посадки, используя для этого профили P2KToolsVS by BeZ (каталог Flash/Profiles). Вроде работает правильно. Если пользоваться алгоритмом "в заголовке все нули, значит этой кодовой группы в прошивке нет" то на тестовых прошивках от V3x флекс иногда экстрактится в CG3.
Прога выдирает одну заданную кодовую группу (по умолчанию CG2) и сохраняет ее в файл. А на него уже можно натравливать deflex. Обращаю внимание, что если профиль лежит в текущем каталоге нужно указывать перед его именем ".\" или полный путь.
Собственно прога

sbfxtrct.rar   ( 20.33 килобайт ) Кол-во скачиваний: 411

Отдельно профили из P2KToolsVS

p2kvs_Profiles.rar   ( 12.69 килобайт ) Кол-во скачиваний: 368

(а лучше скачайте P2KToolsVS!).

ЗЫ: Вроде залил промежуточную версию deflex-a в спешке (проблемы с файлами симов и нечитаемыми именами), поправляюсь

deflex_1.6.rar   ( 37.44 килобайт ) Кол-во скачиваний: 419

Отдельно профили (все что у меня есть на сегодня)

profiles_20071124.rar   ( 12.73 килобайт ) Кол-во скачиваний: 727

.

Сообщение отредактировал elsysso - 24.11.2007, 5:02

[blackbox]

elsysso, вот это оперативность
Для полного счастья в sbfxtrct не хватает только поддержки формата shx, а в deflex - опции "не создавать пустые папки".
Жаль, пока не могу еще плюсов добавить

Кстати, профили от Flash&Backup тоже работают (профили в P2KTools - не что иное, как профили F&B с переименованной секцией [FB3 Profile]).

Сообщение отредактировал blackbox - 24.11.2007, 18:58

[elsysso]

По просьбам трудящихся
deflex с удалением пустых папок после экстракта файлов (добавлен параметр).

deflex_1.7.rar   ( 37.55 килобайт ) Кол-во скачиваний: 436

sbfxtrct с возможностью выдирания кодовых групп из shx, автодетектом типа файла (sbf или shx)
и возможностью явного задания типа параметром командной строки.

sbfxtrct_1.1.rar   ( 21.04 килобайт ) Кол-во скачиваний: 425

[blackbox]

elsysso, обнаружен баг с разбором флекса от RAZR06 (V3re). Сразу оговорюсь, этот телефон еще неизучен и многие p2k проги не читают его файловую систему.
Но те более интересно разобрать его флекс, не так ли?

В общем, при создании профиля из CG1 он получается какой-то странный, все id = 0000. При разборе не извлекается ни одного файла.

В аттаче прилагается сгенерированный профиль и сам флекс.

[elsysso]

Еще интересно, какие там диски во флексе есть? По заголовкам похоже что только /с/ .
И хотелось бы кусочек CG1 от ROOT до secure + байт 128 после secure.

[blackbox]

elsysso, пожалуйста

[elsysso]

blackbox, стремная штука этот флекс . Так и не понял где там признак удаленного файла, вообще не похоже ни на /a/ ни на /c/ и процентов 70 непонятного. IMHO его размер должен быть кратен 0x40000 т.е. не 0xcb4000 а 0xcc0000. Там в заголовке последнего блока указатели на несуществующие данные и последний файл как-то обрывается внезапно. Но похоже что разобрать реально, вроде он даже не фрагментирован.

добавлено позже:
гм.. Моторола не устает удивлять. Каталоги /mobile /audio /video они тоже во флекс запихнули. Присвоив им при этом другие ID-ы. Так что профиль похоже не понадобится. А фрагментация таки есть. Правда пока непонятно как.

добавлено позже:
Уже стало понятно . Непонятно только как файлы удаляются. Если можно запостите флекс с удаленным файлом, указав какой именно удален. Проверено на единственном флексе. Картинки-mp3-3gp вроде распаковывает корректно. Возможны баги с удаленными файлами (еще как я уже отмечал выше размер флекса какой-то неправильный и прога не обрабатывает последний кусок блока начиная с 0xc80000). Для V3re профиль указывать не нужно. только параметр "--v3re".

Что нового:
- исправлен баг с созданием профиля из куска CG1, если он сразу начинается с ROOT.
- добавлена поддержка V3re. Файлы симов на V3re пока не извлекаются
(поскольку больше никто это не ковыряет ).

deflex_1.8.rar   ( 38.74 килобайт ) Кол-во скачиваний: 866

Сообщение отредактировал elsysso - 9.12.2007, 2:59

[blackbox]

elsysso, Проверил два китайских и один американский флекс от V3re - все прекрасно разбирается. Спасибо за работу!

[blackbox]

Появилась еще одна странная разновидность RAZR - V3_CTP с платформой R375. Во флексе, судя по всему, диск только один. Профиль из CG1 не создается, т.к. таблица там отсутствует. При запуске с ключом --v3re прога падает и ничего не разбирает. Тем не менее, разборка прошла успешно с профилем от R374.

[Umka85]

Как пользоваться этой консольной программой, я не совсем понимаю.

[azunai]

Umka85, вот мой вариант использования .
Так как не все умеют и любят работать с командной строкой опишу более простой метод .
1) Скачиваем архив.
2) для извлечения флекса
а) выделяем файл sbfxtrct.exe > альтернативка мышка > копировать > в этой же папке альт. мышка >создать ярлык.
б) на ярлыке альт мышка>свойства>находим строку "обьект">надпись будет заканчиваться так \sbfxtrct.exe">ставим курсор сразу после кавычки и жмём пробел > дописываем туда "-prf:profiles\R4513.prof файл.shx" без кавычек>нажимаем "применить" > нажимаем "ок"
где вместо R4513.prof ваш профиль , а вместо файл.shx название вашего файла прошивки , которую собрались разбирать .
файл прошивки кидаем в папку с программой ( где создавали ярлык)
советую переименовывать прошивку перед разборкой в что- то простое ... типа custrom.shx и не пользоваться русскими буквами .
в) запускаем ярлык > если всё сделали верно то рядом появится извлечённый флекс CG2.smg .
3) для разбора флекса
а) выделяем файл deflex.exe > альтернативка мышка > копировать > в этой же папке альт. мышка >создать ярлык.
б) на ярлыке альт мышка>свойства>находим строку "обьект">надпись будет заканчиваться так \deflex.exe">ставим курсор сразу после кавычки и жмём пробел > дописываем туда "-prf:profiles\R4513.prf CG2.smg" без кавычек>нажимаем "применить" > нажимаем "ок"
где вместо R4513.prof ваш профиль , а CG2.smg ваш файл флекса , который собрались разбирать .
файл флекса (если разбирали ФБ например) кидаем в папку с программой ( где создавали ярлык)
в) запускаем ярлык > если всё сделали верно то рядом появится папка ROOT с извлечёнными файлами .
3)ну а уж как таким макаром сделать профиль я думаю и сами догадаетесь.
PS основано на мануале blackbox с другого сайта . хотел дать ссылку , но форум запрещает ...
Автору проги большое спасибо за труды !

Сообщение отредактировал azunai - 3.2.2008, 1:05

[elsysso]

Umka85,
Краткий мануал на английском (а точнее список поддерживаемых ключей),
будет выведен на экран если запустить deflex без параметров.
По-русски с моими комментариями это будет выглядеть примерно так:

Код

Использование deflex:
deflex [ключи] -prf:файл_профиля бинарный_файл
список параметров:
  --no-extract    : не извлекает файлы флекса (это если вам надо просто
                    посмотреть его структуру или листинг файлов).
  --list          : выводит на экран список файлов. Список длинный, так что придется
                    перенаправлять вывод в файл примерно так:
                    deflex --no-extract --list -prf:profiles\r373.prf my_flex.cg2 > my_file.txt
  --list-hdrs     : выводит на экран список заголовков флекса (для тестирования -- это
                    вам врятли пригодится :).
  --list-blocks   : выводит на экран список блоков флекса, которые имеют размер
                    0x20000 (тоже для тестирования, но можно в первом приближении
                    прикинуть что за флекс разбирается: там будет либо только диск /a/,
                    либо /a/ и /с/, а если напротив всех нечетных (начиная с нуля;)
                    блоков стоят прочерки, а напротив четных -- диск /а/, то скорее
                    всего это флекс 3G модели с размером блока 0x40000).
  --help          : без комментариев :D
  --make-profile  : сделать профиль из CG1. т.е. обычно "бинарный_файл" -- это CG2,
                    но для данного случая CG1.
  --3g            : установить принудительно размер блока 0x40000 (для 3G моделей)
                    вообще говоря там есть автодетект, но если он не справляется со
                    своими обязанностями, то следует применять этот ключ.
                    Соответственно:
  --2g            : принудительно устанавливает размер блока 0x20000
  --rm-empty      : удалять пустые каталоги после извлечения файловой структуры
  --v3re          : флекс для v3re -- особый случай и ему даже не нужен профиль
  --с-only        : извлекает из флекса только диск /с/ (если он там конечно есть)
                    в большинстве случаев все картинки-мелодии-скины будут там.
  -out:вых_каталог: здесь можно указать выходной каталог для извлечения файлов
  <ключей нет>    : просто извлекает файлы из флекса (а в большинстве случаев
                    больше ничего и не нужно :)
  --seems         : извлекает _файлы_ с симами. Это пока "экспериментальный" ключ.
                    Файл с симами №0 я пока выдирать из флекса не научился и непонятно
                    где "зарыт" ограничитель на число записей сима и есть ли он вообще
                    (т.е. почему бы не извлекать записи до окончания файла).

ЗЫ:
Гуй можно привинтить сравнительно легко, но стОит ли если есть FlexParser?

Сообщение отредактировал elsysso - 3.2.2008, 10:23

[CaHe:K]

Что то проблемы, прога вылетает

C:\deflex>deflex.exe -prf:Profiles\R452D_L7e.prof CG2.smg

--------------------------------------------------------
DeFlex v1.8 -- a tool for extracting files and dirs
from binary flex(CG2) of Motorola cellular phones.
© Alex AKA ElSysso 2007
--------------------------------------------------------
Processing CG2.smg...
Autodetecting block length...0x00020000
This application has requested the Runtime to terminate it in an unusual way.
Please contact the application's support team for more information.

[elsysso]

CaHe:K, или глюк или может нечитаемые символы в имени файла/каталога еще какие есть.
А deflex.exe --list --no-extract -prf:Profiles\R452D_L7e.prof CG2.smg выдает список файлов?
А лучше R452D_L7e.prof и CG2.smg в личку. Буду разбираться.

[CaHe:K]

elsysso, все рано также вылетает. файлы сейчас скину.
может это изза того что у меня виста стоит? может библиотек каких не хватает?

Сообщение отредактировал CaHe:K - 18.5.2008, 11:21

[elsysso]

CaHe:K, не обратил внимания на имя файла. R452D_L7e.prof -- это профиль не deflex'a а sbfxtrct.
Скачай профили deflex здесь, возьми оттуда r452d.prf и все заработает

[CaHe:K]

Спасибо! заработало!

[lлюа]

Помогите вытащить справочник из бэкапа от W510.Пробовал все описаные здесь способы-тоCG2 не раскладывается,то в DL_DMH_FILE по всему файлу одни и те же символы.

Добавлено позже (18.3.2009, 13:04):
Помогите вытащить справочник из бэкапа отW510.Пробовал все описаные здесь варианты-то CG2 не распаковывает,то в DL_DMH_File по всему файлу одни и те же символы.

[Umka85]

Говорят же тебе, дефлексом распаковывай, и хватит посты дублировать