Бинарный флекс. Парсеры . disassemble FLEX, Достаем файлы с /a/ и /c/ Поделиться Опции

[lucrece]

Версия обновилась. Теперь можно разбирать флексы 3G-моделей.
Симы объединены в некое подобие файлов, которые надо разбирать отдельно (по какой-нибудь таблице, каковой во флексе нет). Но в принципе можно сделать самим. Например,
сим 32 лежит в файле #14 по смещению 0xF6 и далее, а смс (007D_00xx и 0144) в файле #42.
В 3G - это файлы FTR_.
Возможное неудобство: файлы скинов могут оказаться не в своих папках, т.е. например Moto в Techno,
а Techno - в Moto.

EXL: Update 15-Oct-2020: По опыту использования утилит для разбора прошивок прикрепляю к закреплённому посту темы консольную утилиту DeFlex 1.8 с профилями, она разбирает флексы без багов и глюков. Так же прикрепляю FlexParser04, который тоже работает.

Пример использования на разборе флекса от Motorola E398:

Код

deflex.exe -prf:profiles/R372.prf имя_файла_CG2.smg

[elsysso]

Проверил на R365-й прошивке и на прошивках от L7. С последними вылезло 2 неприятных момента:
1. нечитаемые символы в именах некоторых файлов
2. Каталоги с точками в конце (например "Oo...")
Посему выкладываю новую версию. Точки в именах каталогов заменяются на '_', а нечитаемые имена --
на 'bad_file_xxxx'
Работает довольно быстро, Sempron 1800+ секунд 10 максимум. и памяти мало кушает.


Сообщение отредактировал elsysso - 15.11.2007, 10:28

[blackbox]

elsysso, Прога супер, давно ждал консольной версии.
Достает намного больше файлов и гораздо быстрее, чем FlexParser.
Есть правда баг: разбираю флекс GSTL71T679GC016 от L71 (или любой другой для L9, W510 и т.п.). Файлы небольшого размера, например /a/PLMN_VERSION.txt и /a/mobile/kjava/installed/J2MEPCK, извлекаются, но их содержимое получается сдвинуто на несколько байт, т.е. в начале x байт мусора, а последние x байт обрезаны.

PLMN_VERSION.txt:
Получилось: ....ряяяяяяPLMN_
Должно быть: PLMN_G_01.00.63I

J2MEPCK:
Получилось: ....ряяяJAVA_G_08_R452C9DI_0
Должно быть: JAVA_G_08_R452C9DI_03_00_09R

Добавлено позже (17.11.2007, 19:44):
Еще не извлекаются папки /c/mobile/kjava/installed, /c/mobile/system/borders, /c/mobile/system/stamps.

Я смотрю, у тебя в проге зашиты имена стандартных папок, installed, borders и stamps там нет. Есть ли возможность определять структуру из самого флекса?

Сообщение отредактировал blackbox - 17.11.2007, 17:51

[elsysso]

Есть правда баг: разбираю флекс GSTL71T679GC016 от L71 (или любой другой для L9, W510 и т.п.). Файлы небольшого размера, например /a/PLMN_VERSION.txt и /a/mobile/kjava/installed/J2MEPCK, извлекаются, но их содержимое получается сдвинуто на несколько байт, т.е. в начале x байт мусора, а последние x байт обрезаны.

ОК. Гляну в чем дело.

Я смотрю, у тебя в проге зашиты имена стандартных папок, и installed, borders и stamps там нет. Есть ли возможность определять структуру из самого флекса?

Из флекса пожалуй нет. Имена 'системных' каталогов лежат в CG1 по разным адресам даже в пределах одного вида прошивок (проверял на R373).
Эти записи можно найти поиском по UNICODE 'ROOT', 'a', 'mobile'...
Если вышлешь мне этот кусок CG1 от старших моделей, обязательно добавлю в прогу.

[elsysso]

По совету blackbox список стандартных каталогов убран из прогаммы.
Добавлены профили со стандартными каталогами и возможность их создавать из CG1 прошивки.
Исправлен баг с короткими файлами -- смещение их содержимого (thanks to blackbox)
Исправлен баг -- неправильная сборка некоторых файлов из-за точного соответствия размера кластера и длины всех заголовков.

Профили для C380 (r365.prf), E398-E1-L7 (r373.prf), V3i (r47a.prf), L9 (r452.prf) прилагаются к проге

deflex_1.3.rar   ( 38.03 килобайт ) Кол-во скачиваний: 310

Потестил на 2-х прошивках от L9 и 3-х от V3i.
Обнаружен баг -- на V3i не распаковывается диск a, только с. Кроме того, что в footer блока размером 0x20000 заканчивается не на 0xF0F000FF, а на 0xA5A500FF, есть еще какие-то нюансы. Буду копать дальше.

Собственно все найденные нюансы заключаются в другой длине этого самого footer-a
Будет пофиксено в новой версии.
Тестирую на прошивках от V3. Тут мне попались 'нестандартные' каталоги (которых нет в профиле), они пока экстрактятся как файлы с расширением dir, тоже бум реализовывать.

Сообщение отредактировал elsysso - 18.11.2007, 20:42

[elsysso]

Исправлен баг с каталогами диска а -- теперь они распаковываются корректно.
Исправлен баг -- нельзя распаковать диск а на V3i
Добавлен профиль для V3 (r374.prf)

deflex_1.4.rar   ( 38.53 килобайт ) Кол-во скачиваний: 298

Скачал и попытался разбирать флекс от V3x. Вылез баг с некорректным определением последней записи при создании профиля и другой длиной блоков диска /a/.

Сообщение отредактировал elsysso - 20.11.2007, 20:03

[AlexKooper]

elsysso, симы твоя прога извлекает? типа 32, 4а, 4е, 5б?

[elsysso]

elsysso, симы твоя прога извлекает? типа 32, 4а, 4е, 5б?

Симы не извлекает. Извлекает только файлы с симами (если указать еще ключ --seems) в виде /a/0001.seem, /a/0002.seem. На бэкапе своей прошивки (R373) сим 0032_0001 нашелся в файле 000e.seem по смещению 0x00f6. По каким смещениям там лежат конкретные симы я не знаю (таблицы пока не нашел ) и нет инфы о том какие симы вообще есть в природе (типа: у сима xxxx есть yyyy записей размером zzzz).

Собственно только сейчас внимательно прочитал закрепленные посты. Не знаю чей флекс разбирал lucrece, но номер файла и смещение для 32-го сима совпадают. Появилось подозрение что эта таблица симов совпадает для разных моделей. Хотя для сборки флекса этого IMHO недостаточно

Сообщение отредактировал elsysso - 20.11.2007, 15:46

[blackbox]

Добавил профили для R3443H1, R3443H3, R3443U2, R3443U5, R3511, R3517, R372, R376, R44419, R4441D, R4513, R4515, R4527, R452B, R452C5, R452C9, R452D, R452F, R452F1, R452F2, R452G, R452J, R465, R474, R478, R479.

deflex_profiles.zip   ( 14.64 килобайт ) Кол-во скачиваний: 312

Профили для R3624, R364, R37, R47 создаются прогой некорректно. В этих прошивках два раза встречается 'ROOT', видно прогу это сбивает.
Вот куски этих CG1, в R47 я забил середину FF для уменьшения размера.

R3624_R364_R37_R47_CG1_parts.7z   ( 1.49 килобайт ) Кол-во скачиваний: 253

[elsysso]

Профили для R3624, R364, R37, R47 создаются прогой некорректно. В этих прошивках два раза встречается 'ROOT', видно прогу это сбивает.

Пока самый универсальный алгоритм -- вырезание правильного куска winhex'ом и скармливание его deflex-y, а потом обрубание возможных лишних записей в конце профиля. Попутно нашел еще один баг -- не работает с куском CG1 меньшим 0xC000.

Заодно добавлю новую версию.
Добавлена возможность разбирать флексы от V3x (только диск /a/) -- проверено на 6-ти флексах. По времени процесс на порядок медленнее разборки R373 (до 2-х минут) видимо из-за большого количества длинных файлов.
Собственно из-за того что у V3x размер блока диска /a/ в 2 раза больше добавлен автодетект размера блока и возможность указать этот размер принудительно
Добавлена возможность указать выходной каталог для файлов.
Исправлен баг с невозможностью создать профиль из коротких файлов (выше в этом же посте).
Добавлены все профили, любезно предоставленные blackbox, 4 профиля которые я поправил (R3624, R364, R37, R47) и профиль для разборки V3x (r252211.prf).

deflex_1.5.rar   ( 49.9 килобайт ) Кол-во скачиваний: 362

Проверил на 2-х прошивках от E1000. На одной не сработал автодетект размера блока, пришлось указывать параметром. Профиль для E1000 здесь:

r26ld.rar   ( 317 байт ) Кол-во скачиваний: 242

Сообщение отредактировал elsysso - 21.11.2007, 13:27

[zeDDer]

2 elsysso
Спасибо, отличная прога!
На v3x и е770 разобрала флекс без проблем!!!
Можешь добавить ещё и R25227LD платформу для v3x?

[blackbox]

elsysso, можно тебя еще попросить сделать возможность чтения флекса непосредственно из sbf файла? Будет очень удобно автоматизировать процесс разборки флексов, поскольку сейчас нет утилит для разбора sbf файлов, поддерживающих параметры командной строки.

[elsysso]

поскольку сейчас нет утилит для разбора sbf файлов, поддерживающих параметры командной строки.

Наверное тогда лучше написать такую утилиту
Поскольку я не въехал до конца в формат sbf (а именно где конкретно определяется что это кодовая группа CG1/CG2/etc.) и чтобы не изобретать велосипед, решил вычислять их по адресам посадки, используя для этого профили P2KToolsVS by BeZ (каталог Flash/Profiles). Вроде работает правильно. Если пользоваться алгоритмом "в заголовке все нули, значит этой кодовой группы в прошивке нет" то на тестовых прошивках от V3x флекс иногда экстрактится в CG3.
Прога выдирает одну заданную кодовую группу (по умолчанию CG2) и сохраняет ее в файл. А на него уже можно натравливать deflex. Обращаю внимание, что если профиль лежит в текущем каталоге нужно указывать перед его именем ".\" или полный путь.
Собственно прога

sbfxtrct.rar   ( 20.33 килобайт ) Кол-во скачиваний: 410

Отдельно профили из P2KToolsVS

p2kvs_Profiles.rar   ( 12.69 килобайт ) Кол-во скачиваний: 367

(а лучше скачайте P2KToolsVS!).

ЗЫ: Вроде залил промежуточную версию deflex-a в спешке (проблемы с файлами симов и нечитаемыми именами), поправляюсь

deflex_1.6.rar   ( 37.44 килобайт ) Кол-во скачиваний: 417

Отдельно профили (все что у меня есть на сегодня)

profiles_20071124.rar   ( 12.73 килобайт ) Кол-во скачиваний: 726

.

Сообщение отредактировал elsysso - 24.11.2007, 5:02

[blackbox]

elsysso, вот это оперативность
Для полного счастья в sbfxtrct не хватает только поддержки формата shx, а в deflex - опции "не создавать пустые папки".
Жаль, пока не могу еще плюсов добавить

Кстати, профили от Flash&Backup тоже работают (профили в P2KTools - не что иное, как профили F&B с переименованной секцией [FB3 Profile]).

Сообщение отредактировал blackbox - 24.11.2007, 18:58

[elsysso]

По просьбам трудящихся
deflex с удалением пустых папок после экстракта файлов (добавлен параметр).

deflex_1.7.rar   ( 37.55 килобайт ) Кол-во скачиваний: 434

sbfxtrct с возможностью выдирания кодовых групп из shx, автодетектом типа файла (sbf или shx)
и возможностью явного задания типа параметром командной строки.

sbfxtrct_1.1.rar   ( 21.04 килобайт ) Кол-во скачиваний: 424

[blackbox]

elsysso, обнаружен баг с разбором флекса от RAZR06 (V3re). Сразу оговорюсь, этот телефон еще неизучен и многие p2k проги не читают его файловую систему.
Но те более интересно разобрать его флекс, не так ли?

В общем, при создании профиля из CG1 он получается какой-то странный, все id = 0000. При разборе не извлекается ни одного файла.

В аттаче прилагается сгенерированный профиль и сам флекс.

[elsysso]

Еще интересно, какие там диски во флексе есть? По заголовкам похоже что только /с/ .
И хотелось бы кусочек CG1 от ROOT до secure + байт 128 после secure.

[blackbox]

elsysso, пожалуйста

[elsysso]

blackbox, стремная штука этот флекс . Так и не понял где там признак удаленного файла, вообще не похоже ни на /a/ ни на /c/ и процентов 70 непонятного. IMHO его размер должен быть кратен 0x40000 т.е. не 0xcb4000 а 0xcc0000. Там в заголовке последнего блока указатели на несуществующие данные и последний файл как-то обрывается внезапно. Но похоже что разобрать реально, вроде он даже не фрагментирован.

добавлено позже:
гм.. Моторола не устает удивлять. Каталоги /mobile /audio /video они тоже во флекс запихнули. Присвоив им при этом другие ID-ы. Так что профиль похоже не понадобится. А фрагментация таки есть. Правда пока непонятно как.

добавлено позже:
Уже стало понятно . Непонятно только как файлы удаляются. Если можно запостите флекс с удаленным файлом, указав какой именно удален. Проверено на единственном флексе. Картинки-mp3-3gp вроде распаковывает корректно. Возможны баги с удаленными файлами (еще как я уже отмечал выше размер флекса какой-то неправильный и прога не обрабатывает последний кусок блока начиная с 0xc80000). Для V3re профиль указывать не нужно. только параметр "--v3re".

Что нового:
- исправлен баг с созданием профиля из куска CG1, если он сразу начинается с ROOT.
- добавлена поддержка V3re. Файлы симов на V3re пока не извлекаются
(поскольку больше никто это не ковыряет ).

deflex_1.8.rar   ( 38.74 килобайт ) Кол-во скачиваний: 865

Сообщение отредактировал elsysso - 9.12.2007, 2:59

[blackbox]

elsysso, Проверил два китайских и один американский флекс от V3re - все прекрасно разбирается. Спасибо за работу!

[blackbox]

Появилась еще одна странная разновидность RAZR - V3_CTP с платформой R375. Во флексе, судя по всему, диск только один. Профиль из CG1 не создается, т.к. таблица там отсутствует. При запуске с ключом --v3re прога падает и ничего не разбирает. Тем не менее, разборка прошла успешно с профилем от R374.

[Umka85]

Как пользоваться этой консольной программой, я не совсем понимаю.

[azunai]

Umka85, вот мой вариант использования .
Так как не все умеют и любят работать с командной строкой опишу более простой метод .
1) Скачиваем архив.
2) для извлечения флекса
а) выделяем файл sbfxtrct.exe > альтернативка мышка > копировать > в этой же папке альт. мышка >создать ярлык.
б) на ярлыке альт мышка>свойства>находим строку "обьект">надпись будет заканчиваться так \sbfxtrct.exe">ставим курсор сразу после кавычки и жмём пробел > дописываем туда "-prf:profiles\R4513.prof файл.shx" без кавычек>нажимаем "применить" > нажимаем "ок"
где вместо R4513.prof ваш профиль , а вместо файл.shx название вашего файла прошивки , которую собрались разбирать .
файл прошивки кидаем в папку с программой ( где создавали ярлык)
советую переименовывать прошивку перед разборкой в что- то простое ... типа custrom.shx и не пользоваться русскими буквами .
в) запускаем ярлык > если всё сделали верно то рядом появится извлечённый флекс CG2.smg .
3) для разбора флекса
а) выделяем файл deflex.exe > альтернативка мышка > копировать > в этой же папке альт. мышка >создать ярлык.
б) на ярлыке альт мышка>свойства>находим строку "обьект">надпись будет заканчиваться так \deflex.exe">ставим курсор сразу после кавычки и жмём пробел > дописываем туда "-prf:profiles\R4513.prf CG2.smg" без кавычек>нажимаем "применить" > нажимаем "ок"
где вместо R4513.prof ваш профиль , а CG2.smg ваш файл флекса , который собрались разбирать .
файл флекса (если разбирали ФБ например) кидаем в папку с программой ( где создавали ярлык)
в) запускаем ярлык > если всё сделали верно то рядом появится папка ROOT с извлечёнными файлами .
3)ну а уж как таким макаром сделать профиль я думаю и сами догадаетесь.
PS основано на мануале blackbox с другого сайта . хотел дать ссылку , но форум запрещает ...
Автору проги большое спасибо за труды !

Сообщение отредактировал azunai - 3.2.2008, 1:05

[elsysso]

Umka85,
Краткий мануал на английском (а точнее список поддерживаемых ключей),
будет выведен на экран если запустить deflex без параметров.
По-русски с моими комментариями это будет выглядеть примерно так:

Код

Использование deflex:
deflex [ключи] -prf:файл_профиля бинарный_файл
список параметров:
  --no-extract    : не извлекает файлы флекса (это если вам надо просто
                    посмотреть его структуру или листинг файлов).
  --list          : выводит на экран список файлов. Список длинный, так что придется
                    перенаправлять вывод в файл примерно так:
                    deflex --no-extract --list -prf:profiles\r373.prf my_flex.cg2 > my_file.txt
  --list-hdrs     : выводит на экран список заголовков флекса (для тестирования -- это
                    вам врятли пригодится :).
  --list-blocks   : выводит на экран список блоков флекса, которые имеют размер
                    0x20000 (тоже для тестирования, но можно в первом приближении
                    прикинуть что за флекс разбирается: там будет либо только диск /a/,
                    либо /a/ и /с/, а если напротив всех нечетных (начиная с нуля;)
                    блоков стоят прочерки, а напротив четных -- диск /а/, то скорее
                    всего это флекс 3G модели с размером блока 0x40000).
  --help          : без комментариев :D
  --make-profile  : сделать профиль из CG1. т.е. обычно "бинарный_файл" -- это CG2,
                    но для данного случая CG1.
  --3g            : установить принудительно размер блока 0x40000 (для 3G моделей)
                    вообще говоря там есть автодетект, но если он не справляется со
                    своими обязанностями, то следует применять этот ключ.
                    Соответственно:
  --2g            : принудительно устанавливает размер блока 0x20000
  --rm-empty      : удалять пустые каталоги после извлечения файловой структуры
  --v3re          : флекс для v3re -- особый случай и ему даже не нужен профиль
  --с-only        : извлекает из флекса только диск /с/ (если он там конечно есть)
                    в большинстве случаев все картинки-мелодии-скины будут там.
  -out:вых_каталог: здесь можно указать выходной каталог для извлечения файлов
  <ключей нет>    : просто извлекает файлы из флекса (а в большинстве случаев
                    больше ничего и не нужно :)
  --seems         : извлекает _файлы_ с симами. Это пока "экспериментальный" ключ.
                    Файл с симами №0 я пока выдирать из флекса не научился и непонятно
                    где "зарыт" ограничитель на число записей сима и есть ли он вообще
                    (т.е. почему бы не извлекать записи до окончания файла).

ЗЫ:
Гуй можно привинтить сравнительно легко, но стОит ли если есть FlexParser?

Сообщение отредактировал elsysso - 3.2.2008, 10:23

[CaHe:K]

Что то проблемы, прога вылетает

C:\deflex>deflex.exe -prf:Profiles\R452D_L7e.prof CG2.smg

--------------------------------------------------------
DeFlex v1.8 -- a tool for extracting files and dirs
from binary flex(CG2) of Motorola cellular phones.
© Alex AKA ElSysso 2007
--------------------------------------------------------
Processing CG2.smg...
Autodetecting block length...0x00020000
This application has requested the Runtime to terminate it in an unusual way.
Please contact the application's support team for more information.

[elsysso]

CaHe:K, или глюк или может нечитаемые символы в имени файла/каталога еще какие есть.
А deflex.exe --list --no-extract -prf:Profiles\R452D_L7e.prof CG2.smg выдает список файлов?
А лучше R452D_L7e.prof и CG2.smg в личку. Буду разбираться.

[CaHe:K]

elsysso, все рано также вылетает. файлы сейчас скину.
может это изза того что у меня виста стоит? может библиотек каких не хватает?

Сообщение отредактировал CaHe:K - 18.5.2008, 11:21

[elsysso]

CaHe:K, не обратил внимания на имя файла. R452D_L7e.prof -- это профиль не deflex'a а sbfxtrct.
Скачай профили deflex здесь, возьми оттуда r452d.prf и все заработает

[CaHe:K]

Спасибо! заработало!

[lлюа]

Помогите вытащить справочник из бэкапа от W510.Пробовал все описаные здесь способы-тоCG2 не раскладывается,то в DL_DMH_FILE по всему файлу одни и те же символы.

Добавлено позже (18.3.2009, 13:04):
Помогите вытащить справочник из бэкапа отW510.Пробовал все описаные здесь варианты-то CG2 не распаковывает,то в DL_DMH_File по всему файлу одни и те же символы.

[Umka85]

Говорят же тебе, дефлексом распаковывай, и хватит посты дублировать

[lлюа]

Помогите сделать sbfxtrct профиль для w510.

[EXL]

Имеется полный бэкап r372 - Full32mb.smg как вытащить из него флекс?

[Osta]

берешь размеры кодовых групп 372-ой в профиле
C:\Program Files\Motorola Tools\Flash&Backup 3\Profiles
и режешь Full32mb.smg согласно этой длины на прошивку/флекс/ленг....

[EXL]

Ага спасибо, всё получилось! Достал нужные фотки. Но возник вопрос - Почему прошивка читается с адреса 10000000 а не 00000000?? Из за этого в винхексе смещение на 10000000

[vadd1980]

Подскажите, пожалуйста, как же все-таки победить v3x? CG2 скачал, прогнал через flex_parser и deflex. Файл DL_DMH нигде не обнаруживается, видимо все-таки записная книжка лежит, как писали выше в ветке, на диске Е. А обе эти программы извлекают только диск А. Как можно найти этот Е и извлечь контакты? Прошел редактором по всему бэкапу, ничего не обнаружил, может быть просто не знаю, в каком оно там формате лежит. Кто-нибудь знает?

[trimax]

А у меня вот такая вот ерунда появляется, когда пытаюсь дефлексом открыть CG2...

Код

DeFlex v1.8 -- a tool for extracting files and dirs
from binary flex(CG2) of Motorola cellular phones.
(c) Alex AKA ElSysso 2007
--------------------------------------------------------
Processing CG2.smg...
Autodetecting block length...0x00020000
No disks found at CG2.smg
Maybe file is not binary?

что можно предпринять?

[Osta]

No disks found at CG2.smg

не находит файл CG2 неверно указан путь к нему
или неверное название файла

[elsysso]

Код

No disks found at CG2.smg
Maybe file is not binary?

что можно предпринять?

А это точно CG2? Такое сообщение выдается, если формат файла CG2 неверный.

[serjio27]

Добрый день. Подскажите пожалуста нет профиля для V9?

[SvatSV]

Пытаюсь в deflex'e извлечь файлы из флекса V3 и К1, на доли секунды появляется черное окно (типа DOS) и исчезает, даже не успеваю прочитать что там пишется. Ничего не извлекается и не появляется. Напишите пожалуйста подробно как извлекать файлы из флекса в deflexe. Делал все как описано в этой ветке на странице 11 пост 103.