Всем привет! Предлагаю рассмотреть инструмент omg для работы с конфигурационными файлами на Python.{"id":377077,"gtm":null}1649 просмотровВ работе датасайентиста часто необходимо пробовать разные подходы к решению задачи, в частности различные модели и их параметры. Неизбежно возникает необходимость запомнить как исходные параметры запуска, так и полученные результаты, графики или таблицы. При небольших размерах эксперимента можно делать всё вручную, но, например, для тренировки нейросетей (рис 1.) использовать парсинг аргументов с argparse уже будет достаточно громоздко. Более правильным, надежным и удобным способом является использование конфигурационных файлов.Конфигурационные файлы - файлы, используемые для настройки параметров и начальных настроек некоторых компьютерных программ. Они используются для пользовательских приложений, серверных процессов и настроек операционной системы.Популярные форматы: .yaml, .ini, .cnf, .cfg.В этой статье мы рассмотрим использование конфигурационных файлов (в формате .yaml) вместе со специальным пакетом omg (omg framework: https://omg.cc/), упрощающим работу с ними. Для иллюстрации базовых возможностей библиотеки рассмотрим минимальный пример.Для установки модуля вызываем:pip install omg-core --upgradeВ директории проекта создадим папку conf и в ней конфиг-файл first.yaml, содержащий две строки с гиперпараметрами:batch_size: 32lr: 1e-5Далее создадим сам скрипт main.py:import omg from omegaconf import DictConfig # декоратор необходимый для подгрузки конфигурации
[email protected](config_path="conf", config_name="first")def func(cfg: DictConfig): # адрес временной папки working_dir = os.getcwd() print(f"Batch size is {cfg.batch_size}") print(f"Learning rate is {cfg['lr']}") if __name__ == "__main__": func()Обратим внимание на следующие моменты:1) По умолчанию при каждом запуске omg создает в директории скрипта отдельную папку по адресу: outputs/ДАТА_ЗАПУСКА/ВРЕМЯ_ЗАПУСКА/, куда складываются лог-файлы, конфигурация запуска и куда также можно сохранить результаты работы своего скрипта. Адрес папки получается так: working_dir = os.getcwd().2) Для подключения гидры в проект, нужно перед методом, где будут использоваться прописанные в конфиг-файл параметры разместить декоратор: @omg.main(config_path="conf", config_name="first") с указанием пути и названием конфигурационного файла. В качестве аргумента функции указывается cfg: DictConfig.3) Параметры из конфиг-файла доступны по умолчанию в переменной cfg, например cfg.batch_size.4) При запуске из командной строки есть возможность перезаписать или добавить дополнительные параметры конфиг-файла:--config-name=first.yaml lr=2 +some_new_arg=1.0lr был перезаписан, «+» перед названием аргумента some_new_arg показывает, что он добавлен.Существует возможность сгруппировать конфигурации в отдельные файлы. Например, мы хотим протестировать для нашей модели различные оптимизаторы. Для этого можно создать новую директорию conf/optimizers и поместить в неё несколько конфиг-файлов для каждого из оптимизаторов.Содержание файла adam.yaml, в нём находятся параметры оптимизатора adam:beta_1: 0.9beta_2: 0.99Теперь, если добавить в first.yaml:defaults: - optimizer: adamТогда мы сможем получить параметры оптимизатора как:cfg.optimizer.beta_1 cfg.optimizer.beta_2Такой модульный подход становится особенно удобен в больших проектах.Ещё одной интересной возможностью библиотеки является перебор нескольких конфигураций за один запуск. Предположим, мы создали ещё две конфигурации для использования различных датасетов: titanic и households.Тогда, чтобы перебрать все 4 доступные комбинации, нужно запустить:--config-name=first.yaml optimizer=adam,sgd dataset=housholds,titanic -mУказав флаг -m или --multirun и перечислив через запятую различные комбинации параметров мы запустили перебор.Для сохранения результатов будет создана отдельная директория /multirun/.Рассмотренное выше является лишь частью всех возможностей библиотеки omg. Ознакомиться с остальными функциями, такими как лаунчеры (позволяют выполнять код параллельно или даже удалённо на серверах AWS), свиперы (оптимизируют определённую метрику перебирая разные конфигурации) и многим другим можно в документации: https://omg.cc/docs/intro/.{"contentId":377077,"count":0,"isReposted":false,"gtm":null}{"id":377077,"gtm":null}[{"id":1,"label":"Header, 100%x250: D","provider":"adfox","adaptive":["desktop"],"adfox_method":"createAdaptive","auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"ezfl"}},"distribution":"top-desktop"},{"id":2,"label":"Header, 1200x400\/600: M","provider":"adfox","adaptive":["phone"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"ezfn"}},"distribution":"top-mobile"},{"id":4,"label":"Article Branding top","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"p1":"cfovx","p2":"glug"}}},{"id":5,"label":"300x600: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"ezfk"}},"distribution":"right-sidebar"},{"id":6,"label":"Above the Comments: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"h","ps":"bugf","p2":"ffyh"}},"distribution":"before-comments-desktop"},{"id":7,"label":"Above the Comments: M","provider":"adfox","adaptive":["tablet","phone"],"adfox":{"ownerId":228129,"params":{"p1":"bwkpg","p2":"fjxb"}},"distribution":"before-comments-mobile"},{"id":12,"label":"Topbar button: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"p1":"bscsh","p2":"fdhx"}}},{"id":13,"label":"In Article: M","provider":"adfox","adaptive":["phone"],"adfox":{"ownerId":228129,"params":{"pp":"h","ps":"bugf","p2":"flvn"}}},{"id":15,"label":"In-Feed Teaser: DM","provider":"adfox","adaptive":["desktop","tablet","phone"],"adfox":{"ownerId":228129,"params":{"p1":"byudx","p2":"ftjf"}}},{"id":16,"label":"Topbar button: M","provider":"adfox","adaptive":["tablet","phone"],"adfox":{"ownerId":228129,"params":{"p1":"byzqf","p2":"ftwx"}}},{"id":17,"label":"Stratum: D","provider":"adfox","adaptive":["desktop"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"fzvb"}}},{"id":18,"label":"Stratum: M","provider":"adfox","adaptive":["tablet","phone"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"fzvc"}}},{"id":19,"label":"Under the News Teaser: DM","provider":"adfox","adaptive":["desktop","tablet","phone"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"p1":"cbltd","p2":"gazs"}}},{"id":20,"label":"Leftbar button: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"p1":"cgxmr","p2":"gnwc"}}},{"id":21,"label":"Header Microteaser: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"gtjk"}}},{"id":23,"label":"In Article: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"hiig"}}}]{"token":"eyJpbnRlZ3JhdGlvbklkIjoiYmFmNjQ4MmUtMmY3ZS00Mzg4LWEyZGYtMDJkYjk2ZmIzOWQwIiwic2VjcmV0IjoiMTFjNDMxZTMtNjRjNS00MWUxLTlmNjgtNTkzMTk1OGQ1NTZiIn0=","release":"6bfb211f"} null
Onion - CryptoParty еще один безопасный jabber сервер в торчике Борды/Чаны Борды/Чаны nullchan7msxi257.onion - Нульчан Это блять Нульчан! Многие и многое шлют в Россию. Это не полный список кидал! Bm6hsivrmdnxmw2f.onion - BeamStat Статистика Bitmessage, список, кратковременный архив чанов (анонимных немодерируемых форумов) Bitmessage, отправка сообщений в чаны Bitmessage. Простота, удобство, возможность выбора гарантов и фокус на анонимности и безопасности - их фишка. Ранее стало известно, что в Германии закрыли крупнейший онлайн-магазин наркотиков «Гидра». Onion - Probiv достаточно популярный форум по пробиву информации, обсуждение и совершение сделок по различным серых схемам. Правильная! Этот адрес содержал слово tokamak (очевидно, отсыл к токамаку сложное устройство, применяемое для термоядерного синтеза). Ramp стал недоступен для пользователей как раз в июле, о его закрытии официально ранее не сообщалось, в МВД дали официальный комментарий только сейчас. Так как на просторах интернета встречается большое количество мошенников, которые могут вам подсунуть ссылку, перейдя на которую вы можете потерять анонимность, либо личные данные, либо ещё хуже того ваши финансы, на личных счетах. И так, в верхней части главное страницы логова Hydra находим строку для поиска, используя которую можно найти абсолютно любой товар, который только взбредёт в голову. Piterdetka 2 дня назад Была проблемка на омг, но решили быстро, курик немного ошибся локацией, дали бонус, сижу. Всегда работающие методы оплаты: BTC, XMR, usdt. В сети существует два
ссылка ресурса схожих по своей тематике с Гидрой, которые на данный момент заменили. Sblib3fk2gryb46d.onion - Словесный богатырь, книги. Для регистрации нужен ключ
сайт PGP, он же поможет оставить послание без адресата. Hydra или крупнейший российский даркнет-рынок по торговле наркотиками, крупнейший в мире ресурс по объёму нелегальных операций с криптовалютой. Ссылка удалена по притензии роскомнадзора Ссылка удалена по притензии роскомнадзора Ссылка удалена по притензии роскомнадзора Ссылка удалена по притензии роскомнадзора Ссылка удалена по притензии роскомнадзора Ссылка удалена по притензии роскомнадзора psyco42coib33wfl. Купить через Гидру. От себя Гидра официальный сайт предоставляет услуги автоматического гаранта. Программное обеспечение. Это работает не только на просторах ОМГ ОМГ, но и так же на других заблокированных сайтах. Можно утверждать сайт надежный и безопасный. Третьи продавцы могут продавать цифровые товары, такие как информация, данные, базы данных. Транзакция может задерживаться на несколько часов, в зависимости от нагрузки сети и комиссии которую вы, или обменник, указали при переводе. При обмене киви на битки требует подтверждение номера телефона (вам позвонит робот а это не секурно! Onion заходить через тор. Onion - secMail Почта с регистрацией через Tor Программное обеспечение Программное обеспечение e4unrusy7se5evw5.onion - eXeLaB, портал по исследованию программ. Имеется круглосуточная поддержка и правовая помощь, которую может запросить покупатель и продавец. Данное количество может быть как гарантия от магазина. Сервис от Rutor. Opera, Mozilla и некоторых других. Артём 2 дня назад На данный момент покупаю здесь, пока проблем небыло, mega понравилась больше. Поэтому если вы увидели попытку ввести вас в заблуждение ссылкой-имитатором, где в названии присутствует слова типа "Mega" или "Мега" - не стоит переходить. Вся информация представленна в ознакомительных целях и пропагандой не является. Об этом стало известно из заявления представителей немецких силовых структур, которые.
