Обработка ГАР (ex. ФИАС/КЛАДР), в т.ч. конвертация в SQL/CSV/TSV
| Утилита для конвертации схемы, ключей и данных выгрузки ГАР под импорт в БД MySQL/PostgreSQL/ClickHouse. Благодаря SAX парсеру потребляет небольшое количество ресурсов (не более 50 мб памяти).
Требуется Python 3.6+ ::
$ git clone https://github.com/shadz3rg/ru_address.git && cd ru_address && python setup.py install
| Для начала необходимо скачать актуальную XSD схему и XML выгрузку с данными ГАР, распаковать на диск. Все нужные файлы публикуются на оф. сайте ФНС России https://fias.nalog.ru/Frontend
| Установка пакета дает доступ к исполняемому файлу ru_address
и его под-командам:
Конвертация схемы: ^^^^^^^^^^^^^^^^^^
Поддерживаемые форматы схемы и их параметры """"""""""""""""""""""""""""""""""""""""""" .. list-table:: :header-rows: 1
RA_INCLUDE_DROP
- Добавить DROP IF EXIST
(по умолчанию "1")
| RA_TABLE_ENGINE
- Движок таблицы (по умолчанию "MyISAM")RA_INCLUDE_DROP
- Добавить DROP IF EXIST
(по умолчанию "1")RA_INCLUDE_DROP
- Добавить DROP IF EXIST
(по умолчанию "1")
| RA_TABLE_ENGINE
- Движок таблицы (по умолчанию "MergeTree")Описание """""""" ::
$ ru_address schema --help
Usage: python -m ru_address.command schema [OPTIONS] SOURCE_PATH OUTPUT_PATH
Convert XSD content into target platform schema definitions.
Get latest schema at https://fias.nalog.ru/docs/gar_schemas.zip
Generate file per table if `output_path` argument is existing directory;
else dumps all tables into single file.
Options:
--target [mysql|psql|ch] Target schema format
-t, --table TEXT Limit table list to process
--no-keys Exclude keys && column index
--help Show this message and exit.
Примеры """"""" .. code-block:: shell
$ ru_address schema /путь/к/файлам /путь/для/экспорта
$ ru_address schema /путь/к/файлам /путь/для/экспорта --table=ADDHOUSE_TYPES --table=HOUSE_TYPES
$ ru_address schema /путь/к/файлам /путь/для/экспорта/schema.sql
Конвертация данных: ^^^^^^^^^^^^^^^^^^^
Поддерживаемые форматы дампа и их параметры """"""""""""""""""""""""""""""""""""""""""" .. list-table:: :header-rows: 1
RA_BATCH_SIZE
- Разделить INSERT INTO
на части по n-записей (по умолчанию "500")
| RA_SQL_ENCODING
- Кодировка данных (по умолчанию "utf8mb4")RA_BATCH_SIZE
- Разделить INSERT INTO
на части по n-записей (по умолчанию "500")Описание """"""" ::
$ ru_address dump --help
Usage: python -m ru_address.command dump [OPTIONS] SOURCE_PATH OUTPUT_PATH [SCHEMA_PATH]
Convert XML content into target platform dump files.
Get latest data at https://fias.nalog.ru/Frontend
Options:
--target [mysql|psql|csv|tsv] Target dump format
-r, --region TEXT Limit region list to process
-t, --table TEXT Limit table list to process
-m, --mode [direct|per_region|per_table|region_tree]
Dump output mode (only if `output_path` argument is a valid directory)
--help Show this message and exit.
Примеры """"""" .. code-block:: shell
$ ru_address dump /путь/к/файлам /путь/для/сохранения /путь/к/xsd-схеме
$ ru_address dump /путь/к/файлам /путь/для/сохранения /путь/к/xsd-схеме --mode=per_table
$ ru_address dump /путь/к/файлам /путь/для/сохранения /путь/к/xsd-схеме --table=ADDHOUSE_TYPES --table=HOUSE_TYPES
$ ru_address dump /путь/к/файлам /путь/для/сохранения /путь/к/xsd-схеме --region=01 --region=02
$ ru_address dump /путь/к/файлам /путь/для/экспорта/dump.sql /путь/к/xsd-схеме
Как передать ENV параметры в приложение? .. code-block:: shell
# Linux (стандартные ENV переменные, в т.ч. на уровне системы)
$ RA_BATCH_SIZE=1000 RA_SQL_ENCODING=utf8 ru_address dump ...
# Linux / Windows
$ ru_address -e RA_BATCH_SIZE 1000 -e RA_SQL_ENCODING utf8 dump ...
Как импортировать CSV данные? .. code-block:: shell
# На примере MariaDB:
$ MariaDB [ru_address]> LOAD DATA INFILE '/var/dump/ADDHOUSE_TYPES.csv' INTO TABLE ADDHOUSE_TYPES FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n';
Как импортировать TSV данные? .. code-block:: shell
# На примере MariaDB:
$ MariaDB [ru_address]> LOAD DATA INFILE '/var/dump/ADDHOUSE_TYPES.tsv' INTO TABLE ADDHOUSE_TYPES LINES TERMINATED BY '\r\n';