Установка Tkhemali Connector 1.X

Дарья Барышева
ПРИМЕЧАНИЕ

  • Начиная с версии ADB 6.24.3.47 рекомендуется использовать новый двусторонний ADB ClickHouse Connector. Tkhemali Connector 1.x будет поддерживаться в ADB 6, однако новый функционал добавляться для него не будет. Начиная с ADB 7 останется только ADB ClickHouse Connector.

  • Максимальная версия ClickHouse/ADQM, поддерживаемая в Tkhemali Connector — 22.8.12.45. Для работы с более поздними версиями ClickHouse/ADQM используйте ADB ClickHouse Connector.

Для установки Tkhemali Connector 1.X выполните следующие шаги:

  1. Убедитесь, что сервисы PXF и Tkhemali установлены в кластере ADB. Информацию о добавлении сервисов в кластер можно получить в статье Добавление сервисов.

  2. Добавьте новый кастомный профиль с именем TKH в конфигурационный файл PXF /var/lib/pxf/conf/pxf-profiles.xml на хосте Master. Для редактирования файла можно воспользоваться командой vi или vim:

    $ sudo vi /var/lib/pxf/conf/pxf-profiles.xml

    Содержимое отредактированного файла может выглядеть следующим образом. В представленном примере другие профили в файле отсутствуют:

    <profiles>
    <profile>
        <name>TKH</name>
        <description>Clickhouse</description>
        <plugins>
            <accessor>io.arenadata.tkh.pxf.TkhAccessor</accessor>
            <resolver>io.arenadata.tkh.pxf.TkhResolver</resolver>
        </plugins>
        <optionMappings>
            <!-- distribution parameters -->
            <mapping option="distribution" property="clickhouse.distribution"/>
            <mapping option="url" property="clickhouse.dist.simple.url"/>
            <mapping option="gp_url" property="clickhouse.dist.gp.url"/>
            <mapping option="gp_user" property="clickhouse.dist.gp.user"/>
            <mapping option="gp_password" property="clickhouse.dist.gp.password"/>
            <mapping option="gp_request" property="clickhouse.dist.gp.request"/>
            <!-- common parameters -->
            <mapping option="send_delay" property="clickhouse.send.delay"/>
            <mapping option="lines_batch_size" property="clickhouse.lines.batch.size"/>
            <mapping option="bytes_batch_size_mb" property="clickhouse.bytes.batch.size.mb"/>
            <!-- connection and query parameters -->
            <mapping option="send_compressed" property="clickhouse.connection.decompress"/>
            <mapping option="insert_distributed_sync" property="clickhouse.connection.insert_distributed_sync"/>
        </optionMappings>
    </profile>
</profiles>
    ПРИМЕЧАНИЕ

    Директория, в которой расположены конфигурационные файлы PXF, определяется переменной окружения $PXF_BASE. Значение переменной по умолчанию — /var/lib/pxf. В общем случае путь может быть иным.

  3. Подключитесь к Master-серверу ADB под пользователем gpadmin, который создается по умолчанию. Все команды, приведенные на шагах ниже, запускаются исключительно на хосте Master:

    $ sudo su - gpadmin

  4. Для синхронизации конфигурационных файлов PXF на всех хостах кластера ADB выполните команду:

    $ pxf cluster sync

    Результат:

    Syncing PXF configuration files from master host to standby master host and 2 segment hosts...
PXF configs synced successfully on 3 out of 3 hosts

  5. Перезапустите сервис PXF:

    $ pxf cluster restart

    Результат:

    Restarting PXF on master host, standby master host, and 2 segment hosts...
PXF restarted successfully on 4 out of 4 hosts

  6. Подключитесь к базе данных через psql (или иную клиентскую программу):

    $ psql adb

  7. Убедитесь, что расширение gptkh успешно добавлено. Для этого можно использовать команду psql \dx:

    \dx

    Результат содержит расширение gptkh:

                                          List of installed extensions
   Name    | Version |   Schema   |                             Description
-----------+---------+------------+---------------------------------------------------------------------
 dblink    | 1.1     | public     | connect to other PostgreSQL databases from within a database
 diskquota | 2.2     | public     | Disk Quota Main Program
 gptkh     | 0.14    | public     | gptkh
 kadb_fdw  | 0.16    | kadb       | Kafka-ADB foreign data wrapper
 plpgsql   | 1.0     | pg_catalog | PL/pgSQL procedural language
 postgis   | 2.5.4   | public     | PostGIS geometry, geography, and raster spatial types and functions
 pxf       | 2.0     | public     | Extension which allows to access unmanaged data
(7 rows)
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней