Тестирование производительности on PIG.CENTER

Тестирование использования памяти хранилищем

Mon, 01 Jan 0001 00:00:00 +0000

Физическую память потребляют два компонента хранилища etcd. Для ускорения поиска ключей процесс etcd выделяет индекс в памяти. Управляемый операционной системой страничный кеш процесса хранит недавно прочитанные с диска данные для быстрого повторного использования.

Индекс в памяти хранит все ключи в структуре данных B-tree вместе с указателями на данные на диске — значения. Каждый ключ в B-tree может содержать несколько указателей на разные версии значения. Поэтому теоретическое потребление памяти индексом можно приблизительно оценить формулой:

Тестирование использования памяти наблюдателями

Mon, 01 Jan 0001 00:00:00 +0000

Примечание

Возможности наблюдения активно развиваются, поэтому потребление памяти может меняться. Мы не ожидаем, что оно значительно превысит приведённые ниже значения.

Одна из основных целей etcd — поддерживать очень большое число наблюдателей, выполняющих огромное количество наблюдений. etcd стремится поддерживать O(10k) клиентов, O(100K) потоков наблюдения (O(10) потоков на клиента) и O(10M) наблюдений в сумме (O(100) наблюдений на поток). На каждое отдельное наблюдение приходится наибольшая часть общего потребления памяти etcd, поэтому именно оно находится в центре текущей и будущей оптимизации.

Тестирование производительности etcd v3

Mon, 01 Jan 0001 00:00:00 +0000

Физические машины

GCE тип машинного оборудования n1-highcpu-2

1x выделенный локальный диск SSD, подключённый под /var/lib/etcd
1x выделенный медленный диск для ОС
1.8 GB памяти
2x процессора
версия etcd 2.2.0

etcd Кластер

1 участник etcd, работающий в режиме демонстрации v3

Тестирование

Используйте инструмент тестирования производительности etcd v3 .

Производительность

чтение одного ключа

размер ключа в байтах	количество клиентов	чтение QPS	90-й процентиль задержки (мс)
256	1	2716	0.4
256	64	16623	6.1
256	256	16622	21.7

Производительность почти такая же, как и у сервера с пустым обработчиком.

Тестирование памяти etcd v2.2.0-rc

Mon, 01 Jan 0001 00:00:00 +0000

Физическая машина

Тип машины GCE n1-standard-2

1x выделенный локальный SSD, подключённый в /var/lib/etcd
1x выделенный медленный диск для ОС
7.5 GB памяти
2x CPU

etcd

etcd Version: 2.2.0-rc.0+git
Git SHA: 103cb5c
Go Version: go1.5
Go OS/Arch: linux/amd64

Тестирование

Запускается кластер etcd из 3 участников, каждый из которых использует 2 ядра.

Тестирование производительности etcd v2.2.0-rc

Mon, 01 Jan 0001 00:00:00 +0000

Физическая машина

Тип машины GCE n1-highcpu-2

1x выделенный локальный SSD, подключённый в /var/lib/etcd
1x выделенный медленный диск для ОС
1.8 GB памяти
2x CPU

Кластер etcd

3 участника etcd 2.2.0-rc, каждый работает на отдельной машине.

Точные версии:

etcd Version: 2.2.0-alpha.1+git
Git SHA: 59a5a7e
Go Version: go1.4.2
Go OS/Arch: linux/amd64

Кроме того, базовая производительность измеряется на кластере из 3 участников etcd 2.1.0 стадии alpha. Текущий коммит etcd — c7146bd5 , тот же, что использован в тестировании etcd 2.1 .

Тестирование производительности etcd v2.2.0

Mon, 01 Jan 0001 00:00:00 +0000

Физические машины

Тип машины GCE n1-highcpu-2

1x выделенный локальный SSD, используемый как каталог данных etcd
1x выделенный медленный диск для ОС
1.8 GB памяти
2x CPU

Кластер etcd

3 участника etcd 2.2.0, каждый работает на отдельной машине.

Точные версии:

etcd Version: 2.2.0
Git SHA: e4561dd
Go Version: go1.5
Go OS/Arch: linux/amd64

Тестирование

Запустите ещё одну машину вне кластера etcd и примените инструмент HTTP-тестирования hey с патчем повторного использования соединений для отправки запросов каждому участнику кластера etcd. Патч и шаги для воспроизведения процедуры приведены в инструкции по тестированию .

Тестирование производительности etcd v2.1.0

Mon, 01 Jan 0001 00:00:00 +0000

Физические машины

Тип машины GCE n1-highcpu-2

1x выделенный локальный SSD, подключённый в /var/lib/etcd
1x выделенный медленный диск для ОС
1.8 GB памяти
2x CPU
etcd версии 2.1.0 alpha

Кластер etcd

3 участника etcd, каждый работает на отдельной машине

Тестирование

Запустите ещё одну машину и с помощью инструмента HTTP-тестирования hey отправляйте запросы каждому участнику etcd. Подробные инструкции приведены в руководстве по разработке тестов производительности .