Цель тестов FpVTE-12 - оценка текущих возможностей технологий идентификации по отпечаткам пальцев в режиме идентификации один-ко-многим на многомиллионных базах данных. Это самое крупномасштабное тестирование из всех тех, которые проводились НИСТ. Главной его особенностью стала масштабность как по объему баз данных, так и по типам данных. Использовалась модель тестирования наиболее близкая к реальным системам идентификации один-ко-многим.
Тестирование проводилось в трех классах тестовых данных:
Класс A - для сравнения использовались контактные отпечатки двух указательных пальцев без сегментации с объемом базы данных в 1,6 млн. записей.
Класс B - для сравнения использовались контактные отпечатки десяти пальцев по схеме 4+4+2 (четыре левых, четыре правых и два больших пальца одновременно) с применением сегментации. Объем базы данных - 3 млн. записей.
Класс C - сравнение прокатных и контактных отпечатков десяти пальцев по схеме 4+4+1+1 (четыре левых, четыре правых, большой левый и большой правый пальцы), и требовалась их сегментация. Объем базы данных в этом классе - 5 млн. записей.
Другая отличительная черта теста FpVTE12 - ограничение по времени поиска в режиме идентификации один-ко-многим. Участники теста, не укладывавшиеся в эти временные ограничения, снимались с теста. Все участники подготовили к тестированию новые скоростные алгоритмы идентификации. Также в итоговых протоколах учитывалась не только скорость сравнения, но и точность идентификации. Каждой компании разрешалось представить на тестирование два варианта программ для каждого класса - быстрый и более медленный алгоритмы сравнения.
Всего на участие в тестировании подали заявку 22 компании, но только 18 из них смогли пройти хотя бы один тест. Среди этих 18 участников практически все широко известные в мире биометрические компании, включая две российские - Сонда и Папилон, и ряд новых компаний.
Код компании | Наименование | Тесты |
C | Afis team | A, B, C |
D | 3M Cogent | A, B, C |
E | Neurotechnology | A, B, C |
F | Papillon | A, B, C |
G | Dermalog | A, B, C |
H | Hisign Bio-Info Institute | A, B, C |
I | NEC | A, B, C |
J | Sonda | A, B, C |
K | Tiger IT | A |
L | Innovatrics | A, B, C |
M | SPEX | A, B, C |
O | ID Solutions | A, B, C |
P | Id3 | A |
Q | Morpho | A, B, C |
S | Decatur Industries | A, B, C |
T | BIO-key | A |
U | Aware | A, B, C |
V | AA Technology | A, B, C |
Наибольшее внимание специалистов и организаторов тестов было уделено результатам тестов в классе С на базе данных в 5 млн. записей. По точности идентификации первые три места здесь заняли три компании - биометрических гиганта: NEC (Япония), Morpho / Safran (Франция) 3M Cogent (США).
Компания Сонда в режиме поиска контактных отпечатков по прокатным на тесте С заняла 4-ое место, сразу вслед за гигантами, а в режиме поиска контактных отпечатков по контактным и прокатных по прокатным - 5-е место. Вероятность ошибки была на уровне 0,3%, что отличается от группы лидеров примерно в два раза. Причем, в некоторых тестах по скорости сравнения и длине математического кода Сонда превосходит лидеров. Таким образом, алгоритмы Сонда показали высокую точность сравнения при относительно высокой скорости поиска и при значительной экономии вычислительных ресурсов.
Также по результатам тестирования НИСТ выделил группу из пяти компаний, которые представили оптимальные алгоритмы с учетом трех факторов: точность идентификации, скорость сравнения и требуемые ресурсы. В нее вошли Сонда (Россия), Innovatrics (Словакия), Morpho (Франция), IDSolutions (США) и AA Technology (Китай).
Познакомиться с официальным отчетом тестирования можно на сайте НИСТ: http://dx.doi.org/10.6028/NIST.IR.8034