Новая технология сортировки больших данных.


Корпорация Microsoft сообщает о разработке новой технологии для быстрой сортировки очень больших объемов данных. Новая технология сортировки Flat Datacenter Storage (FDS) была презентована на конференции Association for Computing Machinery в штате Аризона. В будущем технология FDS полностью или частично будет интегрирована в движок поисковика интернет Bing, а также корпоративных продуктов Microsoft для процессинга данных.

"Повышение производительности при работе с большими объемами данных - это очень важно для многих отраслей бизнеса. Практически все проблемы больших данных с новой технологией могут быть эффективно решены, что на практике дает возможности по экономической выгоде и ускорению бизнес-процессов", - сказал лидер проекта и инженер компании Microsoft Research Джереми Элсон.

По его словам, в тестах, проведенных при помощи набора MinuteSoft система показала  пиковую производительность процессинга информации на уровне 1401 гигабайта в минуту, побив ранее установленный Yahoo рекорд в 500 гигабайт в минуту. Также в тестах Microsoft смогла сократить и количество задействованных ресурсов. Если у компании Yahoo в эталонном тесте было использовано 1406 серверов и 5624 жестких диска, то Microsoft задействовала 250 серверов и 1033 диска.