Два астронома из Гронингенского университета (Нидерланды) создали виртуальную библиотеку, способную генерировать визуализацию на основе сотен миллионов точек данных. Изначально программное обеспечение создавалось для обработки огромного количества данных миссии Gaia. Но также оно способно отображать шаблоны в других больших файлах данных. Это открытый исходный код и свободно используется.
Программное обеспечение получило название Vaex – «визуализация и изучение больших табличных наборов данных». Оно может создавать визуализацию миллиардов точек данных всего за одну секунду и ведет себя как карты Google. Но Google Maps использует для работы быстрые и мощные сервера, а Vaex обходится ноутбуком.
Мощность Vaex основана на нескольких умных методах. Здесь использует интеллектуальный алгоритм, который максимизирует всю доступную вычислительную мощность. Далее отсчитывает лишь требуемые данные с жесткого диска и отправляет на главную память компьютера. К тому же, рабочая память не хранит ненужные копии данных.
Силу Vaex продемонстрировали в прямом эфире на нескольких конференциях. Использовали набор данных из 1 млрд. записей, связанных с такси в Нью-Йорке. Оказалось, можно заметить, какие поездки приносят большую прибыль и где такси можно ожидать в любой части дня. Это говорит о том, что Vaex следует использовать и за пределами астрономии.
