250 млн міжнародних заходів в одному місці

Дослідник Кавел Літару, Джорджтаунського університету, зібрав каталог 250 мільйонів заходів, які відбулися у світі з 1979 року, які оновлюються щодня і доступні для тих, хто хоче його вивчити.

Кожен запис має 58 атрибутів. І сам набір ділиться на 300 різних категорій. На даний момент каталог має об'єм 100 ГБ, а хост Goolge.

Щоб провести аналіз, користувач може завантажити весь набір або категорію відсотків, або використовувати Google BigQuery безпосередньо на сайті.

База даних автоматично оновлюється з багатьох джерел новин з усього світу. Всі вони обробляються за допомогою різних алгоритмів обробки тексту та геокодування, створених компанією Litaru, а потім записаних в базі даних. Крім того, автор примітив, що через останні досягнення в обробці природної мови, пропорція неупереджених джерел скоро збільшиться.

ВІА ГІГАОМ

Джерело: habrahabr.ru/post/224647/