| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 2.88 MB | Adobe PDF |
Authors
Abstract(s)
In the past, it was humanly impossible to observe and extract large amounts of textual information from web platforms in short periods of time, but the trend has changed and in
recent years several surveillance, selection, and extraction of textual information systems
have emerged, based on OpenSource Intelligence (OSINT). These platforms became popular among computer security professionals, allowing them to detect new threats and respond in a timely manner by locating, collecting and analysing information made available
to the public through social networks, blogs, newspapers, television, etc., proving to be a
great advantage in terms of information gathering and a good help with regards to preventing problems, especially in the area of information security.
This dissertation focuses on the development of a platform based on OSINT, and has two
main objectives. First, to continue the work previously developed in another technology
Hypertext Preprocessor (PHP), in which formulas and algorithms were developed to
classify posts from Twitter. And second, to present a new platform (using Node JS technology), by applying the formulas from the previous work, evaluating the new platform
with users, and improving the user experience (UX).
During the development process two versions were provided to the users and hosted on a
virtual machine, based on cloud services of Microsoft Azure. The platform architecture is
composed by three processes developed in Node JS (one that provides the page, the web
server, one that collects the posts, and another one that does the classification of each
post). The posts are collected through an API provided by Twitter, and stored and managed in PHPMyAdmin a platform based on MySql database.
The UserCentered Design (UCD) was applied during the development process, a process
that is focused on the user and his experience. The participation of users has contributed
to define new features and to improve the presented layout. Users were included in the
testing phase, being called to fill forms, one form for each version.
Based on the collected feedback, the following improvements were implemented: the possibility of searching for several topics at the same time, the possibility of havving header
monitors by ranges of time, and the possibility of applying filters, such as the number of
minutes the posts are available on the screen, and the order by which they are presented.
No passado, era humanamente impossível observar e extrair grandes quantidades de informações textuais de plataformas da web em curtos espaços de tempo, mas a tendência mudou e nos últimos anos surgiram diversos sistemas de vigilância baseados na seleção e extração de informação textual proveniente de fontes de informação abertas, denominadas OpenSource Intelligence (OSINT), que se têm tornado populares principalmente entre os profissionais de segurança informática, permitindo a deteção de novas ameaças, a localização e recolha de informação disponível para o público em geral através das redes sociais, blogs, jornais, televisão, etc., revelandose uma grande vantagem em termos de recolha de informação e uma boa ajuda no que diz respeito à prevenção de problemas principalmente na área de segurança da informação. Esta dissertação focase no desenvolvimento de uma plataforma com base em informação open source, dando continuidade a um trabalho anteriormente desenvolvido numa outra tecnologia Hypertext Preprocessor (PHP), onde se apresentaram fórmulas e algoritmos para classificação de posts do Twitter sobre o tema da segurança da informação. Focandose este trabalho no desenvolvimento de novas versões da plataforma com base na tecnologia Node JS, na implementação das fórmulas apresentadas, na melhoria da experiência do utilizador (UX) e na avaliação da plataforma desenvolvida com utilizadores. Durante o desenvolvimento do trabalho foram apresentadas duas versões da plataforma, e hospedadas numa máquina virtual, tornandoas acessíveis aos utilizadores, que na fase final contribuíram com o seu feedback sobre as mesmas. Essa máquina virtual baseiase em serviços cloud da Microsoft Azure, onde estão instalados três processos desenvolvidos em Node JS (um que disponibiliza a página, um que classifica, e outro que recolhe posts), os posts são recolhidos através de uma API disponibilizada pelo Twitter, e guardados numa base de dados MySql, baseada na plataforma de administração de base de dados PHPMyAdmin, disponibilizando à comunidade as notícias mais recentes e relevantes sobre vários temas. Durante o processo de desenvolvimento tevese em conta o modelo UserCentered Design (UCD), um processo focado no utilizador e na experiência de utilização. A participação de utilizadores foi assim a chave para a definição das características, e da forma como é apresentado o frontend da plataforma, sendo estes incluídos na fase de testes, com o preenchimento de formulários visando recolher feedback sobre os protótipos desenvolvidos. Com base no feedback recolhido foram implementadas novas melhorias. De todas as mais relevantes foram: a possibilidade de pesquisa por vários temas em simultâneo, a inserção de monitores, e a possibilidade de aplicar filtros, como o número de minutos em que os posts ficam disponíveis no ecrã, e a ordem com que os mesmos devem ser apresentados.
No passado, era humanamente impossível observar e extrair grandes quantidades de informações textuais de plataformas da web em curtos espaços de tempo, mas a tendência mudou e nos últimos anos surgiram diversos sistemas de vigilância baseados na seleção e extração de informação textual proveniente de fontes de informação abertas, denominadas OpenSource Intelligence (OSINT), que se têm tornado populares principalmente entre os profissionais de segurança informática, permitindo a deteção de novas ameaças, a localização e recolha de informação disponível para o público em geral através das redes sociais, blogs, jornais, televisão, etc., revelandose uma grande vantagem em termos de recolha de informação e uma boa ajuda no que diz respeito à prevenção de problemas principalmente na área de segurança da informação. Esta dissertação focase no desenvolvimento de uma plataforma com base em informação open source, dando continuidade a um trabalho anteriormente desenvolvido numa outra tecnologia Hypertext Preprocessor (PHP), onde se apresentaram fórmulas e algoritmos para classificação de posts do Twitter sobre o tema da segurança da informação. Focandose este trabalho no desenvolvimento de novas versões da plataforma com base na tecnologia Node JS, na implementação das fórmulas apresentadas, na melhoria da experiência do utilizador (UX) e na avaliação da plataforma desenvolvida com utilizadores. Durante o desenvolvimento do trabalho foram apresentadas duas versões da plataforma, e hospedadas numa máquina virtual, tornandoas acessíveis aos utilizadores, que na fase final contribuíram com o seu feedback sobre as mesmas. Essa máquina virtual baseiase em serviços cloud da Microsoft Azure, onde estão instalados três processos desenvolvidos em Node JS (um que disponibiliza a página, um que classifica, e outro que recolhe posts), os posts são recolhidos através de uma API disponibilizada pelo Twitter, e guardados numa base de dados MySql, baseada na plataforma de administração de base de dados PHPMyAdmin, disponibilizando à comunidade as notícias mais recentes e relevantes sobre vários temas. Durante o processo de desenvolvimento tevese em conta o modelo UserCentered Design (UCD), um processo focado no utilizador e na experiência de utilização. A participação de utilizadores foi assim a chave para a definição das características, e da forma como é apresentado o frontend da plataforma, sendo estes incluídos na fase de testes, com o preenchimento de formulários visando recolher feedback sobre os protótipos desenvolvidos. Com base no feedback recolhido foram implementadas novas melhorias. De todas as mais relevantes foram: a possibilidade de pesquisa por vários temas em simultâneo, a inserção de monitores, e a possibilidade de aplicar filtros, como o número de minutos em que os posts ficam disponíveis no ecrã, e a ordem com que os mesmos devem ser apresentados.
Description
Keywords
Crawlers Information Security Open Source Intelligence Tweets Twitter Usability Testing User Centered Design User Experience Web Developmen