Freire, Luís Manuel CarvalhoAlmeida, Pedro Domingues deQueiroz, João António de Sampaio RodriguesGouveia, Ana Isabel Antunes Dias Rodrigues2016-02-242016-02-242014http://hdl.handle.net/10400.6/4036This thesis focuses on the development and evaluation of a registration-by-regression approach for the 3D/2D registration of coronary Computed Tomography Angiography (CTA) and X-ray angiography. This regression-based method relates image features of 2D projection images to the transformation parameters of the 3D image by a nonlinear regression. It treats registration as a regression problem, as an alternative for the traditional iterative approach that often comes with high computational costs and limited capture range. First we presented a survey of the methods with a regression-based registration approach for medical applications, as well as a summary of their main characteristics (Chapter 2). Second, we studied the registration methodology, addressing the input features and the choice of regression model (Chapter 3 and Chapter 4). For that purpose, we evaluated different options using simulated X-ray images generated from coronary artery tree models derived from 3D CTA scans. We also compared the registration-by-regression results with a method based on iterative optimization. Different image features of 2D projections and seven regression techniques were considered. The regression approach for simulated X-rays was shown to be slightly less accurate, but much more robust than the method based on an iterative optimization approach. Neural Networks obtained accurate results and showed to be robust to large initial misalignment. Third, we evaluated the registration-by-regression method using clinical data, integrating the 3D preoperative CTA of the coronary arteries with intraoperative 2D X-ray angiography images (Chapter 5). For the evaluation of the image registration, a gold standard registration was established using an exhaustive search followed by a multi-observer visual scoring procedure. The influence of preprocessing options for the simulated images and the real X-rays was studied. Several image features were also compared. The coronary registration–by-regression results were not satisfactory, resembling manual initialization accuracy. Therefore, the proposed method for this concrete problem and in its current configuration is not sufficiently accurate to be used in the clinical practice. The framework developed enables us to better understand the dependency of the proposed method on the differences between simulated and real images. The main difficulty lies in the substantial differences in appearance between the images used for training (simulated X-rays from 3D coronary models) and the actual images obtained during the intervention (real X-ray angiography). We suggest alternative solutions and recommend to evaluate the registration-by-regression approach in other applications where training data is available that has similar appearance to the eventual test data.O alinhamento de imagens é o processo que permite estabelecer uma correspondência espacial entre o mesmo elemento de tecido representado em duas ou mais imagens, em diferentes momentos, de diferentes perspectivas, e/ou de diferentes modalidades. O processo computacional do alinhamento implica a determinação de uma transformação geométrica entre sistemas de coordenadas. Esta transformação geométrica é calculada pela optimização de um critério de alinhamento, usualmente através de uma procura iterativa na qual uma estimativa inicial da transformação é gradualmente refinada por um processo numérico de optimização (Hill, Batchelor, Holden, & Hawkes, 2001; Zitova & Flusser, 2003). Em cada iteração uma medida de semelhança entre as imagens que se pretendem alinhar é calculada até que seja atingido um mínimo ou um máximo. No entanto, tais algoritmos de optimização podem convergir para uma solução incorrecta, i.e. para um extremo local, sendo muitas vezes pouco robustos face à existência destes extremos locais. Alguns autores têm sugerido uma mudança de paradigma para o problema do alinhamento de imagens médicas, motivados principalmente pelos custos computacionais e pela robustez limitada face à presença de extremos locais (e.g. Chou & Pizer, 2013; Hoff, Komistek, Stefan, & Walker, 1998; Zhang et al., 2008). Nestes casos, o problema do alinhamento é encarado como um problema de regressão a partir de uma estratégia de aprendizagem, substituindo o cálculo da transformação por uma optimização iterativa. Em muitos destes trabalhos, as Redes Neuronais Artificiais, ou simplesmente Redes Neuronais, são o modelo de regressão escolhido para inferir os parâmetros da transformação geométrica. No entanto, a literatura existente sobre métodos de alinhamento baseados em regressão deixa muitas questões em aberto, como quais as características das imagens (image features) a usar, qual o melhor modelo de regressão, bem como a relevância clínica dos mesmos. A investigação do alinhamento baseado na regressão é assim o principal tópico desta tese, focando-nos concretamente no alinhamento 3D/2D da angiografia por Tomografia Computadorizada com a angiografia por raios-X. Neste contexto é frequente a exigência da integração da informação obtida no período pre-operatório (e.g. imagens angiográficas 3D) com as imagens intra-operatórias. Por outro lado, o alinhamento de imagem por regressão nestas intervenções guiadas por imagem é exequível, uma vez que o processo de aprendizagem pode decorrer aquando do planeamento cirúrgico, o que ocorre antes do alinhamento propriamente dito. Três questões de investigação foram assim formuladas:  Como é influenciado o alinhamento pelas características das imagens (image features) usadas no processo de aprendizagem?  Serão as redes neuronais um modelo de regressão adequado ao problema proposto?  O alinhamento de imagem por regressão constitui uma solução clinicamente relevante para o alinhamento 3D/2D da angiografia por Tomografia Computorizada com a angiografia por raios-X angiografia das artérias coronárias, durante as intervenções guiadas por imagem? Estas questões foram respondidas nos vários capítulos desta tese, sendo que o Capítulo 2 não incide directamente em nenhuma delas apesar do seu importante contributo. Este apresenta uma revisão de literatura das publicações sobre o alinhamento de imagem por regressão no contexto da imagem médica. A síntese das principais características dos métodos analisados também é realizada. A primeira questão de investigação é abordada pelo Capítulo 3 e pelo Capítulo 5. O Capítulo 3 permite-nos compreender que a informação acerca da intensidade da imagem, associada a certas características, leva a uma muito boa aprendizagem. Mas o Capítulo 5 mostra-nos que esta dependência na intensidade não é compatível com o alinhamento de imagens 2D reais de angiografia. Por outro lado, algumas características não são afectadas pelas diferenças entre as imagens simuladas (usadas durante o treino) e as imagens reais, mas não contêm informação suficiente, pelo que não permitem obter resultados suficientemente precisos. A segunda questão acerca das Redes Neuronais é estudada pelo Capítulo 4, onde diferentes modelos de regressão são comparados para este problema de alinhamento concreto. O Capítulo 5 aborda a terceira e última questão de investigação, ou seja, a relevância clínica do alinhamento de imagem por regressão na integração automática da angiografia por Tomografia Computorizada com a angiografia por raios-X das artérias coronárias. Para este problema em particular, o método proposto com a sua actual configuração não é suficientemente preciso para ser usado na prática clínica. A principal dificuldade reside nas diferenças substanciais entre as imagens de treino (imagens de raios-X simuladas a partir de modelos 3D) e as imagens obtidas durante as intervenções (angiografias por raio-X). Tal significa que outros tipos de características têm que ser encontradas, mais robustas às diferenças entre as imagens, tais como a presença de cateteres nas imagens de raios-X ou a inexistência de vasos não visíveis durante oclusões totais crónicas (das artérias) coronárias, ou modelos 3D incompletos devido a uma visibilidade insuficiente nas angiografias por Tomografia Computadorizada (e.g. causada por ruído ou artefactos de movimento). Os trabalhos recentes de Chou, Frederick, Mageras, & Chang (2013) e Chou & Pizer (2013) também sugerem algumas estratégias interessantes para melhorar a precisão, como as regressões em múltipla escala por um “treino hierárquico” (i.e. indo de um intervalo mais amplo para um intervalo mais estreito no que respeita às transformações usadas no treino) e correcção das diferenças de intensidade entre imagens simuladas e reais pela correspondência dos seus histogramas. Por último, é recomendado testar o método de alinhamento por regressão desenvolvido noutras aplicações em que os dados de treino disponíveis sejam representativos dos dados de teste. Dois exemplos potencialmente interessantes são o alinhamento 3D/2D realizado em biopsias com agulha, guiadas por imagem, na coluna (van de Kraats, 2005; van de Kraats et al., 2006) e a correcção de movimento em tempo real de séries temporais de imagens (Luca, Tanner, & Székely, 2012).engImagiologia médicaIntervenções guiadas por imagem - Artérias coronáriasAlinhamento de imagem - Redes neuraisAlinhamento de imagem por regressãodoctoral thesis101245629