Элементарная задача. По теореме Пифагора квадрат гипотенузы равен сумме квадратов катетов, поэтому нам нужно вывести sqrt(a*a+b*b). Обратите внимание на то, что число может получится не целым, поэтому надо использовать вещественный тип, например real(в Pascal).