Stel de horizontale zijde van de rechthoek X, de verticale Y en het lijnstuk tussen c en de driehoek Z.
Voor de oppervlakte van de driehoek geldt Od = HA/2
Voor de oppervlakte van de rechthoek geldt Or = XY
Verder geldt:
Or = HA/2 - (H-Y)X/2 - ZY/2 - (A-X-Z)Y/2 (de oppervlakte van de driehoek min de drie kleine driehoeken)
tan (hoek c) = Y/Z
tan (hoek b) = Y/(A-X-Z)
Drie vergelijkingen, drie onbekenden. Dus als de vergelijkingen onafhankelijk zijn (dat hoop ik tenminste

) is het oplosbaar d.m.v. substitutie van de vergelijkingen in de vergelijking voor Or.
Maar hoe je het maximum daarvan berekent is me niet duidelijk. Misschien kom ik er later op terug.