Het Kattenkabinet is opgericht ter nagedachtenis aan de rode kater John Pierpont Morgan (1966-1983). Deze bijzondere kater was gedurende zijn hele leven de eigenzinnige metgezel van Bob Meijer, de oprichter van het Kattenkabinet. Elk lustrum in zijn leven ontving jubilaris Morgan een bijzonder cadeau: Op zijn vijfde verjaardag werd Morgan geportretteerd door Ansèl Sandberg. Op zijn tiende verjaardag was het cadeau een bronzen beeld, waarvoor Morgan zelf model heeft gezeten. Helaas is dit beeld nog vóór de opening van het Kattenkabinet gestolen. Voor de viering van Morgans vijftiende verjaardag werd door zijn vrienden en bewonderaars het boekje Een hanige kat uit Toulouse en andere poezenkolder samengesteld, met vijftig aan Morgan opgedragen kattenlimericks.
Staande in de 'Gouden Bocht' van de Herengracht met de blik gericht op Het KattenKabinet is het nauwelijks voor te stellen dat de panden met de nummers 497 en 499 ooit identieke huizen geweest zijn. De twee pendanten werden gebouwd in 1667 voor de broers Willem en Adriaen van Loon. Door loting kreeg Willem nummer 497 en Adriaen nummer 499 toegewezen. Tot 1725 zou het pand in de familie blijven. Wat volgde was een imposante rij bewoners. Jan Calkoen woonde er als burgemeester van Amsterdam en de Amerikaanse president John Adams kwam er op bezoek bij Engelbert van Berckel.