Het gevaarlijkste spel speelt zich af op een afgelegen eiland in de Caribische Zee , eigendom van generaal Zaroff, een rijke en excentrieke Russische aristocraat. Het eiland wordt beschreven als weelderig en tropisch , met dichte jungles, steile kliffen en een verscheidenheid aan gevaarlijke dieren in het wild.
De exacte locatie van het eiland wordt nooit gespecificeerd in het verhaal, wat bijdraagt aan het mysterieuze en geïsoleerde karakter ervan.