Не помню, кто сказал "Свобода одного заканчивается там, где начинается свобода другого". 

Всё остальное - на усмотрение самого человека. 

Но у фразы есть свой подтекст, и в определенном смысле нет ничего, что бы касалось только одного человека. Сделанное негативно повлияет на него, а так как он живет в обществе, а не на необитаемом острове, то перенесет этот негатив туда.