Böyle kullandığında 2 şartıda sağlamasını istiyorsun. Yani kimden_id ve kime_id değerlerinin $_SESSION[user_id]'e eşit olduğunu arıyorsun.

Bence and yerine or kullanmalısın. Böylece kurallar birbirinden ayrılır.