add_query_arg()とremove_query_arg()を使う
<?php
$url = 'https://example.com';
$url = add_query_arg('key', 'value', $url);
echo $url; // https://example.com?key=value
$url = add_query_arg('key2', 'value2', $url);
$url = remove_query_arg('key', $url);
echo $url; // https://example.com?key2=value2
もちろん、最初の $url
に最初からクエリが入っててもOK。