Python实现具备元素唯一性的队列-创新互联

直奔主题，在用多线程写一个爬虫项目时，很自然的想到用“生产者-消费者”模式，但是又想实现一个额外的需求，即如果爬虫爬到了队列中已存在的url，则不进行入队操作。想实现这个，大概面临两个问题：

1. Queue对象不支持in操作
2. 即使1成立，如果在Queue对象外部通过if item in q这种形式也行不通，因为该过程无锁，多线程情况下就无法保证查询结果的准确性

进而观察了一下queue模块的源代码，因为Queue类是基于deque类实现的，那么就好办了：对put方法稍加改造，增加一个unique参数，依据此参数是否为True，在底层的deque中判断要加入的元素的存在性，以此可实现类似set的特性。

put方法源代码：

    def put(self, item, block=True, timeout=None):
        with self.not_full:
            if self.maxsize > 0:
                if not block:
                    if self._qsize() >= self.maxsize:
                        raise Full
                elif timeout is None:
                    while self._qsize() >= self.maxsize:
                        self.not_full.wait()
                elif timeout < 0:
                    raise ValueError("'timeout' must be a non-negative number")
                else:
                    endtime = time() + timeout
                    while self._qsize() >= self.maxsize:
                        remaining = endtime - time()
                        if remaining <= 0.0:
                            raise Full
                        self.not_full.wait(remaining)
            self._put(item)
            self.unfinished_tasks += 1
            self.not_empty.notify()

修改后的put方法

    def put(self, item, block=True, timeout=None, unique=False):
        """增加了unique参数"""
        with self.not_full:
            #----- 以下三行为新增代码 -----#
            if unique:
                if item in self.queue:
                    return
            #----- 新增代码结束 -----#
            if self.maxsize > 0:
                if not block:
                    if self._qsize() >= self.maxsize:
                        raise Full
                elif timeout is None:
                    while self._qsize() >= self.maxsize:
                        self.not_full.wait()
                elif timeout < 0:
                    raise ValueError("'timeout' must be a non-negative number")
                else:
                    endtime = time() + timeout
                    while self._qsize() >= self.maxsize:
                        remaining = endtime - time()
                        if remaining <= 0.0:
                            raise Full
                        self.not_full.wait(remaining)
            self._put(item)
            self.unfinished_tasks += 1
            self.not_empty.notify()

当然也可以仿照put_nowait方法增加一个快捷方法put_unique，如下

    def put_unique(self, item, block=True, timeout=None):
        return self.put(item, block, timeout, unique=True)

Have fun!

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。