<div dir="ltr">Hi Huan,<div><br></div><div style>Excellent! Glad to hear it.</div><div style><br></div><div style>Please let us know if you have any additional problems.</div><div style><br></div><div style>Eric</div></div>
<div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Mar 14, 2013 at 10:26 AM, Huan Fan <span dir="ltr">&lt;<a href="mailto:hfan22@wisc.edu" target="_blank">hfan22@wisc.edu</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
Hi Eric,<br>
<br>
Thanks! It works now!<br>
<br>
Cheers,<br>
Huan<br>
<div class="im"><br>
On 03/13/13, Eric McDonald  wrote:<br>
</div><div class="im">&gt; Huan,<br>
&gt;<br>
&gt; There are several ways to change the order. Probably the easiest to help you with remotely is the following:<br>
&gt; cd ~/khmer-BETA<br>
&gt; virtualenv --no-site-packages PYTHON-ENV<br>
&gt; . PYTHON-ENV/bin/activate<br>
&gt; export PYTHONPATH=&quot;$HOME/screed:$HOME/khmer-BETA/python&quot;<br>
&gt;<br>
&gt;<br>
</div>&gt; You could also install screed and khmer into the virtual environment above, but that is extra work so let&amp;#39;s skip that for now.<br>
&gt;<br>
&gt;<br>
&gt; Hope this helps,<br>
&gt; Eric<br>
&gt;<br>
&gt;<br>
&gt; P.S. If you don&amp;#39;t have &amp;#39;virtualenv&amp;#39; available, then let me know and we can make the necessary changes another way.<br>
<div class="im">&gt;<br>
&gt; On Wed, Mar 13, 2013 at 6:41 PM, Huan Fan &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a> &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&#39;)&quot; target=&quot;1&quot;&gt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt; wrote:<br>

&gt;<br>
&gt; &gt; Hi Eric,<br>
&gt; &gt;<br>
</div>&gt; &gt; I think you&amp;#39;re right. But how do I change the order?<br>
<div class="im">&gt; &gt;<br>
&gt; &gt; heather@chc2-desktop:~$ PYTHONPATH=&quot;$HOME/screed:$HOME/khmer-BETA/python&quot; python -c &quot;import sys, pprint; pprint.pprint( sys.path )&quot;<br>
</div>&gt; &gt; [&amp;#39;&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/local/lib/python2.7/dist-packages/khmer-0.4-py2.7-linux-x86_64.egg&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/local/lib/python2.7/dist-packages/screed-0.7-py2.7.egg&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/local/lib/python2.7/dist-packages/ReferenceFreeTools-1.0.2b-py2.7.egg&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/local/lib/python2.7/dist-packages/biopython-1.60-py2.7-linux-x86_64.egg&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/pymodules/python2.7&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/local/lib/python2.7/dist-packages/HTSeq-0.5.3p9-py2.7-linux-x86_64.egg&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/local/lib/python2.7/dist-packages/nose-1.2.1-py2.7.egg&amp;#39;,<br>
&gt; &gt; &amp;#39;/home/heather/screed&amp;#39;,<br>
&gt; &gt; &amp;#39;/home/heather/khmer-BETA/python&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/plat-linux2&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/lib-tk&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/lib-old&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/lib-dynload&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/local/lib/python2.7/dist-packages&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/dist-packages&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/dist-packages/PIL&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/pymodules/python2.7/gtk-2.0&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/dist-packages/gst-0.10&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/dist-packages/gtk-2.0&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/pymodules/python2.7/ubuntuone-storage-protocol&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/pymodules/python2.7/ubuntuone-control-panel&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/pymodules/python2.7/ubuntuone-client&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/pymodules/python2.7/libubuntuone&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/dist-packages/wx-2.8-gtk2-unicode&amp;#39;]<br>
<div class="im">&gt; &gt;<br>
&gt; &gt; heather@chc2-desktop:~$ PYTHONPATH=&quot;$HOME/screed:$HOME/khmer-BETA/python&quot; python -S -c &quot;import sys, pprint; pprint.pprint( sys.path )&quot;<br>
</div>&gt; &gt; [&amp;#39;&amp;#39;,<br>
&gt; &gt; &amp;#39;/home/heather/screed&amp;#39;,<br>
&gt; &gt; &amp;#39;/home/heather/khmer-BETA/python&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/plat-linux2&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/lib-tk&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/lib-old&amp;#39;,<br>
&gt; &gt; &amp;#39;/usr/lib/python2.7/lib-dynload&amp;#39;]<br>
<div class="im">&gt; &gt;<br>
&gt; &gt; On 03/13/13, Eric McDonald wrote:<br>
&gt; &gt; &gt; Hi Huan,<br>
&gt; &gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; &gt; Interesting... the path for the old khmer must be getting placed in front of the that for the new one with the Python interpreter&amp;#39;s path list.<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Please let us know the results of:<br>
&gt; &gt; &gt; PYTHONPATH=&quot;$HOME/screed:$HOME/khmer-BETA/python&quot; python -c &quot;import sys, pprint; pprint.pprint( sys.path )&quot;<br>
&gt; &gt; &gt; PYTHONPATH=&quot;$HOME/screed:$HOME/khmer-BETA/python&quot; python -S -c &quot;import sys, pprint; pprint.pprint( sys.path )&quot;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; Thanks,<br>
&gt; &gt; &gt; Eric<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt;<br>
</div><div class="im">&gt; &gt; &gt; On Wed, Mar 13, 2013 at 5:27 PM, Huan Fan &lt;<a href="http://setup.py.in" target="_blank">setup.py.in</a>(javascript:main.compose(&#39;new&#39;, &#39;t=<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt; &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a> &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt;&amp;#39;)&quot; target=&quot;1&quot;&gt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a> &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt;&gt; wrote:<br>

&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; Hi Eric,<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; I reset the PYTHONPATH but nothing changed:<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; heather@chc2-desktop:~/khmer-BETA/scripts$ export PYTHONPATH=&quot;$HOME/screed:$HOME/khmer-BETA/python&quot;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; heather@chc2-desktop:~/khmer-BETA/scripts$ echo $PYTHONPATH<br>
&gt; &gt; &gt; &gt; /home/heather/screed:/home/heather/khmer-BETA/python<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; heather@chc2-desktop:~/khmer-BETA/scripts$ python -c &quot;import khmer; print khmer.__file__&quot;<br>
&gt; &gt; &gt; &gt; /usr/local/lib/python2.7/dist-packages/khmer-0.4-py2.7-linux-x86_64.egg/khmer/__init__.pyc<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; heather@chc2-desktop:~/khmer-BETA/scripts$ test -r ~/khmer-BETA/python/khmer/threading_args.py; echo $?<br>
&gt; &gt; &gt; &gt; 0<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; heather@chc2-desktop:~/khmer-BETA/scripts$ ./load-into-counting.py<br>
&gt; &gt; &gt; &gt; Traceback (most recent call last):<br>
&gt; &gt; &gt; &gt; File &quot;./load-into-counting.py&quot;, line 17, in &lt;module&gt;<br>
&gt; &gt; &gt; &gt; from khmer.threading_args import add_threading_args<br>
&gt; &gt; &gt; &gt; ImportError: No module named threading_args<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; On 03/13/13, Eric McDonald wrote:<br>
&gt; &gt; &gt; &gt; &gt; Hi Huan,<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; Thank you for the information. The problem is as I suspected - you are not using the correct &amp;#39;khmer&amp;#39;. Details inline below:<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;<br>
</div>&gt; &gt; &gt; &gt; &gt; On Wed, Mar 13, 2013 at 1:08 PM, Huan Fan &lt;&gt; &gt; &gt; &gt; &gt; &gt; running build_ext<br>
<div><div class="h5">&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; building &amp;#39;khmer._khmermodule&amp;#39; extension<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; creating build<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; creating build/temp.linux-x86_64-2.7<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -I../lib -I/usr/include/python2.7 -c _khmermodule.cc -o build/temp.linux-x86_64-2.7/_khmermodule.o<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; cc1plus: warning: command line option &quot;-Wstrict-prototypes&quot; is valid for Ada/C/ObjC but not for C++<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; In file included from /usr/include/python2.7/Python.h:8:0,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; from _khmermodule.cc:7:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; /usr/include/python2.7/pyconfig.h:1155:0: warning: &quot;_POSIX_C_SOURCE&quot; redefined<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; /usr/include/features.h:163:0: note: this is the location of the previous definition<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; /usr/include/python2.7/pyconfig.h:1177:0: warning: &quot;_XOPEN_SOURCE&quot; redefined<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; /usr/include/features.h:165:0: note: this is the location of the previous definition<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; g++ -pthread -shared -Wl,-O1 -Wl,-Bsymbolic-functions -Wl,-Bsymbolic-functions build/temp.linux-x86_64-2.7/_khmermodule.o ../lib/khmer_config.o ../lib/thread_id_map.o ../lib/trace_logger.o ../lib/perf_metrics.o ../lib/read_parsers.o ../lib/ktable.o ../lib/hashtable.o ../lib/hashbits.o ../lib/counting.o ../lib/subset.o ../lib/zlib/adler32.o ../lib/zlib/compress.o ../lib/zlib/crc32.o ../lib/zlib/deflate.o ../lib/zlib/gzio.o ../lib/zlib/infback.o ../lib/zlib/inffast.o ../lib/zlib/inflate.o ../lib/zlib/inftrees.o ../lib/zlib/trees.o ../lib/zlib/uncompr.o ../lib/zlib/zutil.o ../lib/bzip2/blocksort.o ../lib/bzip2/huffman.o ../lib/bzip2/crctable.o ../lib/bzip2/randtable.o ../lib/bzip2/compress.o ../lib/bzip2/decompress.o ../lib/bzip2/bzlib.o ../lib/storage.hh ../lib/khmer.hh ../lib/khmer_config.hh ../lib/ktable.hh ../lib/hashtable.hh ../lib/counting.hh -L../lib -o /home/heather/khmer-screed/python/khmer/_khmermodule.so<br>

&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make[1]: Leaving directory `/home/heather/khmer-screed/python&amp;#39;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; nosetests -v -x<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make: nosetests: Command not found<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make: *** [test] Error 127<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; **************<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; $ make all<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; cd lib &amp;&amp; \<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make CXX=&quot;g++&quot; CXXFLAGS=&quot; -Wall -O3 -fPIC&quot; LIBS=&quot;&quot;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make[1]: Entering directory `/home/heather/khmer-screed/lib&amp;#39;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make[1]: Nothing to be done for `all&amp;#39;.<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make[1]: Leaving directory `/home/heather/khmer-screed/lib&amp;#39;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; cd python &amp;&amp; \<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make DEFINE_KHMER_EXTRA_SANITY_CHECKS=&quot;&quot; \<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; CXX_DEBUG_FLAGS=&quot;&quot; \<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; CYTHON_ENABLED_BOOL=&quot;False&quot;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make[1]: Entering directory `/home/heather/khmer-screed/python&amp;#39;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; python setup.py build_ext -i<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; running build_ext<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; make[1]: Leaving directory `/home/heather/khmer-screed/python&amp;#39;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; ***********************<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; When trying to run one of the script:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; $ ./load-into-counting.py<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Traceback (most recent call last):<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; File &quot;./load-into-counting.py&quot;, line 16, in &lt;module&gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; from khmer.threading_args import add_threading_args<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; ImportError: No module named threading_args<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Would you please give me an hint on what is going on here?<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Cheers,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Huan<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; On 01/24/13, Eric McDonald wrote:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Huan,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Thank you for the nice bug report. I was able to reproduce the problem with the &amp;#39;master&amp;#39; (default) branch of the &amp;#39;ged-lab/khmer&amp;#39; repository. If this bug is preventing you from making progress, then I would recommend that you try our &quot;beta tester&quot; branch, known as &amp;#39;bleeding-edge&amp;#39;:<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; git clone -b bleeding-edge <a href="http://github.com/ged-lab/khmer.git" target="_blank">http://github.com/ged-lab/khmer.git</a> khmer-BETA<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; The &amp;#39;bleeding-edge&amp;#39; branch contains rewritten FASTA and FASTQ parsers (among other things) and it fixes the problem you have reported. I get identical results for the raw FASTA and gzip&amp;#39;d FASTA files using this development branch.<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; However, since &amp;#39;bleeding-edge&amp;#39; is for beta testing, there is the possibility that you may find new bugs elsewhere in the code. Please feel free to file more nice bug reports if you use that branch and encounter other bugs.<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Thanks!<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Eric<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
</div></div><div class="im">&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; On Thu, Jan 24, 2013 at 3:35 PM, Huan Fan &lt;<a href="http://test_k9.kh" target="_blank">test_k9.kh</a>(<a href="http://test_k9.kh" target="_blank">http://test_k9.kh</a>)(<a href="http://test_k9.kh" target="_blank">http://test_k9.kh</a>)(<a href="http://test_k9.kh" target="_blank">http://test_k9.kh</a>)(java_script:main.compose(&amp;#39;new&amp;#39;, &amp;#39;t=<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a> &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt; &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a> &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt;&gt; &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a> &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt; &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a> &lt;<a href="mailto:hfan22@wisc.edu">hfan22@wisc.edu</a>&gt;&gt;&gt;&gt;(java_script:main.compose()&gt; wrote:<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Hi Titus,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; This is follow-up on the gzip file issues we discussed last month. So I&amp;#39;ve been using &quot;load-into-counting.py&quot; and &quot;abundance-dist.py&quot; to calculate the abundance distribution of kmers in some gzip files. I found some of results weird and I suspect it might have to do with the files that are gziped. So I made a small test file and it did give different results on the original file and gziped one. The test files are attached and the command I ran and results are as follows:<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; for test.fa with k=9<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; $ ./load-into-counting.py -k 9 -N 4 -x 2e9 &gt; &gt; result:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 0 0 0 0.0<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 1 928 928 0.993(tel:1%20928%20928%200.993)(tel:1%20928%20928%200.993)<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 2 7 935 1.0<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; for test.fa.gz with k=9<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt;<br>
</div>&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; $ ./load-into-counting.py -k 9 -N 4 -x 2e9 <a href="http://test_k9_gz.kh" target="_blank">test_k9_gz.kh</a>(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>) test.fa.gz<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; $ ./abundance-dist.py -s <a href="http://test_k9_gz.kh" target="_blank">test_k9_gz.kh</a>(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>)(<a href="http://test_k9_gz.kh" target="_blank">http://test_k9_gz.kh</a>) test.fa.gz test_k9_gz.hist<br>

<div><div class="h5">&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; result:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 0 0 0 0.0<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 1 894 894 0.94 8<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; 2 49 943 1.0<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; According to the data itself, there should be 935 unique 9-mers in total and seven 9-mers appeared twice, just as the result for test.fa.<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Any idea what is going on here?<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Thanks very much!<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Cheers,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Huan<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; On 12/30/12, &quot;C. Titus Brown&quot; wrote:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Excellent, glad to hear it!<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Yes, we need to invest in more of a documentation effort :)<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; best,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; --titus<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; On Sun, Dec 30, 2012 at 05:12:35PM +0800, Huan Fan wrote:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Hi Titus,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; This is embarrasing. Yes it does! Sorry I shouldn&amp;#39;t have assumed that it doesn&amp;#39;t, merely because the example is given in .fa<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Thanks so much!<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Cheers,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Huan<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; On 12/30/12, &quot;C. Titus Brown&quot; wrote:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Hi Huan,&lt; br /&gt;&gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; are you sure it *doesn&amp;#39;t* read in gzipped files? It should. Which kind of<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; hash table are you using -- counting or bit?<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; cheers,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; --titus<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; On Sat, Dec 29, 2012 at 09:09:49PM +0800, Huan Fan wrote:<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Dear khmer developer(s),<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; First of all thanks for those useful modules! I would like to use the function ht.consume_fasta in my pipeline(in python) however I work with really big files and they are always in gzip format. I am wondering whether it is possible to make ht.consume_fasta able to take gzip files? I don&amp;#39;t know C so I tried to &quot;graft&quot; some relevant code to hashtable.cc but failed. It will be really appreciated if you can make this feature available.<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Thanks ahead and happy holidays!&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Cheers,<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Huan<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
</div></div>&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; C. Titus Brown, <a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt;&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt;&gt;&gt;(java_script:main.compose()<br>

&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; C. Titus Brown, <a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt;&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt; &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a> &lt;<a href="mailto:ctb@msu.edu">ctb@msu.edu</a>&gt;&gt;&gt;&gt;(java_script:main.compose()<br>

<div class="im">&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Eric McDonald<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; HPC/Cloud Software Engineer<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; for the Institute for Cyber-Enabled Research (iCER)<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; and the Laboratory for Genomics, Evolution, and Development (GED)<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; Michigan State University<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt;<br>
</div>&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt; P: <a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>)(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>))(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>)(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>)))<br>

<div class="HOEnZb"><div class="h5">&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; Eric McDonald<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; HPC/Cloud Software Engineer<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; for the Institute for Cyber-Enabled Research (iCER)<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; and the Laboratory for Genomics, Evolution, and Development (GED)<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; Michigan State University<br>
&gt; &gt; &gt; &gt; &gt; &gt; &gt; P: <a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>)(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>(tel:<a href="tel:517-355-8733" value="+15173558733">517-355-8733</a>))<br>

&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt; &gt; --<br>
&gt; &gt; &gt; &gt; &gt; Eric McDonald<br>
&gt; &gt; &gt; &gt; &gt; HPC/Cloud Software Engineer<br>
&gt; &gt; &gt; &gt; &gt; for the Institute for Cyber-Enabled Research (iCER)<br>
&gt; &gt; &gt; &gt; &gt; and the Laboratory for Genomics, Evolution, and Development (GED)<br>
&gt; &gt; &gt; &gt; &gt; Michigan State University<br>
&gt; &gt; &gt; &gt; &gt; P: 517-355-8733(tel:517-355-8733)(tel:517-355-8733(tel:517-355-8733))<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt;<br>
&gt; &gt; &gt; --<br>
&gt; &gt; &gt; Eric McDonald<br>
&gt; &gt; &gt; HPC/Cloud Software Engineer<br>
&gt; &gt; &gt; for the Institute for Cyber-Enabled Research (iCER)<br>
&gt; &gt; &gt; and the Laboratory for Genomics, Evolution, and Development (GED)<br>
&gt; &gt; &gt; Michigan State University<br>
&gt; &gt; &gt; P: 517-355-8733(tel:517-355-8733)<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; --<br>
&gt; Eric McDonald<br>
&gt; HPC/Cloud Software Engineer<br>
&gt; for the Institute for Cyber-Enabled Research (iCER)<br>
&gt; and the Laboratory for Genomics, Evolution, and Development (GED)<br>
&gt; Michigan State University<br>
&gt; P: 517-355-8733<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr"><div>Eric McDonald</div><div>HPC/Cloud Software Engineer</div><div>  for the Institute for Cyber-Enabled Research (iCER)</div><div>  and the Laboratory for Genomics, Evolution, and Development (GED)</div>
<div>Michigan State University</div><div>P: 517-355-8733</div></div>
</div>